Le château fut construit sur les ruines d'un oppidum celte, à un endroit où la présence humaine remonte à l'époque néolithique. Les Romains y établirent plus tard un camp fortifié. Au début du viiie siècle, Pépin de Landen éleva une villa au même endroit.

Vers 844, Adelard, comte de La Roche, y établit le premier château. Après la mort de Henri de la Roche en 1152, le comté passa à Henri l'Aveuglecomte de Namur et à sa mort en 1196 à sa fille Ermesinde de Luxembourg et ainsi à la lignée des comtes de Luxembourg.

Au xive siècle, les habitants de La Roche furent autorisés par Jean l'Aveugle, comte de Luxembourg, à protéger leur ville par une muraille et des tours qui vinrent ainsi renforcer le système défensif du château.