A l'origine résidence pour chevaliers, la propriété de l'architecte chevalier Gheeraert Vilain, surnommé Gérard le diable en raison de sa peau foncée, devient à partir du XIVème siècle, arsenal militaire, séminaire épîscopal, prison, orphelinat de garçons (1623), maison de correction, asile d'aliénés, caserne de pompiers. Depuis 1904, il abrite les archives de l'Etat.

L'édifice date de 1245. Gérard le Diable habita l'édifice dans la 2ème moitié du XIIIème siècle.

Du château-fort d’origine ne subsiste que l’aile orientale, bordant une branche de l’Escaut..