Au XIIIème siècle, le château de Selles est une véritable forteresse de grès de 15 mètres de haut, de forme polygonale et flanquée de 6 tours dont une géminée. Il a alors une double fonction : assurer la surveillance de la porte de Selles et de l’Escaut et asseoir l’autorité du comte-évêque sur les Cambrésiens. Il est en partie remblayé au XVIème siècle. A l’intérieur des tours subsistent deux niveaux de salles voûtées d’ogives. Elles sont reliées entre elles par un système original de gaines, couloirs aménagés dans l’épaisseur des murailles et utilisés comme prisons dès le XIVème siècle. D’émouvants graffiti gravés dans les murs reflètent les engagements politiques et religieux des détenus.
