A la suite du traité de Verdun partageant l’Empire de Charlemagne, Cambrai échoit d’abord à la Lotharingie puis à partir de 925 au Saint-Empire romain germanique. L’Empereur octroie à l’évêque de Cambrai le pouvoir politique de la ville. Celle-ci occupe alors la position stratégique de ville-frontière, et bénéficie d’un statut de neutralité durant les conflits. Face aux invasions des IXème et Xème siècles, des enceintes sont élevées, englobant le noyau primitif d’un côté, Saint-Géry au Mont-des-Bœufs de l’autre. Entre ces deux pôles, des quartiers s’organisent. Le marché se développe sur la grande place ; les corps de métiers se regroupent par rues (rues des Rôtisseurs, des Chaudronniers...). Au XIème siècle, une enceinte, renforcée au XIVe siècle, contient l’ensemble de la ville et en fige les contours.
A la tête d’immenses propriétés, les comtes-évêques garantissent à la ville une période de prospérité. De nombreux monastères, abbayes et hôpitaux sont fondés. La cathédrale gothique Notre-Dame, entreprise au milieu du XIIème siècle, est considérée comme la "merveille des Pays-Bas". La ville est aussi un foyer intellectuel : l’épopée de Raoul de Cambrai est composée au XIIème siècle ; l’architecte Villard de Honnecourt et l’évêque Pierre d’Ailly figurent parmi les esprits brillants de leur temps.