Cambrai est mentionnée pour la première fois au IVème siècle sur une carte des voies et agglomérations de l’Empire Romain, la table de Peutinger. Il ne s’agit que d’une modeste bourgade située au croisement des routes menant à Bavay, Arras et Saint-Quentin. Lors des invasions franques au IVe siècle, elle devient chef-lieu des Nerviens à la place de Bavay.

Au VIème siècle, Cambrai devient siège épiscopal et se développe autour de ses édifices religieux. L’église édifiée sur une éminence proche, le Mont-des-Bœufs, reçoit le corps de l’évêque Géry et devient le centre d’un pèlerinage important dédié au saint. A la fin de la période mérovingienne, l’ancien castrum et le Mont-des-Bœufs constituent ainsi les deux centres d’urbanisation de la ville.