1939 à 1987 : le déclin

Le musée de Cambrai, qui avait enfin repris vie après tant d’années d’efforts, est totalement vidé dans un but de sauvegarde de ses collections, après la déclaration de la deuxième guerre mondiale. Les œuvres ne réintègrent l’hôtel de Francqueville qu’en 1946. L’inauguration des nouveaux aménagements du musée, en avril 1947, est suivie d’une courte renaissance. Ernest Gaillard, dépourvu de budget d’acquisition, fait à nouveau appel à la générosité de l’État et des particuliers. Les dépôts lui permettent d’enrichir la collection d’art moderne ainsi que les salles relatives à l’histoire de Cambrai.
Le dynamisme du musée, relatif lorsqu’il est comparé à la période faste des années 1930, s’achève avec le départ d’Ernest Gaillard en décembre 1951. L’institution entre alors dans un long sommeil.
Gérard Bayle, directeur de l’école municipale des Beaux-Arts de Cambrai, fait fonction de conservateur à partir d’octobre 1952, mais il est placé, par la Direction des Musées de France, sous "le contrôle technique" du conservateur du musée de Douai. Pendant 10 ans, M. Bayle est en conflit avec ces autorités de tutelle. De son côté, la municipalité dégage très peu de budget pour le musée, dont les bâtiments se dégradent. Il faut attendre 1962, quelques mois avant le départ de M. Bayle, pour que la Ville de Cambrai se décide à remettre en état les toitures et façades et à assurer quelques mesures de sécurité pour les collections.

Son successeur, Michel Bouvy, bibliothécaire municipal, dresse un bilan de l’état du musée, pour lequel la municipalité semble bien décidée à entreprendre des travaux. Malheureusement, en novembre 1966, "il a été décidé de surseoir à la réalisation du projet", compte tenu de son coût trop élevé  (registre de délibérations du conseil municipal, 1966-1967, archives municipales de Cambrai). Devant les refus de travaux ou d’embauche de personnel, le découragement gagne M. Bouvy, plus motivé par la bibliothèque qui se développe rapidement.