Dès août 1914, les Allemands occupent Cambrai. Émile Mussault, conservateur du Musée depuis 1898, met immédiatement en place un plan de protection des œuvres majeures de la ville et d’une sélection d’œuvres du musée qu’il fait placer dans les caves du bâtiment. A partir de 1916, les bombardements sur la ville se faisant de plus en plus intensifs, les Kunst Offiziere ("officiers de l’art") allemands proposent aux églises et aux particuliers d’abriter leurs collections au sein des musées de la région. Les salles du musée de Cambrai se remplissent de caisses de manuscrits, tableaux, bijoux, retables, tapisseries et mobilier des édifices religieux et grandes demeures.
En mars 1917, le front se rapprochant dangereusement, la municipalité de Cambrai est engagée à mettre en caisses la plus grande partie des collections de son musée (ainsi que les œuvres des particuliers qui y sont stockées) et à les réunir au musée de Valenciennes, désigné comme lieu de dépôt des objets d’art envoyés du front. Entre avril et décembre 1917, plus d’une centaine de caisses sont transportées à Valenciennes sous l’autorité du docteur Burg, un de ces "officiers de l’art" de l’armée allemande. Le transfert est administré avec une grande rigueur affichée, avec inventaire et procès-verbal de réception précisant que les biens seront restitués après la guerre.
En septembre 1918, Valenciennes est bombardée par les Britanniques, les collections du musée et les œuvres déposées entre ses murs sont menacées. Le 11 septembre, une commission spéciale est mise en place à l’initiative du Docteur Burg pour décider des mesures à prendre. L’autorité allemande propose de "faire transporter les objets dans une ville à l’abri des dangers, mais seulement si les villes le demandent" (Bauchond, Journal de guerre, 1918, archives du musée de Valenciennes). L’ensemble des représentants (dont ceux de Cambrai) accepte le transfert des œuvres par péniches à Bruxelles.
Les caisses y arrivent le 12 novembre 1918, lendemain de l’armistice et sont déchargées sous la surveillance de M. Créteur, greffier au tribunal de Cambrai. Les œuvres sont réparties entre plusieurs dépôts à Bruxelles (le Musée Ancien, le Musée Moderne et le Palais de Justice). Quelques tableaux abîmés sont restaurés. En janvier 1919, M. Créteur réalise un inventaire détaillé des œuvres déposées à Bruxelles et découvre que, malgré l’attention portée aux œuvres lors de leur déchargement, plusieurs tableaux ont disparu, notamment des œuvres attribuées à Brueghel, Francken ou Guido Reni.

Le retour des collections du musée de Cambrai se met en place à partir de mars 1919, dans un Hôtel de Francqueville en grande partie éventré. Dans une ville détruite à 70 %, les travaux du musée ne sont pas la priorité. S’engage alors un long travail de regroupement des œuvres, de restitution des biens aux particuliers et au clergé, en même temps qu’une véritable bataille pour la mise en chantier des travaux de réfection du musée.
Le nouveau conservateur, Georges Leboyer, présente en 1922 un inventaire des objets présents dans les collections. Le bilan est lourd : plus de deux cents œuvres ont disparu, certaines détruites dans les bombardements, d’autres victimes de pillage ou d’escroquerie (ainsi, le vol pendant la guerre des bijoux de la collection Belmas, restés sur place au musée de Cambrai ou celui en 1919 d’une tapisserie flamande du XVIème siècle).

Parallèlement au sauvetage des œuvres mutilées, la commission du musée va s’acharner à remplacer celles disparues. En 1922, la municipalité exige que tout vestige archéologique exhumé lors des travaux de reconstruction de la ville soit déposé au musée. Les collections patrimoniales s’enrichissent ainsi en 1933 d’un ensemble de sculptures romanes provenant de Saint-Géry au-Mont-des-Bœufs. A partir de 1923, l’État dépose à Cambrai des œuvres de premier plan, par exemple, le Pêcheur napolitain et la Jeune fille à la coquille de Jean-Baptiste Carpeaux, La sœur aînée de James Tissot, L’abandon de Camille Claudel ou encore La Tête de la Grande Odalisque d’Ingres.
En août 1924, après deux ans de travaux et d’âpres discussions pour obtenir les dommages de guerre, une partie du musée de Cambrai ouvre à nouveau ses portes. Les œuvres prennent place dans des salles restaurées, mais malheureusement, ce n’est plus le musée vaste et somptueux d’avant-guerre […], les collections les plus belles ont été décimées ou mutilées (discours inaugural de G. Leboyer dans le journal L’indépendant du 20 août 1924). Il faut attendre 1928 pour que l’argent des dommages de guerre, enfin débloqué, permette de faire des acquisitions, sous la direction du conservateur, le paysagiste Georges Maroniez. Ce dernier privilégie, dans ses choix, les artistes originaires du Nord, primés au Salon des Artistes français avant la guerre.
En 1930, l’arrivée au sein de la commission du jeune architecte Ernest Gaillard, qui écrit aux artistes vivants pour les appeler aux dons, ouvre les collections à l’art moderne et aux avant-gardes contemporaines. La totalité du musée de Cambrai est rouverte en 1933, peu avant le décès de Georges Maroniez, dont la succession est assurée par Ernest Gaillard.