Édifié en 1845 par l’architecte Charles Fortuné Brunet-Debaines, le premier musée des beaux-arts du Havre est situé à l’emplacement du logis du Roy. C’est dans ce même lieu stratégique de la vie urbaine (à l’angle de la rue de Paris et du quai de Southampton), bénéficiant de l’activité de la rue commerçante, que les premières collections sont présentées au public dès 1839.

Le musée abrite, à l’origine, les œuvres et les objets les plus divers, des arts décoratifs à la peinture, en passant par la sculpture et l’histoire naturelle. La bibliothèque municipale y trouve également refuge. Progressivement, cependant, les attributions de l’édifice sont dispersées. Le muséum émigre vers la place du Vieux-Marché en 1881. La bibliothèque s’installe dans le lycée de garçons en 1904, tandis qu’un musée lapidaire ouvre ses portes au prieuré de Graville en 1920. Dès lors, le musée se spécialise dans le domaine des beaux-arts. La collection de peintures, qui offre un bon panorama historique de la peinture européenne, s’enrichit, dès 1900, grâce à une politique d’acquisitions audacieuse orientée vers l’art moderne.

En septembre 1944, le musée est détruit par les bombardements. La collection de sculptures, restée sur place au cours du conflit, disparaît presque entièrement. Seules les peintures (mille cinq cents toiles), qui ont été transférées en lieu sûr, sont épargnées.

La municipalité du Havre décide en 1951 la construction d’un nouveau bâtiment.

Après de nombreuses hésitations, quant à l’affectation du musée et à sa localisation, le projet débute en 1952, grâce aux efforts conjugués de Georges Salles, directeur des Musées de France, et de Reynold Arnould, artiste havrais nommé conservateur des musées de la ville.
Dans l’esprit des deux hommes, il ne s’agit pas seulement de rendre un cadre aux collections en remplaçant un bâtiment par un autre, mais plutôt de mener une réflexion fondamentale sur la fonction du musée. Ils souhaitent rompre avec le modèle du musée traditionnel et faire en sorte de créer une émulation artistique constante. Il faut que le musée puisse organiser des conférences, des projections cinématographiques, des concerts, d’où la nécessité de multiplier les espaces : lieux d’exposition, ateliers, réserves, cafétéria, photothèque, discothèque, bibliothèque... Ainsi, avant même qu’il soit envisagé d’adjoindre au musée la fonction de maison de la culture, l'objectif est de susciter l’intérêt de tous les publics et de contribuer à l’éducation artistique.

L’ambitieux projet d’un musée pilote, le plus moderne d’Europe, est alors confié à Guy Lagneau, architecte dissident de l’atelier de reconstruction d’Auguste Perret, et à ses associés, Raymond Audigier, Michel Weill et Jean Dimitrijevic. Pour ce nouveau musée, qui prend désormais place à l’articulation du front de mer Sud, les architectes imaginent, en harmonie avec l’environnement maritime, un espace modulaire comportant des cloisons mobiles, selon des principes de transparence et de flexibilité. L’architecture du bâtiment, cube de verre, d’acier et d’aluminium bénéficiant de sources d’éclairage de tout côté, y compris par le toit, vise à prolonger le dialogue des œuvres avec le paysage et la lumière qui les ont vues naître. Figure de proue de la ville, à l’entrée du port, précédé par la sculpture monumentale d’Henri-Georges Adam Le Signal, le premier musée édifié après la guerre s’impose comme un manifeste de l’architecture moderne et minimale.

« Il n’y a pas une maison comme celle-ci au monde, ni même au Brésil, ni en Russie, ni aux États-Unis. Souvenez-vous, Havrais, que l’on dira que c’est ici que tout a commencé. »
Cet extrait du discours d’inauguration prononcé par André Malraux, ministre d’État chargé des Affaires culturelles, le 24 juin 1961, fait du musée d’art moderne du Havre le symbole d’un formidable engagement humain en faveur de la culture.
En 1961, poste avancé de la ville et du pays, le musée est conçu comme un véritable phare culturel, signalant aux passagers des transatlantiques l’exemplarité de la France en la matière. Ce lieu, pensé comme un centre culturel et un lieu de création continue, est voué à une diversité d’emplois : expositions, concerts, conférences, spectacles…

Instruments d’action sociale fondée sur la confrontation des arts, les maisons de la culture, dont le Musée-Maison de la culture du Havre est le premier jalon, ont pour objectif principal de renouveler la relation du public avec les œuvres. Lieu dédié à l’art sous toutes ses formes, le musée du Havre permet donc au public de retrouver les collections constituées depuis plus d’un siècle, tout en bénéficiant d’une programmation culturelle particulièrement dense faite d’expositions temporaires, de projections de films, de conférences, de concerts et des services d’une artothèque et d’une discothèque.
Mais la polyvalence du lieu s’avère assez rapidement difficile à maintenir, pour des raisons de sécurité notamment, et, en 1967, la maison de la culture quitte le bâtiment pour s’installer dans le Théâtre de l’Hôtel de Ville. Le Musée-Maison de la culture redevient musée.

Avec le temps, les dégradations du bâtiment, dues à sa situation en bord de mer, se multiplient. À l’intérieur, l’espace dédié à l’exposition permanente commence à manquer, au fur et à mesure que les collections s’accroissent.
Plutôt que de procéder à des réaménagements partiels qui risqueraient de nuire à la qualité du bâtiment, la ville du Havre décide en 1993 de lancer un concours auprès d’architectes français et étrangers afin de repenser globalement le fonctionnement du musée. Lauréats de cette compétition, Emmanuelle et Laurent Beaudouin restructurent l’édifice, entre 1995 et 1999, tout en revalorisant ses qualités architecturales et paysagères.

À l’origine, musée des beaux-arts, le musée est rebaptisé musée Malraux en 1999, lors de sa restructuration. À l’occasion de son cinquantième anniversaire, en 2011, le musée change encore de nom pour devenir le musée d’art moderne André Malraux, abrégé en MuMa ("Mu" pour musée, "Ma" pour Malraux). Ce changement de nom répond à la double volonté de rendre plus visible la nature des collections (un musée d’art) et de mettre en valeur la modernité du musée et de sa programmation.

Sous le titre, « On n’est pas sérieux quand on a... 50 ans » (détournement d’un vers d’Arthur Rimbaud), le musée d’art moderne André Malraux célèbre son cinquantième anniversaire du 15 octobre 2011 au 29 janvier 2012. À cette occasion, le MuMa renoue avec l’esprit de flexibilité et de renouvellement permanent qui sous-tendait le projet initial de Musée-Maison de la culture. Ainsi le public est-il invité à venir et revenir chaque semaine, pour découvrir une nouvelle exposition-dossier (douze, au total), assister à un spectacle ou à une conférence… L’objectif est de retrouver le goût et l’audace de l’expérimentation de ce nouveau musée que son premier directeur, Reynold Arnould, pensait comme « l’agora de notre siècle, où se nouent et se renouent les dialogues nécessaires ».