Le musée a été conçu par quatre architectes – Guy Lagneau, Michel Weill, Jean Dimitrijevic et Raymond Audigier –, en étroite collaboration avec quatre ingénieurs – Bernard Laffaille et René Sarger (pour les structures acier et béton), Jean Prouvé (pour l’emploi de l’aluminium), André Salomon (pour l’éclairage naturel et artificiel) – et avec l’artiste Henri-Georges Adam, à qui fut commandée une sculpture monumentale pour la façade de l’édifice.

Flexibilité et transparence sous-tendent le projet novateur de cette équipe d’architectes et d’ingénieurs, pionniers dans leur domaine, en étroite affinité avec les objectifs de modernité fixés par Georges Salles, directeur des Musées de France, et Reynold Arnould, conservateur des musées de la ville.
À la pointe d’un îlot d’habitation typique de la reconstruction menée au Havre, le musée proclame une double rupture, rupture avec le style de la reconstruction de la ville entreprise par Auguste Perret, mais aussi et surtout, avec l’esthétique traditionnelle de ce type d’institution.

En décembre 1953, la maquette du futur bâtiment est dévoilée à Paris, au Musée national d’art moderne, à l’occasion de l’exposition « De Corot à nos jours au musée du Havre ». Cependant, le chantier ne débute pas avant la fin de l’année 1958. Entre-temps, la conception du musée s’est affinée et lorsque André Malraux, ministre des Affaires culturelles, inaugure solennellement l’édifice, le 24 juin 1961, il est devenu Musée-Maison de la culture.
L’architecture annonce d’emblée la modernité du programme « Musée-Maison de la culture », laquelle s’incarne à l’intérieur du bâtiment dans des solutions muséographiques d’avant-garde qui transforment radicalement la vision des œuvres de la collection. Elle favorise notamment une flexibilité des espaces qui permet de répondre avec une grande souplesse et une grande efficacité aux exigences d’une programmation faite d’expositions, certes, mais aussi de concerts de conférences ou de spectacles.

Ancré face à la mer, le musée d’art moderne André Malraux offre un volume lisse et transparent, assemblage de verre et d’acier posé sur un socle de béton.
Dévolu aux fondations et aux réserves, le béton armé est relayé, au niveau supérieur, par une ossature en acier. L’édifice, vitré sur cinq faces, est baigné de lumière naturelle. Les façades exposées aux vents (sud et ouest) sont constituées de deux pans de verre et de panneaux d’aluminium conçus par Jean Prouvé, qui a également dessiné la grande porte de service située à l’ouest (7 x 6 m), ainsi que le paralume installé au-dessus du toit. Véritable performance technologique, ce paralume en lames d’aluminium inclinées en ailes d’avion brise les rayons du soleil et renvoie une douce luminosité au cœur du bâtiment.

La lumière est en effet la véritable composante du musée, qui combine deux types d’éclairage : l’éclairage zénithal classique, privilégié par la plupart des musées du siècle passé, et un éclairage latéral issu des quatre points cardinaux et non plus seulement du nord, selon la conception traditionnelle. À l’est, un verre opalin atténue les rayons du matin, tandis que la façade ouest est équipée de trois niveaux de filtration : une paroi de verre sérigraphiée croise ses lignes horizontales avec les verticales des volets pivotants, tissant un quadrillage de densité variable. Lorsque les rayons lumineux entrent horizontalement, des stores complètent le dispositif. Au plafond, des dalles carrées translucides tamisent la lumière réfléchie par le paralume.

Dépourvu de mur porteur, le musée est un espace flexible. Reposant sur quelques poteaux, la structure dégage un vaste volume qui se prête à tous les usages et à tous les aménagements. Ainsi, avec un espace ouvert et 550 m² de surfaces vitrées, la transparence est omniprésente et le bâtiment laisse pénétrer la lumière changeante de l’estuaire de la Seine, celle-là même qui a inspiré de nombreux peintres présents dans les collections.
Les tableaux dialoguent avec les éléments du paysage maritime, offrant au visiteur ce que Dufy réclamait pour lui-même : « Le peintre a besoin d’avoir sans cesse sous les yeux une certaine qualité de lumière, un scintillement, une palpitation aérienne qui baigne ce qu’il voit… ».

La rénovation du musée, menée entre 1995 et 1999, a été le fruit d’un travail d’équipe entre les architectes, Laurent et Emmanuelle Beaudouin, Jean-Pierre Crousse et Sandra Barclay, les ingénieurs et le conservateur, Françoise Cohen.

Tout en préservant les qualités architecturales essentielles du musée, cette restructuration répondait à quelques grands principes : réorganiser l’espace autour d’une nef centrale, offrir un écrin rénové aux collections, proposer au visiteur un parcours-promenade et préserver le lien visuel avec le paysage marin.
Afin de conserver le principe de fluidité, la hauteur des cimaises est limitée, ce qui favorise la circulation du regard, dans l’espace comme dans les œuvres d’art. L’espace lui-même varie, entre la grande nef, consacrée à la présentation des collections et aux expositions, et la mezzanine, où des lieux plus intimes accueillent les collections anciennes. Le traitement des plafonds épouse cette variation : vitré dans la nef et dans la périphérie du bâtiment, il devient opaque au-dessus de la mezzanine. Les deux niveaux d’exposition sont reliés par une rampe, d’où l’on découvre, progressivement, la relation du musée avec le paysage. Les façades ont fait l’objet d’une approche technique rigoureuse. Pour résoudre les problèmes liés au filtrage de la lumière, côté ouest, des lames de verre sérigraphié, pivotantes, ont été introduites entre les deux parois de la façade.

En 2006, à la suite de l’arrivée de la donation Senn-Foulds, Laurent Beaudouin et Sandra Barclay réaménagent la mezzanine, côté est, dévolue à la collection de l’amateur havrais Olivier Senn. L’espace est légèrement décloisonné de manière à devenir plus fluide, plus lumineux, et à accroître la surface d’accrochage. Un nouveau puits de lumière est créé. La relation visuelle avec le paysage est réaffirmée. Le cabinet de dessins est repensé.

Le Signal, sculpture monumentale commandée par l’État en 1956 à Henri-Georges Adam pour le parvis du Musée-Maison de la culture, fait partie intégrante du musée et de son identité.
Longue de 22 mètres, haute de 7 mètres et pesant 220 tonnes, la sculpture isole un fragment du paysage, autour duquel elle dessine un cadre de béton, et souligne la situation exceptionnelle de l’édifice à l’entrée du port. Sa mise en œuvre a représenté un défi technique, car, bien que creux et d’une portée considérable, ce monument repose sur son socle pour à peine un quart de sa longueur.

Le nom de Signal, qui explicite la fonction de l’œuvre, ne semble pas avoir été attribué initialement par l’artiste. Cette appellation s’est probablement fixée au cours de la progression du projet, et c’est sous ce titre qu’elle est inventoriée au Centre national des arts plastiques (Fonds national d’art contemporain) et dans les registres du musée. Mais, pour les Havrais, son nom semble ne jamais s’être véritablement figé et « l’œil », « la navette », « la boussole » sont autant de termes qui lui sont  spontanément attribués.

Durant les cinquante années où elle est restée placée sans protection sous les vents dominants, l’œuvre a subi de plein fouet les intempéries, cause majeure d’érosion. Sa restauration, annoncée comme l’un des principaux événements de la célébration du cinquantenaire du musée, lui a rendu son aspect d’origine, revalorisant du même coup cet emblème du dialogue noué entre le musée, la mer et le port.

L’image de la façade principale du musée est intrinsèquement liée à la présence monumentale de la sculpture d’Henri-Georges Adam. On oublie souvent que lorsque le musée-maison de la Culture est inauguré en 1961, le bassin intérieur était dominé par la haute stature de la sculpture d’Ossip Zadkine, Le Navigateur, commandée par la société des Bois Charles pour l’exposition internationale de 1937.
Simple dépôt, l’œuvre de Zadkine a quitté Le Havre depuis longtemps. C’est donc pour renouer avec cette tradition et redonner un sens à ce bassin « aux nymphéas » que le musée a acheté à Vincent Barré deux sculptures, acquisition complétée du don d’une troisième sculpture par l’artiste.
 
Les trois Outres, (1999) fontes de fer mesurant chacune  60 x 240 x 80 cm, et pesant 800 kgs, sont posées à la surface de l’eau du bassin et reflètent subtilement leur forme fuselée. Écho discret à la présence du monument d’Adam, les sculptures signalent désormais le passage de l’espace public extérieur à un espace plus intime, celui du musée.