La idea d’un nou edifici va néixer fa disset anys, quan el Gran Ducat es va convertir en un dels sis països fundadors de la Unió Europea i les autoritats van decidir donar suport a la imatge de Luxemburg no només com un estat econòmicament pròsper, sinó també com a important centre cultural del continent. Tanmateix, la mateixa idea de crear una col·lecció d'art contemporani i la seva plasmació arquitectònica en forma de projecte de J. M. Pei es va trobar amb resistència en diversos cercles de la societat de mentalitat conservadora. Com a resultat, el seu concepte es va revisar diverses vegades, es va suspendre el disseny i fins i tot la construcció. Només el 1997 es va determinar el lloc del museu: les ruïnes de la fortalesa de Tungen (1732), que es van incloure al nou edifici. El 1999 es va iniciar la construcció, però es va interrompre durant quatre anys perquè Pei volia utilitzar només pedra calcària daurada de França per a la seva construcció, i això va donar lloc a molts problemes nous.
A més, van sorgir dificultats amb la col·lecció: atès que mai no hi va haver cap col·lecció d’art del segle XX a Luxemburg, es va haver de crear. A causa dels fons limitats, no es va parlar de comprar obres de Dali i Picasso: la gran majoria de les exposicions dels 230 objectes del museu pertanyen al període posterior al 1980. Però, segons la directora del museu, Marie-Claude Beaux, està dissenyada per ampliar encara més la col·lecció, per col·leccionar art del futur, art del segle XXI.
El complex està situat al mig d’un parc, entre dos districtes comercials de la ciutat. La característica que la defineix és la torre de vidre verdós sobre l’atri principal, que recorda la fortalesa sobre la qual es va construir. Gairebé tots els pisos del nivell principal són de vidre, de manera que la majoria de les sales tenen llum natural. A la planta baixa hi ha dues petites galeries i una sala de conferències. A l'exterior, les parets del museu estan enfrontades amb pedra calcària de color mel, l'entrada principal del museu és una complexa composició espacial en forma de nínxol. La superfície total de l’edifici és de 10.000 m². m, dels quals 4.800 metres quadrats m - espais d’exposició. El museu porta el nom del gran duc Jean, que ara ha transferit la gestió del país al seu fill Henri.
