L'edifici es va construir al lloc d'un complex museístic d'estil colonial espanyol destruït pel terratrèmol de 1989. Les elegants formes i l’ús original dels materials, característics de Jacques Herzog i Pierre de Meuron, van provocar una activa oposició per part de les autoritats conservadores de la ciutat, però la persistència de l’administració del museu va permetre, no obstant això, implementar el projecte.
L’estructura està totalment revestida de coure (s’han utilitzat un total de 7602 panells de diverses formes) i és l’edifici més gran cobert amb aquest metall al món.
L’element principal del projecte és una torre corba que s’aixeca sobre les cimes dels arbres del Golden Gate Park, on es troba el museu. Ofereix vistes de la ciutat i també connecta l’edifici amb San Francisco: la mida de la torre li va permetre convertir-se en un element notable del paisatge urbà.
El volum principal, de planta rectangular, està tallat per petits patis plantats amb falgueres. Les parets de vidre han fet d’aquests jardins part de l’interior del museu.
Es va prestar una atenció especial als arquitectes per emfatitzar el flux continu d’espai: l’entrada al museu està connectada a un gran vestíbul per un pati obert, des d’allí una àmplia escala que condueix als passadissos del segon pis. Això també es veu facilitat pels plànols corbs de les sales d’exposicions. Els interiors del museu estan decorats amb fusta d’eucaliptus.
El cost de tot el projecte va ser de 190 milions de dòlars, que van ser recaptats per particulars, malgrat que tant la col·lecció (art procedent d’Àfrica, Oceania, Mesoamèrica) com el mateix museu pertanyen a la ciutat.
