L’edifici del museu es remunta a mitjan segle XIX: les seves estructures metàl·liques pertanyien a un edifici de vidre de South Kensington, on es guardaven algunes de les exposicions de l’Exposició Universal de 1851. Aquest museu, construït el 1856, es va convertir en la base del futur museu Victoria and Albert, i el 1872 el seu lideratge buscava una ubicació més sòlida. I es va proposar dividir l'edifici existent entre diferents districtes de Londres, de manera que hi apareguessin petits museus municipals. Només les autoritats de Bethnal Green, en aquell moment un barri de barraques, van respondre a aquesta proposta. Van obtenir tota l’estructura de tres naus d’encavallades metàl·liques, les obertures laterals de les quals s’omplien de maons en lloc de vidre: el disseny de les noves parets pertanyia a James Wilde. Per iniciativa seva, van ser decorats amb imatges al·legòriques de mosaic i el terra es va col·locar amb marbre.
Durant els cent anys següents, s’hi van exposar diverses coses: des de la pintura francesa del segle XVIII fins al mobiliari modernista. Finalment, el 1974, el museu va ser declarat afiliat al Victoria and Albert Museum i es va convertir en el Museum of Childhood. La seva popularitat entre els londinencs i els turistes creixia cada any, però la necessitat de reconstrucció es feia encara més evident: el 1872 Wilde no tenia prou fons per construir el vestíbul. I només ara, després de la reconstrucció de Caruso St John, l’edifici del museu ha adquirit més claredat i significat.
Aquest és el primer edifici de tallers públics de Londres i es distingeix per un gran tacte. L’obra d’Adam Caruso i Peter St. John es pot atribuir fàcilment al neomodernisme, però en el cas del Museu de la Infància van aconseguir impregnar l’esperit de l’arquitectura victoriana.
L'annex que amaga el vestíbul està revestit a l'exterior amb lloses de pòrfir, quarsita i pedra calcària, que formen un mosaic de pedra, el motiu ornamental del qual s'assembla a un tauler d'escacs tridimensional. El nom del museu es presenta al mateix lloc, ja amb un mosaic real de smalt. Els arquitectes comparen aquesta addició amb el volum principal de l’edifici amb les façanes de marbre de les basíliques florentines, la resta de parets de les quals, com en el cas del Museu de la Infància, romanen de maó.
Al mateix temps, el començament del segle XXI es fa sentir en les formes lacòniques d’aquest “grup d’entrada”, en l’ús acurat del color i del material. A l'interior, el visitant entra al vestíbul lluminós i, des d'allà, a la nova galeria d'exposicions, integrada a l'espai del museu. En cas contrari, l'interior de l'edifici victorià va ser restaurat pels arquitectes Caruso St John en lloc de remodelar-lo. Allà on les lloses de marbre del sòl Wilde no han sobreviscut, el sòl està pavimentat amb taulons, tal com era en el període inicial de l'existència de l'edifici, llavors encara de vidre. Els colors utilitzats en el disseny són populars o familiars al segle XIX. I l'exposició permanent en si no es va convertir en interactiva, com és habitual en molts museus moderns. Totes les joguines i altres articles de la vida quotidiana dels nens estan ordenades en aparadors: al cap i a la fi, venen a admirar, en la seva majoria, els adults que són capaços d’apreciar la recreació del passat del museu, ja sigui sobre la vida quotidiana o sobre l’arquitectura..
