L'estació de ferrocarril de Rolandzek es va construir el 1856 i aviat es va convertir en una destinació popular per a la noblesa i l'elit cultural de tota Europa. L’edifici, que recorda una vil·la renaixentista italiana, va organitzar concerts i sopars, i va comptar amb la presència de la reina Victòria, Otto von Bismarck, Heinrich Heine, Franz Liszt i George Bernard Shaw. La Primera Guerra Mundial va posar fi a la diversió de Rolandzek i no va ser fins al 1964 que es van tornar a celebrar exposicions i concerts a l'estació; ràpidament es va convertir en el centre de la vida cultural sota el seu comissari Johannes Wasmuth. Wasmut hi va fundar una mena de comuna d'artistes, que va florir fins a la seva mort el 1997. Va tornar a haver-hi una calma, que va acabar el 2004 quan la Fundació Hans Arp i Sophie Taeber-Arp, les obres de la col·lecció es van exposar durant la vida de Vasmut a la sala del soterrani de l’estació, van convertir l’edifici anteriorment restaurat en el museu Hans Arp.
Però el mateix Vasmut també va entendre que 400 obres de la col·lecció del fons no tindrien prou espai en un edifici del segle XIX ni tan sols en condicions òptimes; per tant, ja als anys vuitanta, es va dirigir a l'arquitecte nord-americà Richard Mayer amb una sol·licitud per crear un projecte per a un nou edifici del museu, a prop. La implementació d’aquest pla es va veure dificultada per diverses dificultats, de manera que la construcció va començar només el 2004 i el client ja no era Vasmut, sinó la Fundació Hans Arp i Sophie Taeber-Arp.
L'estació de Rolandzek es troba a la vora del Rin, i darrere d'ella s'aixequen fortament les parets de la vall del riu. Per tant, un nou edifici només es va poder aixecar al cim d’un turó proper. Però un problema especial per a Mayer va ser la connexió dels edificis vells i nous, ja que el pendent entre ells és convenient per als escaladors, però no per als amants de l’art corrents. Mayer va suggerir excavar un túnel de 40 metres darrere del complex de l'estació, que conduïa a les profunditats del turó. Des d’allà, els visitants agafen remuntadors a 40 metres fins a la torre de vidre cònica del nou museu, que ofereix vistes panoràmiques de la vall del Rin. El principi de contrast prepara l’espectador a percebre el patrimoni artístic divers de la parella Arp a les lluminoses sales del nou edifici. La seva connexió amb l’estació es veu reforçada per la divisió de funcions: l’edifici inferior alberga el vestíbul, la taquilla, la botiga del museu i la biblioteca, mentre que totes les galeries estan situades al pis de dalt. El túnel de formigó sota el turó és emfàticament tècnic i inhòspit; l’únic detall que el reviu és l’espiral lluminosa de 18 metres de l’escultura Kaa de Barbara Trautmann.
Un edifici completament diferent espera als visitants a l’edifici superior: el seu centre és un ampli vestíbul que connecta les tres plantes. Al nivell inferior, a més de les sales d’exposicions, també hi ha locals administratius i un centre educatiu.
