Aquesta decisió es va prendre com a concessió a la postura agressiva dels membres de la família dels assassinats durant l'atac terrorista de l'11 de setembre del 2001. Segons la seva opinió, al lloc on es trobaven les torres bessones, no hi hauria d’haver institucions que poguessin distreure l’atenció d’aquesta tragèdia. Anteriorment, es va anunciar que només aquelles institucions culturals que es comprometen a no fer mai exposicions i altres esdeveniments que poguessin ofendre el sentiment patriòtic dels nord-americans poden ser admeses al territori del WTC. Com a resultat, el Centre de Dibuix, que havia de compartir amb el Freedom Center un edifici aclamat per la crítica dissenyat per l’oficina noruega Snohetta, ha cancel·lat el seu contracte d’arrendament i està buscant un altre espai.
Així, el pla de Libeskind tornava a estar amenaçat: segons el seu projecte, les institucions culturals s'haurien d'ubicar al costat del monument a les víctimes de l'atac terrorista a les "estampes" dels fonaments dels gratacels destruïts. Ara l'únic "propietari" garantit de l'edifici serà el centre de visitants.
També parla de canvis en la posició de les autoritats: el Freedom Center, que va caure en desgràcia, va ser concebut el 2002 com una institució dedicada a la història de la lluita per la llibertat personal a tot el món.
Després de l'anunci del governador George Pataki de censura al lloc del WTC el juliol del 2005, moltes figures públiques destacades han deixat el consell encapçalant el disseny i la construcció del nou complex. Després de l'última decisió de Pataki, hi van marxar diverses persones més, inclosa Agnes Gund, directora honorària del Museu d'Art Modern i un destacat filantrop. Ara, segons els analistes, serà especialment difícil recaptar diners per a la construcció de l’edifici Snohetta i el monument commemoratiu de Michael Arad. Per tant, el destí de l’edifici estava en perill. El futur de l’edifici teatral dissenyat per Frank Gehry també és incert: l’arquitecte es va queixar davant els periodistes de la manca total de contactes amb els clients i la implementació del projecte estava prevista per a la "segona fase" de la restauració del World Trade Center - és a dir, en un futur llunyà.
