Het koninklijk kasteel op Plac Zamkowy (het Kasteel Plein), in de Oude stad van Warschau dateert uit de 14de eeuw. Vanaf de 16de eeuw was het een koninklijke residentie en de zetel van de Sejm (het Poolse parlement). 

In de 18de eeuw, na de verdeling van Polen is een aanzienlijk deel van de kunstcollectie naar Rusland vervoerd. Nadat Polen in 1918 onafhankelijkheid herwon, keerde een kleine deel van de collectie terug.

In 1939 werd het kasteel gebombardeerd. Deel van de toenmalige collectie en veel authentieke elementen van het kasteel werden gelukkig door medewerkers in veiligheid gebracht. In september 1944, gedurende de opstand van Warschau werd het kasteel opgeblazen door Duitsers. Het wederopbouw, die jarenlang door de communistische autoriteiten werd vertraagd, begon in 1971, mede dankzij de financiële steun van de Poolse bewolking werd het kasteel In 1984 wederom geopend voor de bezoekers.