Ve 13. století nechal pražský biskup nedaleko soutoku Vltavy a Berounky vybudovat své sídlo, kterého se později vzdal ve prospěch krále Přemysla Otakara II. Ten zde nechal postavit
královský lovecký dvůr a jeho syn Václav II. v těchto místech později založil
cisterciácký klášter, aby tak odčinil smrt Záviše z Falkenštejna, kterého nechal popravit.
V gotické katedrále skvostného kláštera bylo umístěno
pohřebiště panující přemyslovské dynastie. Po zrušení kláštera v roce 1785 byla jeho část
upravena na zámek. Klášter byl přestavěn podle návrhů G. Santiniho a F. M. Kaňky.
Dnešní podobu získal komplex až na počátku 20. století. V roce 1910 koupil zbraslavský velkostatek
průmyslník Cyril Bartoň z Dobenína, který jej přebudoval do podoby obytného zámku, když průmyslovou výrobou zdevastovaný areál zrenovoval a už v roce 1939 jeho část rodina Bartoňů
pronajala Národní galerii. Na zámku byla během německé okupace expozice barokního umění.
Po znárodnění v roce 1948 využívala
objekt až do roku 2009 stále Národní galerie. Od roku 1956 do roku 1994 tu byla velmi známá a hojně navštěvovaná expozice českého sochařství 19. a 20. století, následně pak expozice asijského umění.
Zámek byl v restituci vrácen původním majitelům a po vypršení smlouvy s Národní galerií je
nepřístupný.
V areálu se nachází
kostel sv. Jakuba Staršího, který je přístupný.