A XVII. Században jezsuita kollégiumként szolgált. Monumentális, árkádokkal körülvett udvarán Napóleon bronzszobra látható, amely a milánóiak hódolatának a jelképe. Napóleon elvette az építményt az egyháztól és az arisztokráciától, hogy közösségi gyűjteménnyé nyilvánítsa.
A képtár 38 termében elsősorban olasz művészek remekművei tekinthetők meg a XIV. századtól a XX. századig. Ilyen művészek mint Mantegna, Correggio, Veronese, Tintoretto, Bramante, Raffaello, Caravaggio. Ezen kívül megjelentek itt külföldi alkotók művei is mint El Greco, Rubens, Rembrandt, Van Dyck.
A könyvtárat Mária Terézia alapította 1770-ben, napjainkban körülbelül 700000 kötetnek ad otthont, valamint középkori kódexek és kéziratok is megtalálhatók.