Se trata del antiguo Hospital de Santa Cruz, fundado por el Cardenal Mendoza para albergar a niños huérfanos y desamparados. Hoy contiene una colección muy interesante de arte, compuesta por piezas de arqueología, artes decorativas y bellas artes.
El Museo es obra de Alonso de Covarrubias, que también es autor de este patio en el que existe una escalera que permite ascender al piso de arriba.