Fue construido en un lugar estratégico junto al Palacio Real para residencia del primer secretario de Estado, que en 1775 era el marqués de Grimaldi. Más tarde fue residencia de Godoy, que lo obtuvo en propiedad y lo habitó algunos años, durante los cuales lo dotó de una importante colección de objetos de arte, entre ellas las Majas de Goya y la Venus del Espejo de Velázquez.
