En el año 1539, Don Alonso de Zúñiga y Acevedo mandó a Rodrigo Gil de Hontañón edificar este palacio, que hoy por hoy es el más significativo de la arquitectura civil española del Renacimiento. Si uno se fija bien, podrá comprobar que realmente no está terminado. En un principio, se diseñó para tener cuatro cuerpos y no uno como tiene en la actualidad. Destacan en especial sus torres y chimeneas, la galería del muro y la crestería plateresca. Leones y animales fantásticos sostienen escudos de los linajes de Zúñiga, Acevedo, Fonseca y Ulloa.
En la actualidad, es propiedad de la Casa de Alba.