Junto al monasterio de San Bernardo se alza el mejor edificio renacentista de la ciudad. Iniciado en 1209 en estilo mudéjar, fue reconstruido y ampliado tras un primer incendio en el siglo XV. El palacio-fortaleza contó con recinto amurallado, como recuerda el torreón de Tenorio del siglo XIV. Se conservan las fachadas norte y este, aunque la que sobresale, con galerías de arcos, fue concebida por Covarrubias en 1524. También se hizo cargo de las galerías del patio central con filigrana plateresca, las escaleras y los jardines. Fue residencia de los Reyes Católicos y aquí nacieron Catalina de Aragón y Fernando de Austria, hijo de Juana la Loca. En él se celebraron Cortes, Sínodos y Concilios y fue recibido Colón en 1486. De los patios que llegó a tener, sobreviven los de la Fuente, de Columnas, del Aleluya, de Armas y del Ave María. En el interior destacan la Capilla de la Inmaculada y la Sala de los Obispos. Ha sufrido numerosas transformaciones, la última tras un incendio en 1939.