A mediados del siglo XV, Don Arévalo de Zúñiga mandó construir este palacio. Tras su muerte, pasó a pertenecer a los Reyes Católicos. Con posterioridad, su misión principal fue servir de prisión a personajes importantes a lo largo de la historia. En su imponente torre del homenaje, piedra angular del castillo, encerró el rey Pedro I el Cruel a su esposa Doña Blanca de Borbón. Posteriormente Felipe IV también mantuvo prisioneros entre sus muros al príncipe de Orange, Don Guillermo de Nassau y a su custodio, el capitán Don Diego Osorio.