En el punto más alto, sobre un palacio romano del siglo III, la primitiva fortaleza estuvo ocupada por visigodos y musulmanes. Fue residencia de Alfonso VI y de los Reyes Católicos en Toledo. Carlos V encargó el edifico actua a Covarrubias, aunque después intervino Villalpando y fue rematado por Juan de Herrera, ya en tiempos de Felipe II. Al mudarse la Corte a Madrid, se transformó sucesivamente en cárcel, cuartel, casa de caridad, sederías y academia militar. De estilo renacentista, con cuatro torres macizas, combina también elementos platerescos y churriguerescos, junto a los medievales de torreones y defensas almenadas. El agua del Tajo ascendía hasta el edificio gracias al llamado Artificio de Juanelo. Fue tomado por los Comuneros, arrasado durante la guerra de Sucesión por los ingleses y la de la Independencia por los franceses, incendiado tres veces, asediado en varias ocasiones, bombardeado, minado y prácticamente destruido en la guerra civil. En la última remodelación, para convertirlo en Museo del Ejército, se han hallado restos de los siglos V-IV a. C.