Se alza a orillas del Henares. Fue construido en el siglo XIII, seguramente sobre otro árabe. Es de planta cuadrangular y tenía cuatro torreones de los que sólo dos se han conservado. Uno de ellos fue pósito de cereales con los Reyes Católicos, por lo que se le llama el Peso de la Harina. Fue residencia real hasta el siglo XV. Sufrió junto con su ciudad un largo periodo de crisis y abandono hasta que Felipe V estableció en el palacio de Montesclaros la Real Fábrica de Paños, que posteriormente se amplió en el alcázar, destruyendo para ello lo que quedaba del palacio medieval, pero dando nueva vida a ambos. Más tarde fue cuartel del ejército, colegio de Huérfanos y sede pionera de la aviación, con un batallón de aeroestación. En la guerra del 36 fue bombardeado e incendiado, dejando al descubierto los muros medievales. Formaba parte de la antigua muralla de la que sólo queda el torreón de Alvar Fáñez y la puerta de Bejanque, además de algunos restos de lienzo.