En la margen izquierda del Tajo, frente al puente de Alcántara y el recinto amurallado, fue antes fortaleza romana. De hecho, la subida al castillo discurre sobre una antigua calzada. En el siglo XI , Alfonso VI mandó construir un monasterio consagrado a los santos Servando y Germano sobre una basílica visigótica. Sede de una comunidad cluniacense, fue destruido por los almorávides y más tarde cedido a los templarios. Abandonado y reconstruido en el siglo XIV sobre un castillo árabe de mayores dimensiones, es una de las mejores muestras de arquitectura militar mudéjar en España. Además de sus torres cilíndricas almenadas, sobresale la del homenaje, frente a la entrada. Aparece en el Cantar de Mío Cid y Góngora lo glosa con sarcasmo (San Cervantes). Tras ser polvorín, corral y colegio, ahora se puede disfrutar como Albergue Juvenil.