Se han hallado restos que hacen suponer que aquí estuvo el Pretorio en época romana. Durante la capitalidad, en el siglo VI, fue palacio de los reyes suevos. El actual edificio data del siglo XII, cuando se convirtió en sede del Obispado. De ese periodo son las arquerías que se conservan en la fachada, el patio interior y las ventanas de la galería superior. A pesar de las distintas etapas y modificaciones mantuvo la planta en L del palacio románico, aunque en el siglo XIV se añadió una torre gótica. El Museo Arqueológico que acoge contiene herramientas y armas prehistóricas, restos de las culturas castreña y romana, estatuas, tallas, sepulcros.