La fortaleza medieval de Santa Catalina, que se alza en un promontorio sobre el puerto, fue mandada construir por Alfonso VIII en el siglo XIII. Hay indicios de que se levantó sobre un faro romano. De recios muros y planta pentagonal rematada por cubos circulares, protegía el acceso marítimo a la villa. Este edificio hermético, sin vanos y escasamente almenado, fue morada de caballeros templarios. Es uno de los castillos mejor conservados del norte peninsular gracias a recientes rehabilitaciones. En el interior de uno de sus torreones se instaló de nuevo un faro en 1853, el más oriental de Cantabria. A sus pies, dos puentes permitían el acceso al puerto y a la ermita de Santa Ana. En la actualidad, sólo se conserva el primero de ellos, con un gran arco ojival. Frente al castillo se observan los restos de los muros y el ábside de la iglesia de San Pedro del siglo XII.