Defensa contras las hordas de Escocia
En lo que fue el centro histórico, sobre una colina, se encuentran las ruinas del castillo de Penrith, construido como medida de defensa, de la ciudad y del país contra posibles ataques de los escoceses.
El castillo se construyó a finales de siglo XIV por el noble y comerciante Ralph Neville, quién posteriormente demostró su valía como estratega tras derrotar varias veces a los escoceses. Esto hace que se cree el primer titulo de nobleza en la ciudad, los condes de Westmorland. Estos regentaron el castillo hasta el siglo XIX cuando tras cambiar de manos varias veces, lo que son las cosas, el castillo es comprado por la compañía nacional de ferrocarril, que aprovecha los vastos terrenos para construir la estación de tren (justo frente al castillo tras cruzar una carretera) y llevar el tren hasta Penrith. Esto hace que en el siglo XIX el castillo ya en ruinas sea adquirido por el gobierno local, adaptando parte de los jardines como parque y dejando el cuidado del castillo al gobierno central inglés.
