La historia es un poco confusa, pero este Castillo encierra una misteriosa historia de amor y venganza. Según cuenta la leyenda, Elvira y Roberto eran dos enamorados hasta que el Señor de Pedraza, Don Sancho de Ridaura, se casó con Elvira. Esto provocó que Roberto, el primer amor de la dama, ingresara en un convento.
Pero el destino es caprichoso, y quiso que Don Sancho partiera a la guerra, coincidiendo este hecho con la muerte del cura del castillo, lo que llevó a llamar a un nuevo monje, que resultó ser.. Roberto.
A su vuelta de la guerra, el Señor se enteró de la relación entre su esposa y el monje, por lo que se vengó, según cuentan, poniendo sobre la cabeza de él una corona de hierro puesta al fuego y prendiéndola fuego a ella en la torre de la fortaleza. Dicen que el noble desapareció y no se volvió a saber nada de él.
