La «ruina progresiva por abandono» fue el motivo por el que se incluyó el Castillo de Fernán González en la Lista Roja del Patrimonio, en el año 2007.
Del siglo X, según detalla Hispania Nostra, la asociación que elabora la Lista Roja del Patrimonio, «los torreones del edificio pertenecieron a la muralla árabe del siglo X, que formaba parte, al mismo tiempo, de un castillo-palacio. En los paños de la muralla se abren los balcones de la casa de los González de Sepúlveda, construida en el siglo XVI. Finalmente, en el siglo XVIII, al castillo se le adosó una fachada barroca acompañada de una espadaña situada en el torreón central. El edificio fue Ayuntamiento durante un tiempo, pero el lugar es más conocido como El Registro, ya que allí se registraban las materias primas que venían a venderse en Sepúlveda y donde se pagaban los impuestos. También en el edificio se encuentra el balcón desde el que las autoridades presidían los actos públicos. En la actualidad, en el castillo se realizan exposiciones culturales y desde su balconada se lanza el “chupinazo” anunciador del inicio de la Fiestas de los Toros».
Si bien Hispania Nostra indica que «se acometió una rehabilitación interior a base de hormigón para sostener elementos que peligraban y podían provocar el hundimiento del suelo», el edificio se encuentra «bastante deteriorado».
Sobre el cubo central del Palacio de Fernán González, se eleva una pequeña espadaña neoclásica que alberga dos campanas de diferentes tamaños, coronada por una cruz metálica con veleta. «Adosado a la parte inferior de los torreones hay un edificio del siglo XVIII con balconada corrida, que soporta el reloj de la Plaza en el que realizan actualmente exposiciones culturales, y desde el que se lanza el chupinazo anunciador del inicio de las fiestas de toros», explica la asociación.
La villa de Sepúlveda, en la que se encuentra el Palacio de Fernán González, fue declarada Conjunto Histórico-Artístico en 1951.
