Castro Caldelas se inició en su castro celta y en la posterior fortificación superpuesta sobre el primigenio poblamiento, sobre la que se levantó a su vez, a finales de la Edad Media, el magnífico castillo en torno al cual creció la actual villa.
Fue declarado Monumento Histórico-Artístico en 1949.
En 1992 la Fundación Casa de Alba lo entregó al Ayuntamiento de Castro Caldelas para su aprovechamiento como espacio cultural