柏原城は､村上源氏の末裔で鎌倉時代初め柏原庄の初代地頭であった柏原弥三郎の居館であった。弥三郎は勅命に背く悪行により､正治2年（1200）後鳥羽院から追討の命が下され､佐々木定綱によって討伐された。その功が認められ柏原城は､定綱に与えられた。
仁治2年(1241)に定綱の子･信綱の時に近江守護･佐々木氏は四氏に分流し､京極氏初代となった四男･氏信が柏原城を居城とした。その後､氏信は居城を太平寺城へと移し､弘安6年(1283)には柏原城跡に菩提寺となる清滝寺を創建した。
京極氏は､栄枯衰退を繰り返しつつも、江戸時代には丸亀藩をはじめ四大名家･一旗本家として存続し､多くは明治維新を迎えている。
寛文12年(1672)第22代高豊(丸亀藩第2代藩主)は､幕府に願い出て播磨国の所領2ヶ村と清滝村と大野木村との交換を許され､清滝寺を復興し､三重塔の建立､12坊を復活させた。さらに､院号も父･高和の院号から徳源院と改称した。そして近隣に点在していた初代･氏信から第18代高慶(高吉)までの歴代の宝篋印塔をここに集め､京極家墓所として整備した。平成14年には､国史跡に追加指定されている。