後藤館跡は､近江守護・佐々木六角氏の重臣･後藤氏の在地居館跡である。
後藤氏の名は､室町時代前期の永徳元年(1381)の東大寺文書にみえ､永正13年(1516)の伊庭貞隆の乱の際には六角氏の家宰として活躍し､これを機にさらに権勢を高めたが､永禄6年(1563)後藤氏の力を恐れた近江守護･佐々木義弼に賢豊･又三郎父子が斬殺された。これが｢観音寺騒動｣の発端となり､六角氏は家臣団の離反を招き､織田信長の侵攻に抗することが出来ず没落していった。

後藤氏館跡は､旧八日市市(現東近江市)中羽田町の南東端にあり､周囲に堀と土塁が巡る方形単郭構造の館跡である。
その規模は､外周の堀を含めて東西が約100ｍ､南北が東辺で約100ｍ､西辺で約120ｍの台形を呈し､西辺の中央に両袖に石垣を伴った幅6ｍ程の虎口を構え､四周には基底幅約11〜15ｍ､高さが約3ｍを測る土塁､その外に幅約6〜10．5ｍ､深さ約1．5ｍの堀が穿たれていた。
さらに東堀の外側には幅約5ｍの土塁状の土手が続いていて､堀を挟んで二重に土塁が築かれていた可能性が指摘されている。南堀の外側には溝が掘られており､二重堀の間に柵か築地塀が築かれていたと思われている。館跡内のトレンチで柵跡､井戸跡が検出されており､それらとの位置関係から母屋など主要な建物は､敷地内北部中央付近に存したと推定されている。
後藤氏館がいつ頃築かれ､いつ頃まで存続したか定かでないが､発掘調査の検出物等から鎌倉時代初頭から室町時代後期頃までとされている。
なお､観音寺城内に見事な高石垣を伴って残る後藤但馬守邸や観音寺城のある繖山の北東端に残る後藤但馬守が城主であった佐生城の両遺構からも後藤氏の権勢を窺い知ることが出来る。