安養寺大安養(おおやすがい)神社の社地が安養寺氏の館である。
安養寺氏は､浅井氏の家臣で当地の土豪である。氏久､氏秀が当主の名として確認されている。
また､｢近江温故録｣に｢安養寺河内守勝光代々京極家旗頭ﾆﾃ､永正中(天文元年(1532)ﾆﾓ浅見ﾄ一処ﾆ山本山に立籠ﾃ浅井に従ﾊｽﾞ､後扱ﾆﾃ浅井氏ﾆ属ｼ浅井三代ﾆ軍功ｦ立ﾃ､息安養寺三郎左衛門姉川合戦ﾆ生捕ﾗﾚﾃ､既ﾆ討ﾙﾍﾞｷ時信長公助命ｱﾘﾃ召仕ﾙﾍﾞｷ由ｱﾘｹﾚﾊﾞ､三郎左衛門居直ﾃ仰ｾﾊ有難候ﾍﾄﾞﾓ､御恩ﾆﾊ速ﾆ首ｦ刎ﾗﾚ下ｻﾚ度願奉ﾙ云々･･･｣のｴﾋﾟｿｰﾄﾞを残している。
同社には､戦国期､京極氏奉行人や浅井長政から当社の前身にあたる薬神社に宛てた禁制が残っている。その他､安養寺氏が寄進したと云う天文11年（1542）の木造狛犬１対（びわ町指定文化財）や同じ所伝をもつ戦国時代の六十二間筋兜鉢も保管されている。