平安時代末期の治承4年(1180)に以仁王の平家追討の令旨に応じた源氏方山下兵衛尉義経が籠もった｢近江山下城｣がこの山本山城であったとされる。
その後､木曽義仲と行を共にしていた義経は､寿永3年(1184)の粟津ケ浜での合戦以後消息を絶ち､二度とこの城に戻らなかったようである。
戦国時代には､京極氏の支城となり被官の阿閉氏が本拠としていたが､永正年間(1504〜1521)には3ｋｍ西方の尾上城の浅見氏が詰城として用いていた。浅見氏は一時期浅井亮政と反目していたが､次第に浅井氏の勢力下に組み込まれ､山本山城は小谷城の支城となった。浅井長政は､再び阿閉氏を山本山城に入れた。
浅井氏にとって山本山城は､湖上交通を押さえる上で大切な位置にあり､また､小谷城､丁野山城､山本山城を結ぶラインは､浅井氏の領土防衛の最重要ラインであった。
元亀3年(1572)の織田信長による小谷城攻めに際し､同城も攻撃を受け､翌年には､阿閉貞征が織田信長に降り開城した。これで小谷城は孤立し､落城することとなった。
阿閉貞征は､秀吉の与力となり山本山城と伊香郡内の所領を安堵されたが､天正10年(1582)の本能寺の変で明智光秀に付いたため､秀吉に追討され一族全て頸を刎ねられ､山本山城は廃城となった。