築城年代は定かではないが､永禄年間(1558〜1570)に久々利城主であった土岐悪五郎の家老･奥村又八郎によって築かれたと云われる。
永禄8年(1565)東濃に侵攻した織田信長は諸城を降し､森可成を金山城主に封じ､東濃平定の楔を打ち込むと､東濃の諸将は連合して叛旗を翻したが､結局は武力で圧服させられた。
元亀元年(1570)可成は近江国宇佐山合戦で討死し､その跡を長可が継いだが､天正10年(1582)信濃国川中島に転封となり､弟の蘭丸が金山城主となった。同年蘭丸は本能寺の変で信長とともに討死したため､それまで従っていた東濃の諸将は一斉に蜂起し､急きょ長可が川中島から戻り金山城主となり､付近の肥田､奥村､長谷川ら諸将の討伐を開始し､大森城も激戦の末落城し､又八郎は城を脱出し越前へ逃れ､その後前田利家に仕えたと云う。