天文6年(1537)斎藤道三が美濃押領の野望を抱き､その猶子斎藤正義に東濃経略の布石として兼山に城を築かせた。正義はその城を鳥峰城(うほうじょう)と名付け､東濃支配に武威を振るったが､天文17年(1548)久々利城主土岐三河守に謀殺された。
永禄8年(1565)織田信長が東濃に侵攻し､烏峰城を落とした森可成にこの城を与えた。可成は城の大改修を行い名も美濃金山城と改めた。
信長上洛後に可成は近江国宇佐山城主となったが､元亀元年(1570)浅井･朝倉連合軍が攻め寄せ､これを城を出て迎え撃ったが敢無く討死､嫡子長可がその跡を継いだ。
天正10年(1582)武田勝頼が天目山麓で自害し武田氏が滅亡すると､長可は信濃国川中島に転封となり､弟の蘭丸が金山城主となった。同年蘭丸は本能寺の変で信長とともに討死したため､川中島から長可が戻り金山城主となった。
その後､長可は羽柴秀吉に従い､天正12年(1584)小牧･長久手の戦に従軍し討死､末弟の忠政が家督を継ぎ城主となった。慶長5年(1600)忠政は信濃国川中島へ移封となり､金山城は犬山城主石川光吉に与えられた。翌年には小笠原吉次が犬山城主となり､吉次は金山城を廃し､犬山城の改修に当てるため､櫓などの建物を解体してその古材を筏に組んで犬山へと運んだとされる。これを「金山越し」と云うそうである。

金山城は､木曽川の左岸に聳える標高276ｍの古城山山頂に築かれている。北は木曽川､西は山田川､東は洞切洞の谷で仕切られた要害地形である。大手口は､西の谷筋で､中腹の谷の両側と山頂下に大手郭が構えられている。山頂下は出丸で､現在は駐車場になっている。この出丸の南側には高さ4m､長さ40mにも及ぶ長大な石垣が積まれている。
主要部は､山頂に本丸を置き､その東端に天守台が構えられている。天守台の東側に腰郭を､本丸の南側に帯郭を付帯させ､この帯郭の中程の石段が本丸虎口となり､更に東側に天守付櫓への石段が二か所設けられており､東端が腰郭へ通じている。
本丸の南西下にも腰郭が付帯し､その北部に大手門が建っていた広い桝形虎口がよく残存している。大手門を出ると二の丸で､二の丸の北西一段下に三の丸が配されている。
城道はクランク状の石段通路で三の丸の南東隅に入り､二の丸北側の石段を登って二の丸へ､そしてＵターンするように戻り､大手門を経て腰郭へと入る。折れを多用した経路設定がなされている。
これら主郭部各郭の周囲や虎口など石垣造りとなっているが､稚拙で高さはそれ程高くなく､本丸北西隅部では3段になっており､近世城郭への移行期の城とされる。

東海環状高速道の可児御嵩インターを降りて最初の可児御嶽IC交差点で右折し国道21号バイパスに入る。次の柿田交差点で右折し県道381号線に入り北上すると国道21号の旧道に突き当たる。その高倉口交差点を右折し国道21号の旧道に入る。120ｍ程先歩道橋手前の交差点を左折して県道351号線に入る。750ｍ程行った突き当りを右折し､さらに900ｍ程道なりに走ると右手に兼山小学校がある。小学校を越えて直ぐ右折し､260ｍ程先で左折し林道に入る。林道を560ｍ程登ったＴ字路で左折し370ｍ程で出丸の駐車場に至る。