小倉山城は､慶長6年(1601)に金森長近が築城した。なお､城内に釣られていた梵鐘には「奉鐘銘 濃州武芸郡小倉庄館置之 慶長拾季九月十三日 金森兵部卿法印素元」の銘があり､築城を慶長10年(1605)ともされる。
飛騨高山城主金森長近は､慶長5年(1600)関ヶ原合戦で東軍に属し､戦後恩賞として飛騨3万8千石の安堵に加え､佐藤方政の旧領地であった美濃国上有知(こうずち)･関と､河内国金田で2万3千石の加増を受け､翌年には高山城を養子可重に譲り､自らは佐藤氏の居城鉈尾山城を廃し､上有知の尾崎丸山に館を築造し､隠居城とした。この際､山名を「小倉山」と改称している。
慶長12年(1607)長近が没し､遺領を可重が継いだが､美濃･河内国2万3千石は実子長光に分封され､小倉山城を居城とした。長光は慶長16年(1611)6歳で継嗣なく没し､領地は幕府に上知され､これにより上有知藩は廃藩､小倉山城は廃城になった。
その後､上有知は天領期を経て､元和元年(1615)より尾張藩領となり､天明3年(1783)には城跡に尾張藩上有知代官所が置かれ､尾張藩領武儀郡支配の拠点となった。

小倉山城は､長良川に面した独立丘状の小倉山南麓に位置し､現在は小倉公園となっている。
城郭の規模は明確でないが､小倉公園の上の広場が本丸､下の広場が二の丸､その西側図書館のある所が三の丸であったと考えられており､山上は自然地形で遺構らしきものは認められていない。
上の広場への石段の左側石垣上に時鐘を釣った櫓が建てられていたが､取り崩しの際に鐘は揖斐郡に持ち去られ､現在は揖斐川町の松林寺に現存しているようである。
西側にある清泰禅寺は鉈尾山城主佐藤氏の菩提寺で､佐藤氏の墓と金森長光の墓がある。
現在は､公園整備により､山頂には天守閣風の三階建ての展望台が､山麓の本丸石垣の上には二層模擬櫓が建てられ､櫓の西側を二の丸から本丸へ石段が延び､昔時の雰囲気が感じられる。