江北を支配した戦国大名･浅井氏三代の居城で､日本五大山城（春日山城、月山富田城、観音寺城、小谷城、七尾城）の一つに数えられている。
戦国期中頃に守護大名･京極氏の家督争いに乗じ､家臣であった浅井亮政らが国人一揆を起こし､亮政は次第に国人の盟主と目されて台頭する。
亮政が永正13年(1516年)に長浜平野の北東隅に突き出した伊吹山系の一支脈である小谷山の最高峰に砦を構えたのが小谷城の最初とされ､その後､勢力が大きく飛躍する過程で､次第に城域が拡張され整備されたと考えられている。
天文3年(1534)に亮政は､京極高清･高延父子を清水谷の小谷舘で饗応し､執権としの江北支配を確立した。長政の時代になると京極氏の消息は消え､戦国大名として自立したとされている。
この浅井長政に対し､織田信長は天下統一を目指し近江を掌中に納める必要から妹お市を嫁がせ同盟するが､元亀元年(1570)4月信長は意に従わない朝倉義景を討つため､越前金ケ崎､手筒山の砦に侵攻した。これに対し浅井長政が反旗を翻し､信長軍の背後を突いたが討ち逃し､同年6月織田･徳川連合軍を朝倉氏の救援を得て姉川で迎え撃ったが敗北。その後､天正元年(1573)に朝倉氏を滅ぼした織田信長は､越前より折り返し小谷城を攻撃し､浅井長政は赤尾屋敷で自刃､浅井氏はほぼ50年で滅亡した。
浅井氏滅亡後の江北12万石は羽柴秀吉に与えられ､秀吉は今浜を長浜と改め､長浜城を築城して移ったあと小谷城は廃城となった。