若槻山城は､麓の里城の詰城として鎌倉時代初期(12世紀後半)に若槻頼隆によって築かれたと伝えられる。頼隆は､八幡太郎源義家の孫にあたり､清和源氏の直系で､従五位下の位階をもち伊豆守を称し､鎌倉御家人として相模国毛利庄から若槻庄の地頭職となり入部して､若槻氏を称した。
室町時代には高梨氏に属し､若槻庄もその知行地となっていた。応永11年(1404)信濃守護代細川慈忠の入信に反対して若槻氏は高梨氏と共に抵抗したが､若槻山城は幕府方の市川氏幸らに攻められ陥落した。戦国時代に入ると善光寺平が武田信玄・上杉謙信の抗争の場となり､若槻山城は上杉方によって整備されたが､永禄年間（1558〜69)武田氏に攻められ､若槻氏は越後に逃れたと云われる。
現在に残る遺構は､その頃のものと推測されている。

若槻山城は､三登山から西に伸びる尾根から南へ派生する三本目の支尾根の標高676m付近に築かれている。その北方の標高785ｍには番所(ばんどこ)が､南方の標高600ｍには堂沢出城､そして､麓には里城が構えられていた。
若槻山城の主郭は東面を除き土塁が巡る大きな郭で､背後の北側には二重堀切が入り､その外側に30m×15ｍ程の郭を構え､その東斜面には3､4段の腰郭が付帯している。これら郭の北側にも一条の堀切を入れ､その堀切から東に落ちる竪堀は土塁を伴い､尾根続きの遮断は厳重である。さらに､主郭背後の二条の堀切から東に落ちる竪堀も山腹でこれに合流し､谷筋へと落ち込み､敵の侵入を阻む。
主郭の南面に外桝形状の虎口受けを伴った虎口が開き､主郭の南東下方に続く6段の段郭へと通じている。この段郭の北面と1段目と4･5段目の南面には土塁を設け､側方からの侵入に対する防御を固めている。主郭虎口下と50ｍ程西側に竪堀が落ち､その間に二段の段郭が構えられている。
6段の段郭の前方となる南東下方にも三本の堀切を入れ､間に小規模な段郭を連ねている。
遺構はよく残っており､主要な郭内はきれいに整備されているが､斜面はやや灌木が多く見所の堀切や竪堀などが見難いのが残念ではあるが､善光寺平を巡る争いで上杉氏が重視した城跡の遺構を楽しむことができる。