内山の地は平賀氏の領有するところであったが､応永7年(1400)信濃守護小笠原長秀に反発し､平賀氏は佐久郡の国人領主である伴野氏や田口氏とともに大塔合戦を起こした。その後､小笠原氏に組した大井氏との争いが続き､文安3年(1446)平賀氏は大井氏によって滅ぼされたと推測されている。
平賀氏が滅亡したのち内山の地は大井氏の所領となり､永正年間(1504〜21)に大井美作入道玄岑が内山城を築いたと云われている。
天文10年(1541) 甲斐の武田晴信(のちの信玄)が信濃への侵攻を開始し､諏訪郡を征圧すると天文15年(1546)には佐久郡へと侵攻した。同年5月内山城を攻め城主大井貞清を降伏させると家臣の上原伊賀守昌辰(小山田備中守虎満)を城将に据え､以後､虎満は亡くなるまで城代を務めた。
天文17年(1548)2月小県郡の上田原の戦いで武田方を撃退した村上義清は､余勢を駆って同年4月佐久に侵攻し､内山城でも攻防が繰り広げられたが､同年9月に晴信が諏訪上原城から佐久へ出馬し義清を撃退した。　
天正10年(1582)に武田氏が滅亡すると佐久の諸城は徳川家康配下の春日城主･依田信蕃らによって次々と攻略され､内山城もその手に落ち､その後､廃城になったと云われる。

内山城は､佐久平から上野国富岡に通じる往時の重要な古道であった富岡街道が通る内山渓谷入口の右(北)岸に聳える標高910ｍ､比高190ｍの丘陵先端に築かれている。西南西1．2km程の所には平賀氏の居城と云われる平賀城もある。
構造は､主郭を頂部に置き､その北側に二郭､三郭を階段状に配し､南側にも三段の腰郭を設けている。この主郭部の東､南､西の三方は切り立った岩場が取り巻き､容易に人を近づけない要害地形となっている。
三郭北東部から東に伸びる尾根を堀切で遮断し､その内の北斜面を下る竪堀先端には水の手が設けられ､見事な石組み井戸が残っている。三郭北西部から西に伸びる細尾根には二本の堀切を入れ､その外の小ピークに堡塁を置いている。主郭部の南下方に張り出した支尾根には､東面に土塁を伴った当城で最大の郭である馬場平と数段の段郭構えている。
そして､南西に張り出した支尾根が大手で､5･6段の段郭を縫う様に登城路が主郭部へと通じており､大手筋や主郭部周辺には石積みが所々に残されている。
この城の主郭部周囲の断崖絶壁は､恐ろしくて近づけないほどであり､さらに断崖の隙間を埋めるように石垣が積まれているのには驚愕する。