築城年代は定かではないが､平賀義信によって築かれたと云われる。
平賀氏は､新羅三郎義光の子義盛が平賀に館を構えて平賀冠者を名乗ったのに始まり､その子が平賀城を築城したとされる義信である。義信の長男惟義は伊勢・伊賀・越前・美濃・丹波・摂津の守護に任じられ､更に朝廷の後鳥羽上皇の近臣となり､大内冠者と呼ばれ､二男朝雅は北条時政の娘を娶り京都守護職を務めるなど､鎌倉幕府の有力な御家人であった。
応永7年(1400)大塔合戦では信濃守護小笠原長秀に反発し､佐久郡の国人領主である伴野氏や田口氏とともに戦い､その後､小笠原氏に組した大井氏と平賀氏との争いとなり､文安3年(1446)平賀氏は大井氏によって滅ぼされたと考えられている。
平賀氏滅亡後､平賀城には大井氏の代官が在城したが､その大井氏宗家も文明16年(1484)に滅亡､天文9年(1540)以降は甲斐の武田氏の持ち城となったが､天正10年(1582)の武田氏滅亡後の平賀城の城歴は不明となっている。

平賀城は､平賀集落の東方に張り出してきた尾根先端の標高861ｍ､比高155ｍの小ピークに築かれた山城である。北麓には内山渓谷を経て上野国富岡に通じる街道が通っており､それを渓谷入口で押さえる要衝に位置している。
構造は､天然の険阻な山頂に主郭､二郭､三郭を南から北へ階段状に連郭式に配し､急峻な勾配の山頂近くの四周には巾の狭い帯状の腰郭を何段も巡らせ､その下方にやや緩やかな斜面が続く西側に十段余の段郭群を構築している。南東隅から東へ続く鞍部には搦手郭を構え､その東端に二重の堀切と横堀を入れ遮断している。城域は山全体に及び東西200ｍ､南北300ｍの規模となっている。
段郭群から西へ伸びる緩やかな尾根筋を400ｍ程西進すると大林寺山があり､平賀城の西側を防御する城砦であったと考えられる。
大手は､大林寺山からの尾根道を経て､段郭群の北端を通り､北斜面をジグザグに登り､三郭北端の虎口に入ったと想定される。三郭の虎口付近は石垣で固められ､礎石も認められる。主郭の東側にも虎口があり搦手虎口であろう。
高さ１ｍ程であるが､石垣が主郭から搦手郭まで至る所に見られ､武田氏滅亡後も使用されたものと推測される。