遺構は非常に不明確なもので､その上公園事業のﾊｲｷﾝｸﾞ道設置で大きく破壊されているが､磯山の北側ピークは小字「トラカシロ(虎ケ城)」と呼ばれ､この城の中では比較的明瞭に削平され､南側に堀切や竪堀を伴っている。現在は磯崎神社の奥宮が祀られている。
また､同じ磯山の南端にも数段の削平地が認められるが､この両者の間には､二つのﾋﾟｰｸがあるが､自然地形に近く､あまり普請の手が入っておらず､さらに北城は南側を堀切や竪堀で防御しており､南城は北側に多数の段郭を設け防御を固めており､あたかも別の敵対する城のようである。
しかし､同一山塊の上に隣接しており､周囲が内湖と琵琶湖に囲まれている状況から､別々の独立した城とは考え難く､磯山城と磯山の南端の遺構は同じ時期に存在し､別城一郭的な城であったと考えられている。

遺構のほとんどは削平地の連続で､堀切や土塁などの施設があまり認められないのは､古式の形式のためとされている。