八幡山城は､安宅本城の北の要として築かれた支城で､詰めの城の役割も果たしたと云われる。
『安宅一乱記』」に「安宅氏12代領主安宅実俊の実弟安宅定俊が居城した」と記され､享禄3年(1530)実俊の子安定丸と実俊の弟定俊の間の跡目争で､定俊は八幡山城に立て籠もり戦ったとされるが､定俊は安定丸に追い詰められて本城の一の曲輪で自刃したと云われ､その一角に小さな祠が祀られている。安宅氏は､この内乱によって自らを滅亡のふちに導いてしまった。
なお､現在に残る遺構は､戦国末期の天正13年(1585)頃とのものと考えられている。

安宅八幡山城は､八幡神社の裏山(標高82m)に築かれている。周囲は､尾根続きの南北が堀切と竪堀で､西の斜面は横堀で､東は急斜面と山麓の湿地帯で厳重に防御されている。
本城の南350ｍには安宅氏の平時の居館である安宅本城があり､本城の南950ｍには山城の安宅勝山城､日置川の対岸には大野城などの出城が周囲を固め､安宅荘全体を護っている。
安宅八幡山城跡は､津波の避難場所になっており､綺麗に手入れされ､しかも遺構の残りが良く､見事な土塁や空堀などを楽しむことができる。
構造は､頂部に高さ1．0〜2．5ｍの土塁に囲繞された広い一の曲輪を置き､北東隅の土塁は高く分厚くなっており､櫓台と思われる。虎口は､南西隅､南隅､東隅の三ヵ所に開いており､いずれも平入りである。南西隅が大手虎口で､南隅は二･三の曲輪への連絡用虎口､東隅が東麓へ下っており搦め手虎口であろう。なお､現在の入口は､北側の土塁の切れ目であるが､後世の破壊とのことである。
搦め手虎口を出ると山腹に小さい腰郭があり､その北東側に竪土塁が付帯している。
一の曲輪の北下に南を除き土塁が廻る腰郭を､西から南下に腰郭より一段下がり､これも土塁が廻る二の曲輪を､そして二の曲輪の南側に巨大な空堀と竪堀を隔て､これも土塁が廻る三の曲輪を配している。二･三の曲輪とも東側の土塁が分厚く高い土塁になっている。
一の曲輪南隅の虎口を出ると二の曲輪東側の分厚く高い土塁に下り､南側の土塁の西端で南に折れて土橋を渡って三の曲輪の西側土塁上に至っている。また､二の曲輪の西側土塁の石段で土塁に上がり南に進むと先程の土橋に至って三の曲輪へと行ける。巧妙な通路の造りである。
すべての堀の規模が大きく､シャープさが残っており､大いに見応えのある城跡である。