明応3年(1494)安宅荘の安宅氏が家臣の吉田春秀に旧生馬村を与えて､築かせた城が要害山城で､馬谷城とも云われる。
安宅氏は､隣接する山本氏と絶えず富田付近で争いを繰り広げており､明応3年龍松山城を本拠とする山本主膳守は要害山城に出兵し､後世「馬谷城合戦」と呼ばれる戦いを展開した。
なお､現状の遺構から天正13年(1585)の羽柴秀吉の紀州攻めの際､山本氏は秀吉に抵抗し､安宅氏は恭順しており､これが両者の確執を生み､安宅氏に境目の城として要害山城を改修させたと考えられている。

要害山城は､熊野街道の白浜町高瀬から安居辻松峠に至る富田坂の登り口を見下す東から西方に突き出した山稜の標高90ｍの先端部に築かれており､東の尾根続きを除く三方は急峻な要害地形である。
主郭は､先端の頂部に配し､東西28ｍ､南北12ｍのたまご形をしている。主郭の西下には､東西8ｍ､南北25ｍの半月状を呈した二之郭が付帯し､高さ約1．5ｍの土塁が東を除く三方を囲繞しており､北西隅には平入り虎口が開く。また､北東隅には土塁に上がる石段が設けられている。そして西側から東側の山腹には畝状竪堀群があり､西側には横堀から6本の竪堀が落ち､横堀の土塁は竪堀で分断されコブコブに起伏している。北西側には三本の竪堀が落ち､東側は横堀の両端から竪堀が落ちている。山腹はややシダが茂り､遺構の確認がしずらいが､この西先端部が当城の最大の見所である。
主郭の東下には東西12ｍ､南北13ｍ三之郭を構え､その直下は大堀切で尾根を遮断し､さらにその先にも二本の堀切や南斜面に三本の竪堀を穿ち､尾根続きを厳重に遮断している。