応永6年(1399年)頃に龍神山城守頼綱によって築かれたと伝わる。
龍神氏は､治承4年(1180)宇治川の戦いで討死した源頼政の子頼氏がこの地に入り､龍神氏を称したことに始まり､代々この地に居住した。
応永6年(1399)大内義弘が反乱を起こした応永の乱で､龍神頼綱は源氏の血を引く足利義満に味方し和泉国に出陣し奮戦した。この功により南部川谷を授かり､まもなく鳶之巣城を築き居城にとしたと云われる。
永正10年(1513)五代目龍神秀政のとき､湯川氏とともに大和国高取城を攻めたが敗れ､鳶之巣城も攻め落とされ､龍神氏は離散したと伝わる。
しかし､一部の子孫が存続し鳥之瀬城を構えたようである。

鳶之巣城は､龍神氏が居館を構えたと伝承される土井集落の南方に聳える標高248mの山塊に築かれており､遺構の残りは大変よい。
丁字状の頂部中心に周囲より一段高い南北に長い主郭を置き､主郭の北側に東西方向の尾根が延び､西尾根には三方を土塁に囲繞された郭とその北下に北西隅にＬ字の土塁を伴った郭を設け､それらの西側にクランク状に折れた横堀を入れ､さらに横堀の西側に西面に土塁が付帯した方形の大きな郭を配し､西端尾根続きは巾7ｍの堀切を､北側の山腹に横堀を入れて防御している。東尾根筋には細長い郭を配し､その郭と主郭の北側一段下に帯郭を設け､北東端を堀切で､東端を4条の竪堀で防御している。南尾根には堀切を隔て一郭を配し､その先端に空堀を廻らし､さらに5条の竪堀を入れている。なお､南尾根の先端部はシダ類が茂っており､遺構は見えずらが､他の端部の防御施設は見応え十分である。