小島城の築城時期や築城者は定かでないが､姉小路三家の内､嫡流小島家代々の居城とされる。姉小路家は､公家で藤原師尹の子済時が京の姉小路に居を構え姉小路を称したことに始まる。建武中興期(1333〜1336)には姉小路家綱が南朝より飛騨国司に任命され､小鷹利郷の信包城(向小島城とされる。)に居城したと云われる。
小島城については､応永年間(1394〜1428)に家綱の弟尹綱が住したとの史料があり､尹綱は南北朝末期に国司に任じられ､応永18年(1411)後亀山上皇の院宣を奉じて小島城(向小島城とも云われる。)に挙兵したが､幕府方に攻められ落城､討死しているので､小島城の築城は南北朝期から応永年間の間となる。
尹綱の討死後､姉小路家は小島城に拠る嫡流の小島氏､小鷹利城に拠る向(小鷹利)氏､古川城(蛤城)による古川氏に分流し､小島氏が「小島」をを称したのは勝言か時光の頃からとされる。
天文年間(1532〜55)守護京極氏の被官から下剋上を遂げた三木直頼が飛騨を統一しており､小島氏も三木氏の配下に入ったと見られている。
直頼の子良頼は永禄元年(1558)飛騨守に叙任され､翌年には良頼の嫡子光頼(のちの自綱)が､息子に先立たれ後継のいない古川済継が没すると古川氏を乗っ取り国司号を継承した。また､小島氏も時光の代に自綱の息子を養子に迎え完全に臣従している。
天正10年(1582)北飛騨の雄･江馬輝盛と三木(姉小路)自綱が八日町の戦いで決戦し､江馬氏を滅ぼし飛騨を平定した時､小島時光は三木氏に属し戦っている。
しかし､天正13年(1585)に豊臣秀吉の命を受けた越前大野城主金森長近が飛騨へ来攻した時､時光は自綱とともに長近軍と戦い､小島城は落城し､逃走中に討ち取られ､名実ともに姉小路家は滅亡した。

小島城は､越中街道から越中東(神岡)街道が分岐する地点に東から西にのびる尾根上に築かれている。
この城は､戦国の天正期(1573〜92)に主郭を先端のピークから背後の天ヶ洞山上に移しており､城域が当初の倍ほどになっている。
構造は､東西に細長い本丸の東端に櫓台を置き､中央に一段高い東面に石垣が残存する三角形状の土壇があり､南東隅と南西隅には内枡形虎口が開いている。虎口には櫓台や本丸内から横矢が効かされ､特に南西虎口は石垣で固められており､堅固な守りを誇っていた。現在は､北壁の石垣のみが残っている。
西側急斜面を下りた次のピークには二の丸が配され､ここが旧城部で､その東部に土橋の架かる堀切があり､土橋を入ると土塁が行く手を遮っている。また､南と北側には帯郭が､西側には段郭が､そして尾根筋となる西端に二重堀切や竪堀を設け遮断している。
本丸と二の丸間の急斜面にも段郭を連続させ､麓から沢を登って来る攻撃に備えている。
櫓台東方の尾根続きも林道で破壊されているが､堀切や竪堀が残存している。
本丸と二の丸の構造には違いがあり､構築の時期差が現れているのが分かる。