飯羽間城は､鎌倉時代に岩村遠山氏から分流して発祥した飯羽間遠山氏の居城で､遠山十八支城の一つとされるが､築城年代は定かではない。
飯羽間遠山氏は､ 遠山一族の中核をなした「遠山七家」(岩村・明照・明知・飯羽間・串原・苗木・安木)の一画を占めた庶家である。 戦国期の当主･遠山友勝は織田信長に属し､元亀3年（1572）その命により苗木城主･遠山左近の養子となって苗木城に移り､飯羽間城は子の友忠に譲った。その後､友忠も阿寺城に移り､子の友信が城主となった。
元亀3年(1572)11月武田信玄の家臣秋山虎繁が岩村城を落城させ､奪還を試みる明智城主･遠山景行や小里光次ら織田方諸将を12月上村合戦で討ち破り､天正2年(1574)には信玄の跡を継いだ勝頼が明知城､串原城などを攻め､この際､「信長公記」では遠山友信が武田方に寝返り明知城は落城し､友信は武田方に付いて甲斐に赴いたとたとし､「甲陽軍艦」では武田軍が飯羽間城を攻め落とし､土蔵に隠れていた友信を生捕りにして連れ帰ったとあり､定かでは無いが､いずれにしても天正2年に飯羽間城は廃城になったと推測されている。
なお､友忠の子の友政が川尻氏の支城となっていた苗木城を奪還し､江戸期を通じて大名として存続している。

飯羽間城は､東流する岩村川の支流飯羽間川の右岸に聳える小高い独立丘に築かれている。岩村城から北西に約3kmで､十八支城の中で最も近い位置である。
構造は､東西に長い頂部に西から主郭､二の郭､三の郭と連ね､主郭の南側に二段の腰郭を付帯させ､背後となる西側は階段状の小郭を構え､堀切を兼ねた鞍部となる。鞍部の西側にも南北に長い
一郭を配している。飯羽間川添いは断崖で登ることは困難である。
大手は東側で三の郭南側の帯郭に取り付いていたようだが､現在は崩落しており、西側の鞍部から登城路が付けられている。
しかし､城跡はブッシュや雑草が激しく繁茂しており､主郭と二の郭の一部､西側階段状の小郭を確認できる程度である。