岩村田城は､元禄16年(1703)武蔵国赤沼から1万6千石で入部した内藤正友によって陣屋が築かれたのが始まりとされる。正友は入部した年の10月に大坂常番を命ぜられ､所領は佐久郡に6千石余を残して1万石は摂津･河内に移された。正友の跡を継いだ正敬は正徳元年(1711)佐久郡に再び1万6千石を与えられて岩村田に入封し定着した。
6代正縄は水野忠邦の弟で内藤正国の養子となり､大番頭や伏見奉行を歴任し､安政5年(1858)に城主格に昇格した。昇格は､正縄が老中水野忠邦の実弟であったことや､安政の大獄に貢献したことが理由とされる。
正縄は､元々本町と荒宿との間に置かれていた陣屋が､既に中山道岩村田宿の町家が建ち並んいたため､武家屋敷地を十分に確保できず､家臣達は早くから上の城付近に居住地を求めていたことから､陣屋がを廃して､築城を計画した。孫の7代正誠の時に築城許可がおり､文久元年(1858)に築城を開始し､元治元年(1864)棟上式が行われたが､完成を見ることなく明治を迎え廃城になった。