式部城は､布施川へ小諸沢が合流する所に南の蓼科山の山塊から延びてきた尾根の先端部を使って築かれている。北麓の式部公民館が建つ所は居館跡で北西隅部の土塁が残っている。
山城は先端が少し平坦になった所に主郭を置き､南背後の尾根筋を四重の見事な大堀切で遮断し､両サイドに堀切からの竪堀を一本長く落としている。堀切の内側には高土塁も設けられ､主郭から帯郭まで達する大規模なものである。このように背後の防御は堅固なものとなっている。この城の最大の見所である。
主郭の東から北側を二の郭が取り巻き､西側は細い帯郭となって堀切の竪土塁に達している。帯郭の下に腰郭が一段ある。二の郭の北下方には幾段もの段郭が続き､浅い横堀があって､その先は墓地となっている。
しかし､二の郭から下方は､耕作によりどこまでが城域であったのかわからなくなっている。