Одновременно с фортом Граф Берг были построены три батареи (70-е гг. XIX). Первую разместили у железнодорожного переезда через р.Буг, южнее форта. Орудия этой батареи контролировали подступы к мосту и реку. Вторая батарея была построена на берегу р.Мухавец, у восточного подъезда к крепости. Она контролировала проход судов через крепость с востока, имела два больших пороховых погреба. Третья батарея была возведена сравнительно далеко от крепости - у железнодорожного моста на юго-восточной оконечности города. Это укрепление имело восемь орудий, расходный пороховой погреб и казарму на одну роту в горже.