В том же 1833-м начали строить и башню №4, находящуюся в тылу здания Центральной избирательной комиссии. Из-за небольших размеров ее называли «малой башней». Она строилась как оборонная казарма, рассчитанная на 500 военнослужащих и 22 пушки.