До 1895 года на месте архивов Военного министерства была каменная тюрьма с 20 одиночными камерами - Секретный дом. В ней содержали политических преступников. В 1790-е годы узником был писатель А.Н. Радищев, после 1825 года - декабристы, в 1849 - петрашевцы и Ф.М. Достоевский, в 1860 - Н.Г. Чернышевский. Не все из них вынесли тяжелые условия.
Здание в Алексеевском равелине Петропавловской крепости построено в 1895 году по проекту инженера Ф. Я. Каменева. В полукруглой постройке, выполненной в стиле классицизма находились архивы главных управлений военного министерства. Фасад украшен полуколоннами, главный вход сделан в виде портика с треугольным фронтоном.