Раніше залізна каплиця стояла на Царській площі (нині Європейська), у 1911 році її розібрали, нову, вже кам'яну, збудували в Царському саду. Носила назву "На честь чудесного спасіння Государя Олександра Михайловича 4 квітня 1866 року під час замаху на нього". Знищена радянською владою в 30-ті роки.