Хрестовоздвиженська церква розташована над Ближніми (Антонієвими) печерами. ЇЇ було збудовано у 1700 р. на місці дерев'яної, на кошти полтавського козацького полковника Павла Семеновича Герцика. Архітектура храму до нашого часу збереглася без істотних змін. З заходу у другій половині XVIII ст. добудували трапезну. Зовні церква має порівняно скромний декор, що було характерно для стилю раннього українського бароко.