Крестовоздвиженская церковь расположена над Ближними (Антониевыми) пещерами. Она была построена в 1700 г. на месте деревянной, на средства полтавского казацкого полковника Павла Семеновича Герцика. Архитектура храма до нашего времени сохранилась без изменений. С запада во второй половине XVIII в. достроили трапезную. Внешне церковь сравнительно скромно украшена, что характерно для стиля раннего украинского барокко.