Після жовтневого перевороту і громадянської війни більшовицька безбожницька влада розпочала наступ на релігію. Бериславський ревком вирішив швецьку лютеранську кірху закрити і перетворити на клуб. Обуренні шведи звернулися до швецького уряду і постанову Бериславського ревкому призупинили. Це було в 1924 році. Для швецького населення кірха була не тільки духовним, а й культурним осередком. Богослужіння проводилось на швецькій мові. Але більшовики-безбожники на цьому не заспокоїлись. В 1929 році розпочалася колективізація і кірху закрили. Місцеві жителі звернулися до уряду СРСР з клопотанням і одержали дозвіл на виїзд до Швеції. Певні її політичні кола, прагнучи надати цій події демонстративного характеру, надіслали спеціальний пароплав, який прибув прямо до причалу с. Старошвецьке. Майже усе населення (140 сімей), крім 6 сімей, у червні 1929 виїхало на ньому у Швецію і 1 серпня 1929 році прибули на о. Готланд. У 1930-31 роках 62 сім'ї повернулися на Україну в с. Старошвецьке. Цьому передувала світова економічна криза, а сім'ї, що лишилися під диктовку оперуповноваженого НКВД писали листи, що їм у колгоспі добре живеться, що з піснями йдуть на роботу і з піснями вертаються з роботи, добре заробляють і т.п. В 1937-38 роках Херсонське НКВД завело справу 5060-ф/с т.з. "швецька контрреволюційна націоналістична організація". Членами її були люди різного віку. Від молодого 29-літнього Івана Івановича Утаса до 68 річного Андрія Петровича Аннаса. Останній, найстарший, звісно, найкраще підходив на роль натхненника злочинців. Тим більше, що до жовтневого перевороту, як написано в паперах, був куркулем. Всього заарештували 18 чоловік. На момент арешту вони були колгоспники, теж ворожі елементи, бо були в Швеції і повернулися в СРСР, вести "підривну роботу, передавати за кордон шкідливу інформацію". По закінченню слідства їхня справа була передана особливій нараді при УНКВД по Миколаївській області 27 вересня 1938 року. Вирок був короткий і жорсткий - розстріляти. За незалежної України військова прокуратура Одеського військового округу  вирішила припинити справу т.з. "швецької контрреволюційної націоналістичної організації" за відсутністю злочину.

Також знаходиться на території церкви хрест-пам'ятник переселенню шведів на Україну та хрест жертвам голодомору 1932-1933 років. Хрест-пам'ятник був поставлений 1 травня 2002 році  за спонсорські допомоги шведсько-української компанії "Чумак". В 1782 році по Найвищому Указу російської імператриці Катерини ІІ, за сприяння світлішого князя Григорія Потьомкіна на відвойовані у турків території півдня України з острова Даго, відвойованим Петром І у шведів, переселили групу шведів в кількості 1500 чоловік. Дорога з півночі на південь була тяжкою і багато шведів повмирало на цій дорозі. 1 травня 1782 року прибули на місце постійного проживання 500 чоловік. Заснували поселення, яке стало називатися Gammalsvenskby - Старошвецьке. 

А також пам'ятник борцям за волю України, встановлений вдячними жителями с. Зміївки за спонсорські допомоги народного депутата  України Андрія Шкіля в 2010 році.

Пам'ятник борцям за волю України збудований у вигляді сонячного годинника. Коли вранці сонце піднімається, тінь падає на дату 1648 рік, рік початку визвольної боротьби під проводом гетьмана Богдана Хмельницького. Дата 1918 рік - проголошення незалежності України. 1919 рік - злуки Української Народної Республіки і Західно Української Народної Республіки. 1941 рік - відновлення Української державності в умовах фашистської окупації україни. 1991 рік - проголошення Верховною Радою незалежності Української держави. І вже надвечір тінь падає на напис: "Майбутнє залежить від нас"

На території церкви знаходиться каплиця в честь ікони Божої Матері "Державна". Її збудовано в честь проголошення Верховною Радою Акт Незалежності України.