W 1802 roku król pruski Fryderyk Wilhelm III wydał rozporządzenie nakazujące przeniesienie cmentarzy poza granice miast. Z nieznanych bliżej powodów władze Olecka wykonały to rozporządzenie kilkanaście lat później, bo dopiero w 1820 roku. Opóźnienie być może było spowodowane koniecznością odkupienia gruntów pod nowy cmentarz od dotychczasowych właścicieli. Poza tym w tamtych czasach miasto nie było duże.
Najstarszy nagrobek zachowany na cmentarzu ewangelickim pochodzi z 1822 roku. Stoi w południowej części cmentarza w narożniku w pobliżu Placu Wieży Ciśnień.
Cmentarz miał dwie kaplice. Pierwszą wybudowano na środku cmentarza w 1820 r. Drugą kaplica z piwnicą wybudowano nieco wyżej tuż przed I wojną światową. Rozebrano ją w latach 80-tych choć była w bardzo dobrym stanie.
Na prawo od wejścia na cmentarz (ulica 11 Listopada) znajduje się zbiorowa mogiła 358 szczątków ludzkich z XVIII i XIX wieku, przeniesionych z cmentarza w Sedrankach. Prace badawcze i ekshumacyjne w latach 2011 - 2013 były prowadzone przez Pracownię Archeologiczno-Konserwatorska z Zielonej Góry.
Mogiła jest przykryta płytą z drobnoziarnistego piaskowca o barwie jasnoszarej. Z napisu na tablicy wynika, że została ona ufundowana Abrahamowi Hillmanowi.
Hier dicht an deiner ersten Gattin Seite.
Ruh sanft, o Theurer, dein Gebein.
Und ich, im ehelichen Gluk mit dir die Zweite.
Schreib trostlos nun auf diesen Grabenstein.
Der Edle, allgemein betrauert, ach entwich.
Zu fruh fur seine Kinder, seine Freund und mich.
W tłumaczeniu na język polski może to oznaczać:
Tutaj u boku Twojej pierwszej żony.
Niech spoczywają błogo, Drogi Twoje szczątki.
A ja, w małżeńskim szczęściu z Tobą druga.
Niepocieszona piszę na tym nagrobku.
Ach opuścił, szlachetny pozostawiając tak wielu w żałobie.
Zbyt wcześnie swoje dzieci, swych przyjaciół i mnie.
Pochowany na cmentarzu Abraham Hillmann urodził się 16 września 1741 r. w Królewcu (Königsberg). W 1780 r. został dzierżawcą generalnym domeny Sedranki.
Pierwszą jego żoną była Sophie Juliane Schulz-Gronden. Po jej śmierci Abraham Hillmann ożenił sie z Kathariną Charlotte Aegidi.
Umarł w Sedrankach 25 lipca 1794 r. (w wieku 52 lat) i został pochowany w Sedrankach obok pierwszej żony. Druga żona Katharina Charlotte Aegidi umieściła na ich grobie opisywaną tablicę.
W 2003 roku został przeniesiony z centrum miasta odrestaurowany pomnik wzniesiony ku czci poległych żołnierzy w wojnie prusko-austriackiej.
Pomnik poświęcono żołnierzom z wojny prusko-austriackiej 1866 i i prusko- francuskiej 1870/7 roku i znajdował się na rynku. Na pomniku znajduje się inskrypcja (w jęz. niemieckim): "DEM ANDENKEN • DER IN DEN RUHMREICHEN • FELDZÜGEN DER JAHRE 1866 U. 1871 • GEFELLENEN KRIEGER AUS DEM • KREISE OLETZKO" W tłumaczeniu na język polski: Dla upamiętnienia żołnierzy z powiatu Olecko poległych w sławnych wyprawach wojennych 1866 i 1871 roku".
Kwatera żołnierzy niemieckich z I wojny światowej.
Kwatera żołnierzy niemieckich utworzona została na dawnym cmentarzu ewangelickim (w zachodniej części cmentarza).
Projekt i urządzenie został wykonany w latach 20-tych wg projektu opracowanego przez Graberamt w Gołdapi.
Kwatera założona na planie prostokąta, na trzech tarasach połączonych schodami.
Zachowało się 40 mogił z wojskowymi krzyżami betonowymi z inskrypcjami.
Z dużym prawdopodobieństwem można określić, że spoczywa w nich 107 żołnierzy niemieckich, w tym 69 znanych i 38 nieznanych. Nie zachowało sie 41 nagrobków żołnierzy (17 znanych i 24 nieznanych). Były one prawdopodobnie wzdłuż zachodniej granicy obiektu. W tym miejscu obecnie znajduje się 9 krzyży bez napisów (symbolicznie odtworzonych w czasie remontu cmentarza w 1991 roku). Razem pochowanych zostało 148 żołnierzy.
Wśród poległych jest 17 dragonów (z 5 Rezerwowego Pułku Dragonów (w 1914 roku w składzie 2 Pułku Królowej Kirasjerów), poległych 17 sierpnia 1914 roku, stawiając opór Rosjanom atakującym miasto od stron Sedrank, np: Paul Dittmann z Koszalina, Karl Baasch (Bockhorst, Dolna Saksonia, okolice Bremy), Franz Tandrich z Uznam na Wyspie Wolin koło Szczecina.
Kwatera żołnierzy rosyjskich z I wojny światowej.
Pochowano w niej 143 bezimiennych żołnierzy armii rosyjskiej, którzy polegli w latach 1914-1915.
Głównym akcentem założenia jest zbiorowa mogiła na rzucie kwadratu usytuowana w środku kwatery, z krzyżem prawosławnym z inskrypcjami. Mogiła ta kryje zwłoki 50 nieznanych żołnierzy rosyjskich.
Pozostałe mogiły ziemne są zlokalizowane są wzdłuż zewnętrznych boków obiektu. W mogiłach tych spoczywa 93 bezimiennych żołnierzy. Kwatera otoczona jest lipami drobnolistnymi.