Obecnie najstarszy zabytek miasta to zamek krzyżacki położony na wyspie na Jeziorze Ełckim, dziś połączonej z lądem mostami na ulicy Zamkowej. Wzniesiono go na przełomie XIV i XV w. pod okiem samego Ulricha von Jungingena. Zamek miał ważne znaczenie strategiczne, była to bowiem najbardziej na wschód wysunięta fortyfikacja państwa zakonnego. Wokół obiektu z czasem wyrosło miasteczko, które rozrosło się do rozmiarów dzisiejszego Ełku.