Zamek Joannitów – atrakcja turystyczna Skarszew, to obecnie fragment gotyckiego zamku z XIV w., który w XVIII wieku został w znacznej części rozebrany i przebudowany na magazyn solny. Ze średniowiecznej budowli zachowały się oryginalne sklepione piwnice oraz część murów górujących ongiś nad miastem, zamku z dwiema wieżami. Najprawdopodobniej pod koniec XIV wieku dziedziniec zamkowy otoczono murem, brama i basztami. W 1433 roku miasto wraz z zamkiem zajęli husyci, dokonując grabieży i zniszczeń. Podczas wojny trzynastoletniej, w trakcie licznych ataków,
Skarszewy przechodziły z rąk do rąk, by ostatecznie przejść pod polskie panowanie w 1466 roku. Od 1611 do 1772 roku zamek skarszewski był oficjalną siedzibą wojewodów pomorskich. Tu znajdował się sąd grodzki, a kolejni wojewodowie byli zarazem starostami skarszewskimi. W 1629 roku wojsko szwedzkie spaliło zamek, który został obudowany dopiero na przełomie XVII i XVIII wieku.
Po przejęciu Skarszew przez Prusy w 1772 roku grożącą zawaleniem budowlę w znacznej część rozebrano. Piwnicę i połowę parteru gotyckiego zamku zamieniono na magazyn solny. Ciekawostką obiektu jest fakt, że w latach 1762 – 1765, kiedy na zamku mieścił się Sąd Grodzki, swoje pierwsze praktyki prawnicze nabywał twórca polskiego hymnu narodowego, sam Józef Wybicki.
Obecnie w Zamku Joannitów na górnych kondygnacjach mieszczą się biura Gminnego Ośrodka Kultury i Biblioteki Publicznej. Na parterze znajdują się sale wystawiennicze, a w piwnicach sale konferencyjne.