W Kwidzynie przez blisko dwa stulecia istniały dwa zamki: rezydencja biskupa, Altschlösschen (obecnie nieistniejąca) oraz zamek kapitulny, Marienwerder sprzężony z katedrą. 

W pierwszych wiekach naszej ery tereny wokół obecnego Kwidzyna leżały na szlaku bursztynowym. Intensywny handel spowodował powstanie prężnego ośrodka osadniczego. Od drugiej połowy X do XII wieku tereny te znalazły się na pograniczu pruskim i tworzonego przez pierwszych Piastów państwa polskiego. 

Średniowieczny gród, a później lokowane miasto, pojawia się w źródłach jako Quidino. Nazwa ma pochodzenie pruskie i oznacza imię władającego tymi ziemiami (Quede). W roku 1233 na tereny wokół dzisiejszego Kwidzyna przybyli krzyżacy i założyli na wyspie pomiędzy Wisłą a Starym Nogatem umocnienia nazywane Wyspą Panny Marii (Sankt Marienwerer (niem.) lub Insula Sanctae Mariae (łac.). Krzyżacki gród stał się bazą w wyprawach przeciwko Prusom. 

Na północ od grodu lokowano wkrótce, być może w 1235 r. miasto na prawie chełmińskim. To pierwsze miasto, jeszcze drewniane, uległo zniszczeniu w latach 1242-1243 w czasie powstania Prusów przeciw krzyżakom. Na miejscu spalonego grodu w latach 1243-50 zbudowano nowy, murowany zamek. Była to stosunkowo niewielka budowla, wzniesiona na planie czworoboku z ustawionymi prostopadle dwoma piętrowymi skrzydłami wyposażonymi w trzy przysadziste wieże. To kamienno-ceglane obronne założenie zdołało oprzeć się atakom Prusów podczas kolejnych powstań w latach 1263 i 1277. Jednak w roku 1520 warownię zniszczyły oddziały polskie i niedługo potem uległa ona rozbiórce. Resztki śladów po starej twierdzy zatarto na początku XX wieku. O ich przeszłości świadczy dziś jedynie nazwa ulicy biegnącej przy dawnej fosie - ulicy Starozamkowej. 

W 1243 roku na mocy bulli papieża Innocentego IV powstały cztery biskupstwa: chełmińskie, warmińskie, sambijskie i pomezańskie. Zgodnie z rozporządzeniem papieskim każde biskupstwo podzielono na trzy równe części, z których dwie przypadały krzyżakom, a jedna biskupowi. 

W ramach podziału terytorium Pomezanii między zakon i kościół, omawianą powyżej murowaną warownię powstałą na miejscu spalonego drewnianego grodu, krzyżacy przekazali biskupowi pomezańskiemu na jego rezydencję (1250 r.). W 1254 roku pierwszy biskup pomezański, dominikanin Ernest z Targawy (1246-1260) urządził w Kwidzynie stolicę biskupstwa pomezańskiego. Znaczenie miasta wzrosło jeszcze bardziej w 1285 roku, kiedy powołano tu kapitułę pomezańską (zgromadzenie osób duchownych, których zadaniem był m.in. wybór biskupa). Wtedy też podniesiono istniejący kościół farny do rangi katedry. Wraz z kapitułą przejęto regułę krzyżacką i odtąd kanonikami mogli zostawać wyłącznie krzyżacy. Gdy w 1284 roku powołano pierwszych członków kapituły, zaczęto zastanawiać się nad ustanowieniem godnej siedziby. 

Niewielki zamek biskupi nie mógł pełnić należycie nowych funkcji , dlatego jeszcze pod koniec XIII wieku przystąpiono do budowy drugiego zamku. Usytuowano go po przeciwległej stronie ówczesnego miasta, a budowa przebiegała w kilku etapach. Do 1312 r. prowadzono prace przygotowawcze wraz z niwelacją terenu. Następnie wymurowano kamienne fundamenty murów zewnętrznych i wieży głównej. Do roku 1338 zbudowano sąsiadujące pierwotnie z kościołem skrzydło wschodnie. Potem powstał dom południowy połączony z wielką wieżą-dzwonnicą, a w latach następnych postawiono mury skrzydła zachodniego oraz północnego. Czworoboczne założenie z wewnętrznym dziedzińcem oraz narożnymi wieżyczkami ukształtowano ostatecznie w latach 1340-50. W drugiej połowie XIV stulecia dostawiono korpus łączący kościół z zamkiem, zbudowano krużganki oraz wzniesiono wieżę studzienną i wieżę latrynową. 

Obiekt w XV i XVI wieku był kilkukrotnie oblegany i niszczony. 19 września 1410 roku do zamku wkroczyły wracające spod Malborka wojska Władysława Jagiełły. W roku 1460 warownię zdobył polski burgrabia, Andrzej Puszkarz. Kolejne najazdy i zniszczenia przyniosły lata 1478 (tzw. wojna księża, Pfaffen Krieg) oraz 1520, kiedy to, podczas ostatniej konfrontacji polsko-krzyżackiej, Polacy podeszli pod Kwidzyn. Silny ostrzał artyleryjski zniszczył wówczas jedną z kaplic katedry i w poważnym stopniu uszkodził zamek oraz miejskie mury obronne. W rezultacie działań wojennych Kwidzyn przeszedł w ręce polskie, a skapitulowani kanonicy złożyli przysięgę wierności królowi Zygmuntowi I. Po sekularyzacji zakonu krzyżackiego w 1526 roku, diecezja pomezańska przeszła na luteranizm, a zamek stał się siedzibą kapituły protestanckiej. Z uwagi na zły stan dotychczasowej (starej) rezydencji, biskupi przejęli zamek kapitulny i zamieszkiwali tu do roku 1551. Jeden z nich - Paweł Speratus otrzymał zezwolenie na wykorzystanie stu tysięcy cegieł ze starego założenia na odbudowę zamku kapitulnego. Od tego czasu stary zameczek, jak określano pierwotną rezydencję biskupa pomezańskiego, stał się ruiną. 

W czasie „potopu” szwedzkiego zespół zamku kapitulnego był uszkodzony w niewielkim stopniu. W latach 1758 – 63 na przedzamczu wybudowano pałac dla rosyjskiego generała Wilhelma Fermora – Anglika w służbie cesarzowej Elżbiety – okupującego miasto w czasie wojny siedmioletniej. 

Po pierwszym rozbiorze Polski Kwidzyn wybrano na siedzibę Prus Zachodnich, a w zamku kapitulnym umieszczono sądy i więzienie. Podczas przebudowy na nowe cele zniszczono wewnętrzne krużganki, rozebrano skrzydło południowe i częściowo wschodnie wraz z wieżyczką południowo-zachodnią. Dalszą rozbiórkę przerwały wojny napoleońskie. Na początku XIX w. podczas adaptacji części zamku na urzędy i szkołę przebudowano kolejne gotyckie wnętrza. Pałac na przedzamczu również zaadaptowano na biura. W latach 1822-34 zamek przeszedł następną zmianę funkcji, gdyż ulokowano tu więzienie. Część oryginalnych średniowiecznych elementów przystosowano do pełnienia nowych funkcji z zastosowaniem stylistyki neogotyckiej np. ganki obronne. 

Dopiero na polecenie Fryderyka Wilhelma IV w 1856 roku wstrzymano proces degradacji zamku. Rozpoczęto prace konserwatorskie, których celem była jego częściowa regotyzacja. Przywrócono pierwotną wysokość wieżyczkom narożnym podwyższając je o trzy kondygnacje. Uzupełniono też elewacje zewnętrzne przez wytynkowanie blend i rekonstrukcję ozdobnych fryzów. We wnętrzach skoncentrowano się na skrzydle północnym, gdzie zrekonstruowano sklepienia dwóch sal. 

Odbudowano gotyckie krużganki, wybudowano nową wewnętrzną klatkę schodową oraz odtworzono wieżę studzienną i wieżę latrynową . 

Obecny kształt został nadany zamkowi w roku 1874, a prace prowadzono pod kierunkiem Gustava Reicherta. 

W okresie międzywojennym na terenie warowni działało niewielkie lokalne muzeum, a w roku 1935 zamek zaadaptowano na potrzeby szkoły i internatu Hitlerjugend. Zdewastowany i mocno zniszczony gmach w roku 1945 przejęło Ministerstwo Kultury i Sztuki. Obecnie ma tutaj siedzibę oddział Muzeum Zamkowego w Malborku. Na terenie przedzamcza wybudowano teatr i dom kultury. Dzięki dobrej akustyce dziedziniec w okresie letnim służy jako platforma dla różnych spotkań oraz imprez kulturalnych 

Gotycki zamek kapitulny zbudowany został z czerwonej cegły na kamiennych fundamentach . Założono go na planie zbliżonym do kwadratu o wymiarach około 49 x 50 metrów. Składał się z czterech skrzydeł otaczających prostokątny dziedziniec wewnętrzny o wymiarach 12 x 16 metrów. W trzech narożach zamku usytuowano trzy wysokie, zbudowane na planie kwadratu, wieże obronne. W podziemiu północno zachodniej wieży umieszczono loch więzienny. Czwartą, najwyższą wieżę o wysokości pierwotnej 56 metrów posadowiono od strony południowo zachodniej. Ta najwyższa wieża była sprzężona z kościołem katedralnym. Pełniła kilka funkcji: była dzwonnicą katedry, wieżą ostatecznej obrony (bergfried) oraz wieżą wartowniczo-sygnalizacyjną, z której możliwy był kontakt z zamkami w Gniewie i Nowem. Przewyższała ona zamkowe budowle o ponad 20 metrów, a jej szczyt zwieńczono krenelażem. 

Wjazd na zamek znajdował się od strony północnej. Prowadził przez przedzamcze, most, przedbramie i bramę umieszczoną w głębokiej wnęce na osi skrzydła północno - wschodniego. Wszystkie skrzydła zamku były podpiwniczone i posiadały po pięć kondygnacji. Rozkład funkcji na poszczególnych kondygnacjach był typowy dla zamków krzyżackich. W podziemiach zamku umieszczono magazyny żywności i lochy więzienne, a w przyziemiu pomieszczenia techniczne i gospodarcze. W skrzydle zachodnim była piekarnia, kuchnia, spiżarnia oraz piece służące do ogrzewania wyższych kondygnacji (hypocaustum). Pierwsze piętro tego skrzydła zajmowały pomieszczenia reprezentacyjne. W nieistniejącym skrzydle południowym znajdował się kapitularz i refektarz letni, a piętro skrzydła wschodniego przeznaczono na klasztorny szpital i mieszkanie prepozyta. W narożnikowej wieży umieszczono archiwum, a być może, także kapitulny skarbiec. Nad przejazdem bramnym znajdowała się kaplica i zimowy refektarz. W skrzydle zachodnim ulokowano duże dormitorium. Na drugim piętrze umieszczono sypialnie duchownych i uczniów szkoły katedralnej. Na najwyższym piętrze lokowano magazyny broni i żywności. Z tego poziomu podczas akcji wojennych prowadzono ostrzał wojsk nieprzyjaciela. Dziedziniec wewnętrzny z trzech stron otoczono wybudowanymi w drugiej połowie XIV wieku murowanymi krużgankami. 

Ok. 1384 roku wzniesiono budynek korytarzowy nazywany „szyją” długi na 54 metry wsparty na pięciu monumentalnych arkadach. Ten obronny, wyposażony w strzelnice korytarz prowadził do wieży latry nowej, zwanej też gdaniskiem lub danskerem. Prawdopodobnie w tym samym roku wybudowano od północnego-wschodu wieżę studzienną z dojściem wspartym na dwóch ceglanych arkadach. W tamtym czasie pod obiema wieżami płynęły wartkie strumienie. Wieża studzienna flankowała też most zwodzony i wjazd na zamek. 

W północnej części zespołu obronnego znajdowało się, nie zachowane do naszych czasów, ufortyfikowane przedzamcze. Obejmowało ono znaczny obszar położony na północ od zamku kapitulnego i katedry, otoczony murem i nie powiązany bezpośrednio z miastem. Na przedzamczu tym mieściły się pomieszczenia gospodarcze (stajnie, chlewnie, browar) i mieszkalne dla służby. Tam też koncentrowała się lokalna produkcja rzemieślnicza. Jedyną drogą komunikacji był most łączący przedzamcze z twierdzą, co świadczyło o bardzo ścisłym podporządkowaniu tego terenu kapitule. Stanowił on konkurencję dla miasta, był to bowiem obszar prawnie należący do kapituły i tworzył jej bezpośrednie zaplecze gospodarcze. 

W latach 1343 - 1355 do zewnętrznego muru skrzydła wschodniego zamku dobudowano obronną katedrę pod wezwaniem Najświętszej Panny Marii i św. Jana Ewangelisty. Świątynia powstała na miejscu wcześniejszego kościoła parafialnego, podniesionego do rangi katedry w 1285 r. 

Zespół budowli obronnych w Kwidzynie jest unikatowym przykładem średniowiecznego zespołu warownego składającego się z ufortyfikowanego miasta, zamku kapitulnego z warownym przedzamczem sprzężonym z murami miejskimi oraz zamku biskupiego zlokalizowanego poza murami miejskimi.