W 1312 roku osada otrzymała przywilej lokacyjny i prawie jednocześnie rozpoczęła się budowa zamku połączonego z fortyfikacjami miasta. Zamek powstawał stopniowo. Początkowo wzniesiono dolne partie głównego, zachodniego skrzydła mieszkalnego, później nadbudowanego, do którego dostawiono boczne, niższe dwukondygnacyjne skrzydła północne i południowe. W ostatnim etapie, jeszcze w wieku XIV, obok przejazdu od wschodu powstały parterowe stajnie i budynki gospodarcze. Od końca XIII wieku na zamku rezydował burgrabia i zarządca komornictwa pieniężnieńskiego, a od połowy wieku XIV również administrator, reprezentujący kapitułę we wszystkich sprawach władztwa świeckiego, a także jego pomocnik, wójt krajowy. Zamek był wielokrotnie niszczony, m.in. w latach 1414, 1455, 1520, 1626, a następnie odbudowywany. W trakcie odbudowy po ostatnim zniszczeniu przebudowano go w stylu baroku, przestał wówczas pełnić funkcję warowni. Po I rozbiorze Polski w 1772 roku został opuszczony przez kanoników i przejęty przez władze pruskie. W XIX wieku zaadaptowano go na potrzeby administracji terenowej, a następnie sądu i od około 1924 roku muzeum regionalnego oraz szkoły. Jeszcze w wieku XIX rozebrano skrzydła południowe i wschodnie. Pozostałe części zostały poważnie uszkodzone w trakcie prac adaptacyjnych w drugiej połowie XIX wieku, a także w latach 1906-1931. U schyłku drugiej wojny światowej zamek został spalony i zdewastowany. Prowizorycznie zabezpieczono go w latach 1958-1959.

Do naszych czasów zachowało się jedynie skrzydło zachodnie ze zdewastowanym wnętrzem, ruiny skrzydła północnego i fragmenty zamkowych murów.

Zamek z cegły na kamiennych fundamentach był założeniem dwuczłonowym. Składał się z zamku głównego i przedzamcza. Dostosowanie do warunków terenu spowodowało, że budowla miała nieregularny kształt, zbliżony do trapezu. Posiadała cztery przylegające skrzydła zamykające dziedziniec w środku. Najstarsze, główne skrzydło zachodnie o wymiarach 75 x 17,5 m było podpiwniczone i posiadało trzy kondygnacje. Mieściło mieszkania kanoników oraz pomieszczenia reprezentacyjne, zapewne zwyczajowo na piętrze. Skrzydło pomocne (39 x 17 m), dwukondygnacyjne, mieściło m.in. komnaty burgrabiego. Dwukondygnacyjne skrzydło południowe (52 x 41,5 m) mieściło z kolei izby służby i stajnie. W jednokondygnacyjnym skrzydle wschodnim (44,5 x 7 m) znajdował się przejazd bramny na dziedziniec zamkowy oraz stajnie i prawdopodobnie magazyny, a także pomieszczenia gospodarcze. Na najwyższych kondygnacjach skrzydeł, pod dachem, usytuowano ganki straży ze strzelnicami oraz spichrze.

Zamek nie posiadał wież i innych dodatkowych obwarowań. Miejskie mury obwodowe łączyły się z nim od północy i zachodu. Przedzamcze o charakterze gospodarczym przylegało do zamku głównego od strony wschodniej i południowej. Oddzielało też warownię od miasta i zapewne było otoczone murem z bramą wiodącą na teren miejski. Obszar przedzamcza został zmniejszony od południa z powodu budowy kościoła parafialnego w połowie XIV wieku.