Budowa zamku została zapoczątkowana w XV wieku jako wieżowy dwór obronny. W XVII i XVIII wieku został adoptowany przez rodzinę Tarnowskich i przebudowany. Do zamku dodano system fortyfikacji bastionowych. W 1830 roku zamek został ponownie przebudowany na rezydencję – muzeum w stylu neogotyku, według projektu architekta Franciszka Marii Lanciego.
Tarnowscy zgromadzili w zamku wielkie zbiory dzieł sztuki, bibliotekę i archiwum.
Od 1834 roku w zamku przechowywano słynną kolekcję Tarnowskich, na którą składały się zbiory malarstwa europejskiego XVI-XVIII wieku, biblioteka (z rękopisem Pana Tadeusza autorstwa Adama Mickiewicza) i archiwum rodowe, a także liczne pamiątki narodowe.