Grofovska obitelj Draganići kao šibensko plemstvo koje potječe od plemenitog roda hrvatskih feudalnih velikaša Šubića (XI.-XIV. st.). 1503./1506. godine kupili su Pirovac od grofovske obitelji Mišić s kojom su bili u rodbinskoj vezi i sagradili mjesnu crkvu. Također su povećali i nadogradili kupljeni dvorac. Vanjskom fasadom i štukaturama uredili su ga u neorenesansnom stilu s maurskim utjecajem u rješenju dimnjaka. U ovom dvorcu su stoljećima čuvani vrijedni predmeti i dokumenti značajni za hrvatsku povijest (oporuka Fausta Vrančića, povelje europskih vladara, Tizianov portret Fausta Vrančića, umjetnička djela Andrije Medulića/Andrea Schiavonea...). Također, tu je bila smještena vrijedna obiteljska knjižnica.
Dvorac su posjetili mnogi uglednici minulih vremena, među njima su i civilni upravitelj Dalmacije Vincenzo Dandolo, upravitelj Ilirskih pokrajina maršal Auguste Frédéric Louis Viesse de Marmont, autor knjige Put po Dalmaciji/Viaggio in Dalmazia Alberto Fortis, književnik Ante Marinović, znameniti talijanski geolog Giovanni Arduino, dužnosnik i putopisac Giacomo de Concina i mnogi drugi uglednici prošlih vremena.