Na kartama iz XVI. i XVII. st. Pirovac se označava kao Sloßeln, Sloslein što na njemačkom znači inačicu od umanjenice riječi Dvorac, Dvorci, Dvorčići kojih ima puno u okolici Pirovca. Sloßeln je najvjerojatnije u puku evoluirao u Zlosela. Ne treba isključiti ni mogućnost da je i Pirovac bio svojevrsna "utvrda/dvorac na moru" nekog od hrvatskih kraljeva, potom i za templare s Vranskog jezera.
Do sredine XIX. st. Pirovac je bio otočić opasan zidinama, na kojeg se pokretnim mostom preko Vrata sela ulazilo u naselje. Nasipavanjem početkom XX. stoljeća postaje dijelom kopna a Vrata sela postaju uspomena na razdoblje borbe mještana s Osmanlijskim osvajačem, kojemu su hrabri Pirovčani stoljećima pružali žestok otpor i koji nikad nije uspio trajno prodrijeti preko tih zidina.