Nakon što se u Prvić Luci naseljavaju fratri glagoljaši, počinje 1461. godine izgradnja crkve sv. Marije ili Gospe od Milosti sa samostanom. Ne zna se točno kad je dovršena, ali postoji podatak da su radovi još trajali 1479. godine.
Samostan je više puta pregrađivan, a potpuno je obnovljen nakon velikog požara 1884. godine. Nažalost u požaru su izgorjeli mnogi dokumenti pisani glagoljicom. Unutrašnjost crkve krasi pet baroknih oltara. Zvonik, od bijelog kamena, visok 25 m, sagrađen je 1885. godine.