V polovině 15. století koupil značnou část Borovan bohatý českobudějovický kupec a měšťan Petr z Lindy. Jeho životní tragédie se obrátila pro zdejší obec v požehnání. Roku 1452 zemřel Petrovi z Lindy jeho jediný dědic, syn Martin. Petr se rozhodl veškerý svůj majetek věnovat řádu augustiniánů a v roce 1455 založil v Borovanech klášter.
Stavba klášterního komplexu začala kostelem Navštívení Panny Marie. Na konci 15. století přibyl ambit křížové chodby s konventní budovou.

Po smrti Petra z Lindy roku 1472 (je pochován v kryptě pod kostelem i se svojí rodinou) převzali  patronát nad klášterem Rožmberkové.  Zpočátku se klášteru dařilo, zejména kolem roku 1500. Tehdy měl vlastní pivovar, vinice v Rakousku u města Krems a samozřejmě i zemědělský dvůr.
K polovině 16. století klášter postupně upadal. Na morovou epidemii zemřela většina kanovníků a nakonec i probošt Šimon. Vilém z Rožmberka jako patron kláštera si o své vůli prosadil za probošta Matěje Kozku z Rynárce. Ten však nebyl ani dobrý kněz, ani hospodář, spíše se věnoval kratochvilnému životu, a tak dovedl klášter k hospodářskému krachu. Tomu nezabránilo ani čtrnáctiměsíční působení Jakuba Krčína jako správce statku. V roce 1564 se Vilém z Rožmberka rozhodl klášter  zrušit a přisvojit si jeho majetek. Rožmberkové hospodařili dobře i v Borovanech. Zvláštní zmínku zaslouží jimi přebudovaný a rozšířený pivovar s výstavem 2500 hl ročně. Zcizení klášterního majetku bylo panovníkem legalizováno v roce 1600. O jedenáct let později rožmberský rod vymřel a majetek zdědili Švamberkové. Těm byl však zkonfiskován pro účast ve stavovském povstání a připadl císaři. Nicméně na počátku třicetileté války byly Borovany včetně bývalého kláštera těžce postiženy.V roce 1625 zde komisaři z původních padesáti pěti osedlých nalezli jen dva.  Císař Ferdinand III. v roce 1631 rozhodl, že borovanský klášter bude obnoven. Trvalo však více než třicet let, než byl klášter znovu osazen augustiniány z rakouského Klosterneuburgu. Z proboštů kláštera je možné připomenout Konráda Fischera, který zde vládl v letech 1677 – 1701 a pozvedl zejména klášterní hospodářství. Jeho nástupce Kristián Preitfelder nechal především zvýšit a barokizovat kostelní věž v roce 1730.

Nejvýznamnější osobností byl Augustin Dubenský, který zde proboštoval v letech 1738 – 1774. On byl iniciátorem stavby Škapulířové kaple (1748), barokizace kostelního presbytáře, nové krypty a generální opravy kostela (1750). Vrcholným jeho počinem byla stavba nové prelatury v letech 1765 – 1768. Klášter však přežil probošta Dubenského jen o jedenáct let, protože byl v roce 1785 zrušen císařem Josefem II. 

Klášterní statek koupili od Náboženského fondu Schwarzenbergové v roce 1787 a vlastnili ho až do prvé pozemkové reformy v roce 1920. Po ní jim zůstala jen prelatura tzv. zámek, který v roce 1939 koupila obec pro zřízení měšťanské školy. Škola užívala zámek až do roku 1997, kdy se přestěhovala do nového areálu. V letech 2005 – 2010 prodělal zámek generální opravu a byla v něm umístěna městská knihovna, infocentrum a výstavní prostory, kavárna a instalována prohlídková trasa, která prochází i dalšími budovami bývalého klášterního areálu.