Klášter byl založen roku 1627 hrabětem Sezimou z Vrtby. Původně prý měl stát na úpatí Čeřenské hory. Stavba byla zahájena, avšak přes noc vždy zmizel veškerý stavební materiál a ráno nebylo po stavbě ani památky. V noci tam prý přilétali čerti, kteří stavbu rozebrali a veškerý stavební materiál odnesli. Když se to dozvěděl Sezima, dal stavební práce zastavit a později prohlásil, že klášter bude stát na místě, kde jelen z jeho obory složí paroží. A tak se také stalo.

Hrabě Sezima z Vrtby je pochován ve františkánském rouchu v kryptě pod kostelem sv. Františka z Assisi.

Fotografie 1 – Klášter sv. Františka z Assisi v 18. století
Fotografie 2 – Klášter v roce 1914
Fotografie 3 – Klášter před rokem 1978
Fotografie 4 – Klášter sv. Františka z Assisi (2018)