Bývalé dolní lázně podle historických pramenů jsou zmiňovány již kolem roku 1324, kdy Oldřich Pluh z Rabštejna, podkoří království českého si založil mimo hradby města lázeń se zahradou a mlýn. Tato stavba sloužila po staletí střídavě jak lázeň, hostinec nebo šenk. Možná i služby krásných lazebnic mimo dosah ctihodných měšťanek není možno vyloučit.