Zahradní dům byl postaven v roce 1732 zednickým mistrem Kristianem Laglerem na příkaz hraběte Františka Karla Clary-Aldringena.