Před více než 230 lety si palác nechal vybudovat Kaspar Wieser, hlavní dodavatel cihel pro terezínskou pevnost.