Zahradní dům stojí v těsné blízkosti zámku, před Bílinskou branou u začátku Zámecké zahrady.