Hrad před polovinou 13. století založil Vok I. z Rožmberka a jeho potomkům patřil s krátkými obdobími zástav až do roku 1611. V době před třicetiletou válkou Rožmberk krátce drželi páni ze Švamberka, ale během stavovského povstání o něj přišli a novými vlastníky se stali Buquoyové. Ani pro ně Rožmberk nebyl hlavním sídlem, ale Jiří Jan Jindřich Buquoy nechal v polovině 19. století Dolní zámek novogoticky přestavět a výrazně rozšířil také budovy Horního hradu.