Reichsvizekanzler Friedrich Karl Graf von Schönborn erwarb 1710 die Herrschaft Göllersdorf. Wenig später beauftragte er den Architekten Johann Lukas von Hildebrandt mit dem Umbau der auf dem Besitz befindlichen Veste Mihlberg in ein repräsentatives Landschloss. Südöstlich des Ortes entstand eine Dreiflügelanlage mit ausgedehntem Garten, Orangerie und Schlosskapelle.
Die ursprüngliche Gestaltung ist durch Ansichtenserien Salomon Kleiners dokumentiert. Das zweigeschoßige zentrale Corps de Logis und die leicht eingezogenen Flügelbauten gruppieren sich um einen fast quadratischen Innenhof. Südöstlich des Schlosses auf leicht erhöhtem Terrain befindet sich die Orangerie, deren südlicher Pavillon als sommerliches Lustgebäude komplett mit Fresken von Jonas Drentwett ausgestaltet wurde (1715). Am Nordwestrand des weitläufigen Schlossparks errichtete Hildebrand 1729-1733 eine monumentale Johannes-Nepomuk-Kapelle. Die Statue des Heiligen ist durch einen von vier Kompositsäulen getragenen, reich verzierten Baldachin bekrönt.