Schloss Pottenbrunn ist ein renaissancezeitliches Ensemble inmitten von Wassergräben, das aus dem "Altschloss" mit dem weithin sichtbaren Turm und dem vorgelagerten "Neuen Schloss" besteht. Seine heutige Gestalt erhielt das Schloss im 16. Jahrhundert durch die Familie Grabner, die gleichzeitig Besitzer der Rosenburg waren. 1505 hatte Sebastian Grabner die Erbtochter der Pottenbrunner geheiratet. Seine Nachkommen ließen die mittelalterliche Anlage mit dem im Kern romanischen Bergfried und dem anschließenden Palas im Stil der Renaissance ausbauen. Die entscheidende Ausgestaltung erfolgte vor allem um 1600 unter Sebastian Grabner d. J. Der aufgestockte Wohntrakt und der Turm erhielten ähnlich wie auf der Rosenburg umlaufende Arkadengalerien in Adaption italienischer Säulenmotive. Der Turm erhielt zudem einen Zwiebelhelm. Gleichzeitig wurde die erst Mitte des 16. Jahrhunderts erbaute Vorburg bis ins frühe 17. Jahrhundert zu einem zweiflügeligen sog. Wohnschloss ("Neues Schloss") ausgebaut, das von zwei achteckigen Türmen flankiert wird. Beide Bauwerke wurden von Mauern und einem Wassergraben umgeben und durch eine Brücke verbunden.
Im zweiten Viertel des 19. Jahrhunderts wurde der Zwiebelhelm des Turms durch eine achteckige Turmbekrönung mit Zinnenkranz ersetzt. Nach dem Einsturz des Turms 1961 erfolgte der Wiederaufbau mit Zwiebelhelm nach dem Vischer-Stich von 1672.