Die Rechteckanlage des barocken Schlosses ist durch seinen Vorgängerbau aus der Renaissancezeit, einem Wasserschloss, bedingt. Das aufgrund seiner grenznahen Lage vor allem durch die zahlreichen Auseinandersetzungen mit den Osmanen heruntergekommene Anwesen wurde 1668 von Graf Ferdinand Bonaventura Harrach, dem Begründer der auch heute noch im Schloss aufbewahrten größten privaten Gemäldesammlung Österreichs, umgebaut. Die Sammlung bietet einen phantastischen Querschnitt durch die spanischen, neapolitanischen und römischen Malerschulen des 17. und 18. Jahrhunderts, umfasst darüber hinaus aber auch viele Schätze flämischer, niederländischer und französischer Meister. Der Architekt Andreas Zach verlieh dem Schloss durch das Vorblenden neuer Fassaden in den Jahren 1776 bis 1777 sein heutiges, frühklassizistisches Aussehen.