An der Stelle der dominierend über dem Stadtzentrum von Krems liegenden Piaristenkirche stand die älteste Kirche der Stadt, die bereits 1014 erwähnt wird und noch außerhalb der Stadtmauern lag. Ab der Mitte des 15. Jahrhunderts wurde die Kirche zu Unserer Lieben Frau als spätgotische Hallenkirche errichtet. Die qualitätvolle Ausführung lässt Beziehungen zur Wiener Dombauhütte vermuten. Die Gesamtweihe der Kirche erfolgte 1508.
Im Zuge der Gegenreformation wurden die Jesuiten nach Krems geholt und ihnen die Frauenkirche übertragen, die bis dahin im Besitz der (protestantischen) Stadt war. In der Barockzeit erfolgte eine Neugestaltung des Kircheninneren. Der Hochaltar wurde von dem Bildhauer Joseph Matthias Götz geschaffen, das Altarblatt zeigt eine Darstellung der Himmelfahrt Mariens von Martin Johann Schmidt. Aus der Werkstatt des Kremser Schmidt stammen noch drei weitere Altarbilder der Kirche sowie die Wandmalerei in der Franz Xaver-Kapelle mit der Darstellung des Todes des hl. Franz Xaver. Nach der Auflösung des Jesuitenordens (1773) übernahmen 1776 die Piaristen die Kirche.
Der alles überragende Westturm, an den die Kirche angebaut ist, hat einen romanischen Unterbau. Einige vom heutigen Dachstuhl verdeckten Fenster im Inneren belegen, dass die älteste Kirche an seiner Seite wesentlich niederiger war. Der bis in das 20. Jahrhunderte bewohnte Turm war Sitz des Stadttürmers und ist daher heute noch im Besitz der Stadt.
1756 übertragen und 1776 von den Piaristen übernommen. Die Wandmalerei in der Franz Xaver-Kapelle mit der Darstellung des Todes des hl. Franz Xaver stammt von Martin Johann Schmidt. Bemerkenswert ist weiters der Hochaltar von Josef Matthias Götz, zu dem Martin Johann Schmidt ebenfalls in den 1750er Jahren eine Darstellung der Himmelfahrt Mariens geliefert hat.