A külső homlokzat egyetlen szobrászati díszítése, a két torony között látható Szeplőtelen Szűz Anya szobor szintén 1797-ben került a helyére. Készítője Held Frigyes budai szobrász mester volt. Készítési költségeit bajsai Vojnits Mátyás vállalta magára, mivel a város nem tudta volna Held számláját kifizetni. Vojnits így kívánt emléket állítani elhunyt fiának.