De oude pastorie stond aan de overzijde van de straat tegenover de huidige pastorie. Ze brandde tweemaal af: in 1606 en in 1687.
Na de laatste brand woonden de pastoors boven een portaal naast de toren. Priester Laureyns en pastoor Ludovicus Mues hebben er achtereenvolgens gewoond tot in 1732. Pastoor Jacobus De Wael liet het poorthuis afbreken en weer opbouwen : “Het vorseyt afgebrocken portael : hebbende gehaht eene schoone caemer ende eene schauwe”.
In 1740 - 1741 werd op last van pastoor De Wael een nieuwe pastorie gebouwd 300m ten westen van de kerk aan de Walmersumstraat. Een voetpad over de "Hondsberg" verbond het gebouw met de kerk. Het pad verdween in 1922 door de aanleg van het goed van Albert Vinckenbos. Het hoofdgebouw bestaat nog en heeft geen verdieping. Het werd omstreeks 1970 gerestaureerd. De voorzijde en de zijgevels zijn in baksteen. De rechthoekige vensters zijn omlijst met zandsteen, drie rijen in horizontale richting, boven, onder en tussen de vensters. De voorste plint is in hardsteen. Bovenaan zijn er steigergaten. De voordeur staat in het midden tussen telkens twee vensters. Ze is ook met zandsteen omlijst en heeft een korfboog. Hierboven is een dubbele waterlijst aangebracht, die bekroond wordt door een verticaal ossenoog, met ernaast twee voluten en een bovenste druiplijst. Tussen de voluten staat het jaartal 1740. Op de westelijke gevel, die gecementeerd is, staat het jaartal 1741. Aan de zuidelijke gevel, beneden en aan de achterzijde van het gebouw, zijn de stenen dwarsbalken bewaard gebleven. De achterzijde is gedeeltelijk in hardsteen, gedeeltelijk in baksteen opgetrokken. Boven de rechthoekige achterdeur is wat hoger een losstaand verticaal ossenoog aangebracht. In rechthoek staan ernaast, aan de bovenzijde, twee mannenhoofden met baard en snor; eronder twee vrouwenhoofden. Binnen staat nog een mooie trap in eikenhout. Het gebouw is sinds jaren een particuliere woning.
De huidige pastorie draagt het jaartal 1867 in de voorgevel, en staat naast het kerkhof en de kerk. De voorzijde doet wat neogotisch aan. De bakstenen van de voorgevel zijn bepleisterd en geschilderd. De rechthoekige vensters zijn bovenaan versierd met een puntje in het midden van de U-vormige druiplijsten. In het midden staat een spits dakvenster. De voordeur heeft een ogiefboog. De plint en de pui zijn bekleed met zandsteen.