Tegelijk met de Pelgrimskerk werd in 1932 de pastorie gebouwd, ook naar ontwerp van architect B.W. Plooij. Het is een gaaf voorbeeld van de Delftse School stijl.
Typerend zijn de bakstenen topgevel en het hoge zadeldak. Vooral de topgevel kent een prachtige opbouw. Op de begane grond zijn twee gespiegelde erkers. Daarboven deelt de schoorsteen de gevel in tweeën, met daarnaast de vensters, die naar boven toe kleiner worden. Op de hoeken zijn dakkapellen geplaatst, een bijzondere plek omdat deze zich gewoonlijk midden op het dak bevinden. Zo is een heel subtiel lijnenspel ontstaan van de daklijst en de lijsten boven de erkers en hoekdakkapellen. De pastorie is net als de kerk een gemeentelijk monument.
