In 1862 verkocht burgemeester Hendrik Andreas de Vijver het huis dat eerst op deze plek stond aan de Gereformeerde Kerk van Zegwaart. De kerk zelf, in 1867 gebouwd, kwam er vlak achter te staan. In 1909 werd het huidige statige pand gebouwd door aannemer Jan van Os. Hier woonde de dominee.Toen in 1932 in de Eerste Stationsstraat een nieuwe pastorie werd gebouwd, verhuisde de dominee daarnaar toe (zie Eerste Stationsstraat 88).
De voormalige pastorie, een gemeentelijk monument, is een statig huis met een grote schijngevel, waar de kap achter schuilgaat. De gevel wordt afgesloten door een kroonlijst die van een fijn tandlijstje is voorzien. De ramen zijn naar laat achttiende-eeuws model in kleine ruitjes onderverdeeld; dit is in de jaren tachtig gebeurd maar het past eigenlijk niet bij een gebouw dat uit het begin van de twintigste eeuw dateert.
