De pastorie van Olen-Centrum werd gebouwd in 1769. Omdat de parochie al meer dan duizend jaar bestaat, zal vroeger op deze plaats wellicht een pastoorswoning hebben gestaan.
Deze norbertijnenpastorie met vest werd tot 2001 door een pastoor bewoond. Het gebouw is een beschermd monument. Nu zijn het archief van heemkring 'De Linde' en de St.-Antoniusgilde er gevestigd.
