Prvobitno zdanje dvora izgrađeno je u periodu od 1713. do 1725. godine. Taj dvor nije bio velik, a izgrađen je od drveta u vreme mitropolita karlovačkog Vikentija Popovića – Hadžilovića i srpskog patrijarha Arsenija Četvrtog Jovanovića Šakabente. Nešto kasnije, 1754. godine, u vreme mitropolita Pavla Nenadovića, sagrađena je i nova zgrada dvora, dok je najnovije zdanje, koje postoji i danas, sagrađeno 1828. godine. Nakon uspostavljanja Eparhije osečkopoljske i baranjske, dvor postaje sedište episkopije.