Az 1783-ban elkészült késő barokk épületet Hefele Menyhért tervezte. A nyilvános részben van az egyháztörténeti múzeum, és ennek része a Dorffmeister István által kifestett Sala Terrena.

A Sala Terrena (a földszinti terem volt az első hazai régészeti múzeum) festője, Dorffmeister István az antik római világot örökítette meg a falakon. A képek előterében hitelesen és pontosan ábrázolja az építkezés során előkerült római feliratos kőtöredékeket is.

Ezekben a ritkán látható részekben, pontosan az első emeleti nagyteremben és a könyvtárteremben szintén nagyon értékes XVIII. századi freskók, a neves Maulbertsch alkotásai láthatók.

A város 1777-ben lett püspöki székhely, és első püspökének, Szily Jánosnak a tevékenysége nyomán gyorsan, 1778-1783 között el is készült a pöspöki palota. Ő hívta Szombathelyre Hefele Menyhértet, a Bécsben dolgozó tiroli származású híres építészt is.