A műemlékekben gazdag belváros legszebb építménye a Várhegy oldalába simuló püspöki palota, ahonnan gyönyörű panoráma nyílik a hegy tetején álló Sümegi várra. 1552-ben Veszprém eleste után a veszprémi püspökség a sümegi várba költözött, s ott volt a székhelye 210 évig. A városban előbb kisebb udvarházat, majd nyaralót építettek a püspökök, ám a török idők alatt az is előfordult, hogy a várat a püspökség, a várost a török birtokolta. 
   
A püspöki kastélyról az első dokumentum 1675-ből származik, ifjabb Sennyei István veszprémi püspök oklevele említi. A palota elődjét, egy kisebb kúriát 1656 körül építette Széchényi György, amikor Veszprém püspöke volt. A sümegi püspöki palota nagyszabású kiépítése Padányi Bíró Márton veszprémi püspök nevéhez köthető. Miután 1745-ben kinevezték veszprémi püspökké, székhelyét azonnal Sümegre helyezte. Ez volt a kezdete a város fénykorának is. Ekkor alakult ki a barokk városkép az új palotával, lakó- és gazdasági épületekkel, valamint ekkor épült az új templom, melyet Maulbertsch Anton különleges freskókkal díszített.

   A napjaikban is látható barokk épület kialakításakor a kúria alapjait is felhasználták. Padányi Biró Márton püspök első dolga volt, hogy a korábbi püspöki udvarházból a kocsmát és az üzletet kiköltöztette és 1748-ban elkezdték a palota átépítését. 1753-ra elkészült az elegáns négy tornyos, zárt udvaros, kápolnát is magába foglaló rezidencia. Az épület a domborzati viszonyokat követve egy részében földszintes, nagyobb részében viszont emeletes.

   Az építtető püspök így írt róla: "Olyan, Magyarországon még nem látott szépségű és eleganciájú rezidenciát építettem, aminek csodájára jár mindenki...". Arról, hogy ezt a csodás palotát kinek a tervei alapján húzták fel, máig nincsenek hiteles adataink. A palota építéstörténetével az ötvenes évek végén foglalkozó kutatók szerint a munkák Padányi Biró Márton elképzelései, esetleg írásba foglalt programja szerint folytak.

 A kőműves munkát valószínűleg Paul Mojzes püspöki kőműves irányította, az egyes részletek megalkotására - főkapu, stukkózás, kőfaragás stb. - különböző mesterek kaptak megbízást. A főbejárat legkülönlegesebb dísze a kapu felett lévő áttört mellvédű erkély, amelyet hatalmas Atlasz-figurák tartják. A szobordíszes főpárkány alatt az építtető püspök címere látható. A palota helyiségeinek jelentős része boltozott. A kastély legszebb tere a Szent Mártonnak szentelt kápolna. A tituláris szent kupolán lévő képét és a korona felajánlását ábrázoló, oltárképet a váci Vogel Gergely festette, stukkóit a pesti Antonio Orsatti készítette.

Padányi Biró Márton halála, 1762 után ugyan a veszprémi püspökség székhelye ismét a királynék városa lett, ám a sümegi palota építéstörténete nem zárult le. 1770 körül copf stílusban építették át a nyugati homlokzatot, így íves, volutás homlokzati díszítést kapott a parkra néző oldal. Ez időben már Sümegre nyaralni, illetve vadászni jártak az egyházmegye elöljárói.

A következő átalakítás 1830-40-es években klasszicista stílusban történt, ekkor nyerte el ma látható formáját a nyugati homlokzat középső szakasza. A palota a 19. század második felétől tovább egyszerűsödött azáltal, hogy a zárterkélyek toronysisakjait és az északkeleti saroktoronyot elbontották. A zsindelyfedés hasonló sorsra jutott, és a belső terekben is történtek átalakítások. A kápolna mellett kialakított könyvtárszoba mennyezetén magának az építtetőnek az alakja jelenik meg csillagászati műszerekkel és egyéb eszközökkel együtt. 

(Műemlékek Nemzeti Gondnoksága)

A Püspöki Palota (jelenlegi) állandó kiállításai:

Frederick Hagan - Kanada felfedezése I-II.

Haranghy Jenő - grafikus művész (itt)

Horváth Béla művészettörténész hagyatéka
(Magyarországi "nyolcak" csoportja) (itt)

Horváth Márton - üvegművész (itt)

Kajári Gyula - festőművész (itt)

Oszkai Réka - keramikus (itt)

Sass Brunner Erzsébet (itt)

Vadászati Kiállítás (itt)