Costruito verso la fine del XVI secolo dal conte Carlo Zengraf, il palazzo, denominato Graffenberg, passò pochi anni più tardi a un ramo della famiglia Strassoldo. Nei secoli successivi furono costruiti la cappella, il doppio loggiato che la collega all’edificio principale, l’adiacente cancelleria e, a breve distanza, le scuderie. Nel 1820 tutte le pertinenze di Graffenberg furono acquistate dal conte Michele Coronini Cronberg, che sottopose il Palazzo a ulteriori lavori di ristrutturazione, tra cui la realizzazione di una nuova ala, affacciata sul giardino. Pochi anni più tardi, nel 1836, l’edificio ospitò per meno di un mese il re di Francia in esilio, Carlo X di Borbone, che qui spirò a causa del colera.
Si deve al conte Alfredo, a partire dal 1880 la sistemazione a parco di tipo inglese dell’area circostante il Palazzo, mentre fu suo nipote Guglielmo, ultimo discendente della famiglia, a studiare la sistemazione museale degli interni e a volere la destinazione del Palazzo alla pubblica fruizione, mediante l’istituzione di una Fondazione, nata dopo la sua morte nel 1990.
Oggi il Palazzo è una dimora storica aperta al pubblico, che ospita mostre, convegni, concerti e altri eventi. Nelle 15 sale vistabili arredi preziosi e oggetti di uso quotidiano ricreano l'atmosfera di un'abitazione realmente vissuta, lasciando percepire in ogni stanza la presenza degli antichi proprietari. Da segnalare opere d’arte di straordinario valore tra cui due delle famose “teste di carattere” di Franz Xaver Messerschmidt, le uniche conservate in Italia.