Edificato attorno al 1350 presso la porta orientale della città, il palazzo fungeva da foresteria dei conti di Gorizia, dove soggiornavano gli ospiti che partecipavano alle battute di caccia e ai tornei cavallereschi. Il castelletto era fornito da un corpo di guardia situato in prossimità della torre, provvista di ponte levatoio, che costituiva la porta d’ingresso della città verso il Carso, in direzione sud-est. Noto con l’appellativo di Schönhaus ("casa bella"), alla morte dell’ultimo conte di Gorizia Leonardo, l’edificio fu lasciato in eredità al medico Pozzo, che nel 1505 la cedette ad Antonio Lantieri. Nel 1513, i Lantieri ricevettero dall’imperatore Massimiliano I l’investitura del feudo di Schönhaus, iniziando la costruzione dell’ala cinquecentesca del palazzo, in seguito arricchito internamente da preziosi cicli di affreschi ancora in parte conservati. Particolarmente curiosa è la serie di formelle con figure allegoriche, databili alla metà del XVIII secolo e realizzate sulle volte di un porticato dell’ala inferiore.
Durante il Settecento la residenza vide il passaggio di numerosi ospiti illustri come Carlo Goldoni, e Giacomo Casanova. Nel 1782 anche papa Pio VI vi soggiornò nel corso del viaggio verso Vienna, come ricorda una lapide murata nel porticato. In anni recenti le sale del palazzo sono state arricchite da alcune opere di artisti contemporanei che creano un interessante dialogo con l’antica atmosfera che pervade gli ambienti.