Edificato nel 1200 ed ampliato nel 1500, il palazzo fu la sede dei "padri della patria goriziana", l'assemblea, di cui facevano parte rappresentanti della nobiltà, del clero e della contea, che amministrò per sei secoli la città e il suo territorio. Sulla piazza si affacciano altri antichi palazzi: la cinquecentesca casa del Magistrato civico, con il caratteristico sporto ai piani superiori, dimora del Gastaldo; la Casa degli Ungrispach, una delle più antiche della città, in stile tardo gotico, sulla cui facciata spicca una targa con la data MCCCCXLI; le antiche case all'imbocco di via Rastello.
Non passano inosservate in piazza Cavour le panchine di forma ovale. Su una di esse è incisa la frase “En attendant mon amour”. Un romantico omaggio a tutti coloro che si sono innamorati (e si innamoreranno) a Gorizia. O di Gorizia.