Palazzo Gonzaga-Acerbi originariamente era composta di due edifici separati; uno occupato dal Comune (domus civis), l’altro occupato dal vicario dei Gonzaga il Torrazzo. Nel 1480 Ludovico Gonzaga, vescovo di Mantova, fece delle opere di ristrutturazione sull’edificio, forse unendo i due edifici. Sembra sia in quel periodo la costruzione del nuovo Palazzo della Ragione o Comune di Castel Goffredo; comunque, dal 1511 il palazzo ristrutturato diventa residenza del marchese Aloisio Gonzaga che lo abbellisce ulteriormente ed ospitando personaggi illustri come: il capitano imperiale Luigi Gonzaga Rodomonte, il poeta Pietro Aretino, lo scrittore Matteo Brandello, frate Patrizio Tricasso, l’imperatore Carlo V nel 1543; qui sono nati vari Gonzaga come: Alfonso nel 1540, Ferrante nel 1544, Orazio nel 1545. Nell’ottobre 1589 vi soggiorna Luigi Gonzaga ma nel 1592 viene fatto ammazzare da Rodolfo Gonzaga che occupa il paese ed imprigiona in questo edificio la figlia Caterina di Aloisio e sua moglie Ippolita Maggi; anche Rodolfo soggiorna in questo palazzo prima di essere ucciso nel 1593. Nel 1603 Castel Goffredo viene annesso al ducato di Mantova e da quel momento nessun Gonzaga vi abiterà ancora; agli inizi del XVIII secolo passa agli Austriaci ma rimane disabitato fino alla metà del secolo, quando viene ceduto al Comune che a sua volta, nel 1776, lo cede al colonnello Giuseppe Acerbi. La famiglia Acerbi apporta notevoli modifiche verso lo stile neoclassico ad opera del bresciano Gaspare Turbini: chisi i merli, asportati gli elementi rinascimentali, ampliate le finestre. Attualmente Palazzo Gonzaga-Acerbi si presenta con una facciata settecentesca pur conservando una struttura rinascimentale. L’ingresso porta sotto una loggia retta da colonne in marmo e con i volti affrescati a “grottesca”, la loggia si affaccia su un secolare giardino, tra le curiosità due roseti i cui sarmenti furono portati da Alessandra d’Egitto al console Giuseppe Acerbi nei primi decenni dell’Ottocento. Munito di torrazzo posto a difesa della dimora, mantiene la forgia originaria, la sommità a sporgere è sorretta da mensole a modiglione ed è provvista di caditoi e di troniere per poter ospitare armi da fuoco.