Lo splendido palazzo fu proprietà dei feudatari della Rosa, quando aveva ancora l'aspetto più austero di un castello; fu ingentilito e reso adatto ad una lussuosa villeggiatura per i signori di Modena (poiché alla fine del '500 la famiglia d'Este aveva dovuto lasciare Ferrara per trasferirsi a Modena), che vi venivano in villeggiatura estiva.
Oggi, dopo un attento restauro, il palazzo si offre, con le sue bellissime 28 sale visitabili, agli sguardi del pubblico, che ne ammira l’elegante architettura, le opere di pittura e scultura raccolte e la meravigliosa suppellettile d’arredamento.