Costruito a partire dal 1599 su progetto dell’architetto Guidubaldo Del Monte, il palazzo era la prestigiosa residenza di Giulio Cesare Mamiani Della Rovere, insignito del cognome roveresco dal duca Francesco Maria II di cui era consigliere e amico. Alla morte del Mamiani, l’ala su Via Rossini - che corrisponde al fabbricato attuale - passa al figlio Francesco Maria.

Nel tempo si susseguono passaggi ad alcune famiglie gentilizie: nel 1693 i Medici, nel 1698 i Gavardini cui si devono le maggiori trasformazioni del complesso architettonico, nel 1852 i Reggiani che impongono il loro stemma sul portale rinascimentale, infine i Gradari che lo cedono al Comune nel 1940.

Il cortile principale, preceduto da un ampio atrio, è circondato su due lati da un doppio ordine di logge e collegato ad una piccola corte interna. Al primo piano si sviluppano sale con volte fastosamente decorate. Tra queste, l’affresco siglato nel 1747 da Giannandrea Lazzarini che raffigura episodi biblici, le Quattro stagioni in stucco e quattro medaglioni con fanciulli accompagnati da simboli classici e cristiani. Al secondo piano sono dipinte vedute dei fratelli Antonio e Romolo Liverani.