Il palazzo è di linee molto semplici con due ordini di finestre e un sobrio portale in travertino. Il Balcone ad angolo è stato aggiunto agli inizi del XX secolo. L’edificio, nei secoli rimaneggiato, ospitò nel 1543 il Monte frumentario e il Monte di Pietà tra i primi in Italia. Le norme del Monte prevedevano il prestito di quantità di grano da dare ai poveri e ai bisognosi; il granaio si trovava in una stanza del vicino convento si San Francesco. In epoca napoleonica divenne residenza del Governatore e, a piano terra, sede delle carceri. All’interno sono conservate le antiche pergamene del comune di Staffolo risalenti al XIII secolo e gli statuti della metà del XVI secolo.