Documentato dall’inizio del XIV secolo, già dei conti de Sacco, il palazzo passò nel 1480 a Gian Giacomo Trivulzio che lo fece ampliare e ammodernare per farne la residenza dei suoi amministratori; si trattava di un palazzo fortificato circondato dall’acqua e con splendidi giardini; di tutto ciò non rimane ora che un troncone della torre che serviva da porta d’ingresso.