Der pittoreske Bau ist ein typisches Beispiel einer Burg mit Mauer, die aus einem zentralen alleinstehenden Turm besteht, der von einem Mauerring umgeben ist, auf dem sich einige kleinere Türme erheben. Sein Ursprung ist unklar. Einige Autoren datieren ihn auf die Römerzeit, die vermutliche in Vezio einen Turm bauten, um die Ufer des Sees zu kontrollieren, an dem in der Zwischenzeit Varenna entstanden war. Man weiß nur wenig über Vezio und die Burg im Frühmittelalter. Sicher ist dagegen die Existenz des Gebäudes im Spätmittelalter. Manche dachten, dass die ersten Erbauer der Burg die Bewohner der Insel Comacina waren, die als Verbannte nach Varenna kamen, nachdem sie 1169 von Como besiegt worden waren. Diese Annahme wurde dann vom Großteil der Historiker verworfen. Wahrscheinlicher ist, dass die Bewohner von Comacina ein großes bauliches Unterfangen begannen, dass außer der Burg (die von einer Schutzmauer umgeben wurde) auch Varenna betraf. Das Gebäude erhielt dann das Aussehen, das wir kennen und hatte nicht nur die Funktion der Sichtung und Meldung, sondern diente auch als Zufluchtsort der Bevölkerung von Varenna während der Angriffe der Comer, die während des gesamten Spätmittelalters andauerten. Im Anschluss fiel der Besitz der Burg an die Pfarrkirche von Varenna, dann an die Grafen Sfrondati und schließlich an die Grafen Serbelloni, die sie bis zum 19. Jahrhundert unterhielten. Danach übernahmen es die heutigen Besitzer (die Familie Greppi Di Robilant). Seit 1994 wird das Gebäude an den Touristenverband Castello di Vezio vermietet, der sich um seine Verwaltung kümmert. Im Inneren der Burg kann die dem Lariosaurus gewidmete ständige Ausstellung bewundert werden, ein Reptil mittlerer Größe, das während der Mitteltrias auch in diesen Gebieten lebte (Funde in Parledo). Außerdem beherbergt die Burg seit einigen Jahren ein Zentrum zur Pflege und zum Abrichten von Raubvögeln mit Falknerei-Vorführungen.