En 1412, Marino Contarini fait construire un palais, dont il espère qu'il surpassera en beauté tous les autres palais de Venise.
Il en confie la construction au Lombard Matteo Raverti, puis aux vénitiens Giovanni et Bartolomeo Bon.
La façade de marbre est alors presqu'entièrement couverte d'or.
Les vénitiens lui donnent de ce fait le nom de "CA D'ORO", c'est-à-dire la maison d'or. Maison, dans les sens de foyer, famille.
Le palais se dégrade peu à peu, avec les changements de propriétaires.
En 1847, le prince Troubetskoy le rachète pour l'offrir à la ballerine russe Maria Taglioni.
Mais c'est Giorgio Franchetti qui l'acquière, fin 19e siècle, et le rénove. La Ca d'Oro retrouve son apparenced originelle, si ce n'est l'or de la façade.
En 1916, Giorgio Franchetti fait don du palais et de ses collecitons à l'état.
C'est devenu depuis, un magnifique musée, avec des oeuvres de Carpaccio, Le Titien, Mantegna, mobilier gothique et tapisseries du 15 et 16e siècle.