Největší duchcovskou legendou se nesporně stal Giacomo Casanova. Působil na zámku v letech 1785-1798 jako knihovník hraběte Karla Josefa z Valdštejna. Tato funkce však byla ryze formální, hrabě na něm žádné povinnosti nevyžadoval, a tak starý dobrodruh a světoběžník prožil závěr svého života relativně v klidu. Úmyslně používáme výrazu „relativně“, neboť tomu nebylo tak docela. Kosmopolitní Ital Casanova měl totiž jednu nevýhodu: neuměl dobře německy a k tomu se svým vzhledem, rozhledem a vzděláním výrazně lišil od zámeckých úředníků i místních měštanů. A protože se ve své pýše nebyl ochoten podřizovat nikomu a ničemu, žil zde velmi osaměle. Navíc se dostával se zámeckým personálem do častých malicherných konfliktů, které mu ztrpčovaly život.
Osamění starého muže v době nepřítomnosti hraběte Valdštejna však mělo jednu výhodu. Protože s ním nikdo v těchto údobích moc nemluvil, získával spoustu volného času, a tak hodně četl a psal. Mimo jiné vytvořil v Duchcově své nejznámější dílo, literárně pojaté paměti nazvané Historie Mého života, dodnes proslulé a čtené. Často také navštěvoval Teplice, kde se stýkal s kultivovanou kosmopolitní společností a dokonce napsal pro tamní zámecké divadlo hru Polemascop.
Jakkoli jej duchcovští obyvatelé nikdy nepřijali za svého, po letech byl dokonce zrušen i jeho hrob, stal se postupně legendou a nejznámější osobností, která kdy v Duchcově žila. Upomínky na jeho život najdeme jednak na zámku, jednak v zajímavé expozici místní historie v městském muzeu. Hřbitov, na němž byl Casanova pohřben, ležel v okolí kostelíka sv. Barbory, a proto zde byla instalována deska, připomínající tohoto světoběžníka, pro něhož měli místní obyvatelé za jeho života jenom posměch a pohrdání. ■