Deepfakes – dříve jen technologická kuriozita – se proměnily ve zbraň digitálního věku. Falešné hlasy, tváře a videa dnes slouží ke krádežím milionů, manipulaci voličů a šíření nedůvěry v realitu samotnou. S rozvojem umělé inteligence se z iluze stává globální průmysl podvodů – a většina světa na to zatím není připravena.
Dlouhá léta byly deepfakes – videa, audia nebo obrázky zmanipulovaná umělou inteligencí tak, aby vypadaly autenticky – vzdáleným problémem, teoretickým rizikem science fiction. Dnes je toto riziko realitou každodenního života – rozsáhlé finanční podvody, dezinformační kampaně v masovém měřítku a techniky dostupné komukoli s počítačem a připojením k internetu.
Nedávná analýza AI Incident Database tvrdí, že podvody typu deepfake se již industrializovaly: levné a snadno použitelné nástroje umožňují zločincům vytvářet falešné identity a obsah téměř nerozeznatelný od skutečného, aby oklamali jednotlivé oběti i celé organizace.
Klíčem k tomuto skoku je kombinace dvou faktorů: na jedné straně stále výkonnější generativní modely umělé inteligence, které jsou schopny napodobovat hlasy, gesta a intonaci s takovou úrovní detailu, jaká byla ještě před několika lety dostupná pouze velkým studiím speciálních efektů; na straně druhé dramatický pokles nákladů. Dnes je možné vygenerovat věrohodné video osoby, která nikdy nic neřekla – nebo dokonce neexistovala – pomocí bezplatných nebo levných nástrojů, z nichž mnohé jsou dostupné z prohlížeče a bez nutnosti pokročilých technických znalostí.
Související článek
Tento posun změnil to, co dříve bylo „řemeslem podvodu“, ve skutečnou montážní linku. Vznikají podzemní trhy, kde se prodávají klonované hlasy, kompletní syntetické identity (fotografie, dokumenty, síťové profily) a služby „deepfake on demand“ pro podvodné nebo dezinformační kampaně. V praxi se audiovizuální klamání stalo jen další službou v globální kriminální ekonomice.
Dostupné údaje ukazují rozsah tohoto jevu. Podle údajů z analýzy ve Spojeném království přišli spotřebitelé za pouhých devět měsíců roku 2025 v důsledku podvodů spojených s tímto typem obsahu o přibližně 10 miliard eur (243 miliard korun). A to se týká jen běžných občanů.
V bezpečí není ani podnikový sektor. Vysoký finanční úředník velké nadnárodní skupiny v Singapuru převedl téměř 500 000 eur (12,15 milionů korun) poté, co se domníval, že hovoří s nadřízeným ve videohovoru, který byl ve skutečnosti deepfake. Podobné případy byly zdokumentovány v Hongkongu, kde byl zaměstnanec společnosti oklamán a převedl více než 25 milionů dolarů (512,5 milionů korun) pomocí videohovoru s několika digitálně podvrženými manažery, kteří byli vygenerováni umělou inteligencí z veřejných nahrávek.
Tato čísla odrážejí nejen ekonomické ztráty, ale také schopnost těchto technik přesvědčit a vyvolat kritická rozhodnutí na základě podvodů tak realistických, že přebijí lidský úsudek. Hlavní roli zde hraje psychologie: když vidíme známou tvář nebo slyšíme známý hlas, máme tendenci polevit v ostražitosti. Zločinci využívají právě této automatické důvěry v to, co „vidíme a slyšíme“.
Pokud jde o Evropu, jedna studie uvádí, že počet zjištěných případů deepfake v roce 2024 v několika evropských zemích velmi výrazně vzrostl, přičemž meziroční nárůst byl dvouciferný nebo trojciferný: například ve Španělsku se počet případů deepfake zvýšil přibližně o 191 %, zatímco v Německu vzrostl přibližně o 142 % a ve Francii o 97 %. A to jen za první čtyři měsíce roku.
Stejná zpráva zdůrazňuje, že v zemích, kde právě probíhají volby nebo jsou naplánovány, došlo k obzvláště vysokým nárůstům aktivity. Není to náhoda: politické kampaně a předvolební období se staly živnou půdou pro škodlivé využívání syntetického obsahu, od zmanipulovaných audionahrávek kandidátů po falešná videa, jejichž cílem je polarizovat veřejné mínění nebo demobilizovat určité skupiny voličů.
Mimo Evropu ukazují stejným směrem i další analýzy. Společnost Sensity zabývající se kybernetickou bezpečností již v roce 2020 odhadovala, že počet deepfake videí na internetu se přibližně každých šest měsíců zdvojnásobuje a že většina z nich je využívána k nesouhlasným účelům, zejména v oblasti falešné pornografie. Od té doby se růst zrychlil a diverzifikoval do oblasti finančních podvodů, vydírání a politické manipulace.
Rizika se však neomezují pouze na peníze. Šíření deepfakes také podporuje dezinformace a s nimi i nedůvěru v média a instituce, protože vydávání se za hlasy a tváře veřejných osobností se využívá k šíření falešných zpráv nebo manipulaci s publikem. Podle zpráv o kybernetické bezpečnosti by se v dalších letech mohl počet deepfakes sdílených na internetu vzrůst z půl milionu na přibližně 8 milionů ročně: za pouhé dva roky se tato praxe zvýšila 16krát.
Tento objem má znepokojivý vedlejší účinek: i když je video nebo audio autentické, pouhá existence deepfakes umožňuje komukoli tvrdit, že jde o „fake“, aby se zbavil odpovědnosti. Tomu někteří odborníci říkají „efekt věrohodné lži“: nejenže už není těžké poznat, co je skutečné, ale stává se snadnějším popírat realitu. V kontextu konfliktů, zdravotních krizí nebo politických skandálů může tato nejednoznačnost ještě více narušit důvěru v instituce a tisk.
K tomu je třeba přidat další problém, poněkud přízemnější. Analýza společnosti iProov, která se zabývá biometrickou bezpečností a umělou inteligencí, ukazuje, že sotva jeden z tisíce lidí je schopen odhalit deepfake na videu a podobný podíl nemá jasno, jak jej nahlásit nebo jaké kroky podniknout, pokud se s ním setká. Tato propast mezi porozuměním a skutečným rizikem prohlubuje potenciální dopad těchto technologií na společnost.
Jiné studie ukazují stejným směrem: akademický výzkum ukázal, že i vyškolení uživatelé, pokud jsou konfrontováni s kvalitními deepfakes, jen mírně zlepší svou míru zásahu ve srovnání s lidmi bez specifického školení. Ještě znepokojivější je, že subjektivní důvěra uživatelů ve vlastní schopnost odhalit padělky je často mnohem vyšší než jejich skutečná přesnost. Jinými slovy, věříme, že si „všimneme“ více, než si skutečně všimneme.
Potíže se neomezují pouze na video. Hlasy naklonované umělou inteligencí – schopné napodobit barvu hlasu, přízvuk a pauzy člověka s pouhými několika sekundami původní nahrávky – stojí za rostoucím počtem telefonních podvodů a útoků na systémy ověřování hlasu. V některých zemích musely banky a orgány veřejné správy přehodnotit své biometrické ověřovací systémy, protože již nemohou předpokládat, že lidský hlas na druhém konci linky je zárukou totožnosti.
V této souvislosti je několik vlád a agentur začíná hýbat. V Evropě již obecné nařízení o ochraně osobních údajů (GDPR) a připravovaný zákon o digitálních službách (DSA) stanovují obecné rámce pro odpovědnost platforem a ochranu osobních údajů. Tato pravidla však zatím nepokrývají všechna specifická rizika syntetického obsahu a odborníci poukazují na potřebu konkrétnějších a koordinovanějších rámců pro atribuci a ověřování pravosti médií generovaných umělou inteligencí.
K těmto rámcům se přidává nedávno přijaté nařízení EU o umělé inteligenci (známé jako AI Act), které zavádí výslovné povinnosti pro generativní systémy AI. Mimo jiné vyžaduje, aby obsah generovaný nebo manipulovaný umělou inteligencí byl jako takový jasně označen a aby poskytovatelé modelů pro obecné účely přijali opatření k zabránění zneužití, včetně generování zavádějících deepfakes. Účinnost těchto pravidel však bude záviset na jejich praktickém provádění a spolupráci platforem, vývojářů a vnitrostátních orgánů.
Mimo Evropu zkoumají podobné cesty i další země. V USA některé státy přijaly zvláštní zákony proti používání deepfakes ve volebních kampaních nebo proti nesouhlasnému sexuálnímu obsahu, zatímco Čína zavedla předpisy, které vyžadují jasné označování syntetického obsahu a činí platformy odpovědnými za jeho šíření. Regulační mozaika je stále hustší, ale stále ještě zdaleka není ucelená a komplexní.
Kromě legislativy navrhují odborníci a organizace zabývající se digitálními právy trojí strategii: zaprvé začlenit technické požadavky na ověřování pravosti a označování původu digitálních médií, aby bylo možné sledovat a ověřovat jakýkoli obsah vytvořený umělou inteligencí. Za druhé, posílení detekčních nástrojů, které se především vyvíjejí rychlostí generátorů falešného obsahu, a za třetí, vytvoření systému „mediální gramotnosti“, abychom se mohli ptát a ověřovat informace dříve, než je budeme sdílet.
Po technické stránce již vznikají otevřené standardy, například Iniciativa pro autentičnost obsahu (Content Authenticity Initiative) a standard C2PA, jejichž cílem je přidávat k fotografiím, videím a audiozáznamům „metadata původu“: vložené informace uvádějící, kdo obsah vytvořil, jakým nástrojem a zda byl upraven. Jde o to, že v budoucnu budeme moci jedním kliknutím zkontrolovat, zda má fotografie politika podepisujícího dokument nebo zvukový záznam údajného tísňového volání ověřitelný původ, nebo je pouze produktem generátoru umělé inteligence.
Tato řešení však nejsou spolehlivá. Metadata mohou být odstraněna nebo zfalšována a vždy bude v oběhu obsah mimo oficiální kanály. Proto se detekční nástroje – rovněž založené na umělé inteligenci – staly klíčovou oblastí výzkumu. Technologické společnosti, univerzity a nezávislé laboratoře pracují na modelech schopných identifikovat jemné vzory v blikání, osvětlení, stínech nebo šumu na pozadí videa, které prozrazují jeho syntetický původ. Problémem je, že se jedná o závody ve zbrojení: každé zdokonalení detektorů nutí tvůrce deepfake zdokonalovat své techniky.
Třetí, z dlouhodobého hlediska možná nejdůležitější, je lidská fronta. Takzvaná „mediální gramotnost“ nespočívá jen v tom, že se naučíme používat internet, ale v tom, že si osvojíme jakýsi „digitální kritický smysl“: naučíme se dávat si pozor na příliš šokující obsah, hledat původní zdroj, křížově ověřovat různá média a používat ověřovací nástroje (reverzní vyhledávání obrázků, ověřování metadat, portály pro ověřování faktů). V některých zemích jsou již do škol a vzdělávacích programů pro dospělé zařazovány moduly mediální výchovy, neboť si uvědomují, že nejlepší obrana proti masovému klamání není jen technologická, ale i kulturní.
Organizace občanské společnosti a skupiny zabývající se digitálními právy zároveň varují před dalším rizikem: strach z deepfakes by mohl být využit jako záminka pro nadměrný dohled nebo pro omezení svobody projevu. Poukazují na to, že výzvou je najít rovnováhu mezi bojem proti zneužívání syntetického obsahu a zachováním legitimního a kreativního využití těchto technologií, které rovněž existuje: od filmu a videoher až po zpřístupnění (například obnovení hlasu člověka, který ho ztratil v důsledku nemoci) nebo zachování kulturního dědictví.
Deepfakes již nejsou technologickou kuriozitou, ale globálním podvodným průmyslem s ekonomickými, politickými a sociálními důsledky. Reakce se nemůže omezit na stíhání ojedinělých případů nebo spoléhání na to, že „my to chytíme“, když je něco falešné. Vyžaduje jasná pravidla, robustní nástroje a především občany připravené pohybovat se v prostředí, kde vidět a slyšet již není synonymem pravdy.
Deepfakes už nejsou jen zábava, ale skutečný celosvětový průmysl podvodů. Vidím, jak se z „řemesla podvodu“ stala montážní linka, kde se prodávají klonované hlasy a celé syntetické identity. I když oceňuji snahy Evropské unie s Aktem o AI a dalšími regulacemi, mám obavu, že jsme v neustálém závodu ve zbrojení. Zločinci zdokonalují své techniky rychleji, než dokážeme implementovat detekční nástroje nebo legislativu. Podle mého názoru nestačí jen zákony a technologie; klíčová je mediální gramotnost. Bez ní se v té záplavě podvrhů utopíme. Je potřeba komplexní strategie, jinak nám realita proklouzne mezi prsty.