Australská aktivistka čelila útokům s realistickými obrázky své smrti, vytvořenými pomocí AI. Nová éra kybernásilí ukazuje, jak snadno lze umělou inteligenci zneužít – a jak málo jsou na to digitální platformy připraveny.
Caitlin Roperová, australská aktivistka, je na internetovou toxicitu zvyklá už léta. Letos se však setkala s takovou mírou výhrůžek, že z toho měla trauma. Mezi zprávami, které dostávala, byly znepokojivě realistické obrázky, na nichž visí na oprátce nebo ji pohlcují plameny. Některé dokonce ukazovaly přesné detaily, například modré šaty s květinami, které skutečně vlastní.
Jak definovala v reportáži New York Times, „díky těmto drobným detailům to působí reálněji a svým způsobem jako jiný druh znásilnění. To může z fantazie udělat něco víc než jen fantazii“.
Umělá inteligence přináší mnoho dobrého, ale také zlo. Generativní technologie umožňuje napodobovat hlasy, vytvářet deepfakes bez souhlasu a produkovat násilný obsah, který může vypadat, že je cílený přímo na oběť.
Digitální hrozby tu byly odjakživa, ale nyní je jejich produkce snazší a přesvědčivější. V roce 2023 obdržel soudce na Floridě video, pravděpodobně vytvořené pomocí nástroje pro přizpůsobení postavy v hře Grand Theft Auto 5, v němž byl hacknut a zabit avatar, který vypadal jako on. Nedávno byly na kanálech YouTube identifikovány desítky hyperrealistických videí s napadenými ženami, z nichž mnohé byly zřejmě generovány umělou inteligencí. Tyto kanály byly zrušeny až poté, co je NYT kontaktoval s dotazem na tato videa.
Triviální záležitost
Donedávna digitální klonování lidí vyžadovalo spoustu veřejných snímků, a tak vznikaly sexuální deepfakes celebrit. Dnes stačí jediná fotografie. Totéž platí pro hlasy: to, co dříve vyžadovalo hodiny ukázek, lze dnes dosáhnout s méně než minutou záznamu.
deepfakes, and unauthorized pornography, and now it’s being used to make violent threats. One victim was Australian activist Caitlin Roper of Collective Shout. She received generated images of herself being executed or set on fire. In some photos, the AI even recreated her
2/6 pic.twitter.com/2fira2oya7— Artur Rehi (@ArturRehi) November 3, 2025
Podle výzkumu již byla aplikace OpenAI použita k vytvoření podrobných návodů k trestným činům. OpenAI tvrdí, že implementuje „ochranné zábrany“ a automatické moderační systémy. Stejně jako Alice Marwicková, ředitelka výzkumu ve společnosti Data & Society, to však nevidí stejně: domnívá se, že tato opatření lze snadno obejít.
Úloha digitálních platforem
Digitální platformy hrají při moderování obsahu zásadní roli. Jejich algoritmy a zásady moderování však často nejsou dostatečně robustní, aby zabránily šíření škodlivého obsahu. V případě Roperové platforma X (dříve známá jako Twitter) nejenže umožnila, aby některé obrázky zůstaly zachovány, ale její algoritmy šly tak daleko, že jí doporučily sledovat účty jeho obtěžovatelů. Takováto selhání moderace mohou mít pro oběti zničující důsledky.
Rostoucí hrozba technologií umělé inteligence využívaných ke zlým účelům upoutala pozornost vlád a organizací po celém světě. Některé země začínají zavádět přísnější předpisy týkající se používání AI, zejména pokud jde o vytváření falešného nebo škodlivého obsahu. Rychlý vývoj této technologie však představuje pro účinnou regulaci značnou výzvu.
Je velmi důležité, aby byli uživatelé i tvůrci technologií poučeni o rizicích spojených s AI. Informovanost o tom, jak mohou být tyto nástroje zneužity ke zlým účelům, je prvním zásadním krokem k prevenci jejich zneužití. Veřejné vzdělávací kampaně mohou pomoci informovat lidi o tom, jak se chránit na internetu a jak rozpoznat potenciálně škodlivý obsah.
Umělá inteligence má potenciál pozitivně proměnit mnoho aspektů našeho života, ale může být také zneužita ke škodě. Je odpovědností všech, od vývojářů technologií přes uživatele až po vlády, aby spolupracovali na zmírnění těchto rizik. Pouze společným úsilím můžeme zajistit, aby byla umělá inteligence využívána pro obecné dobro, a nikoliv pro zlo.