Umělá inteligence Grok, integrovaná do platformy X Elona Muska, čelí tvrdé kritice kvůli zneužívání k vytváření sexualizovaných obrázků skutečných lidí bez jejich souhlasu. Navzdory deklarovaným omezením zůstává hranice mezi povoleným obsahem a digitálním útokem na soukromí nebezpečně rozostřená.
Umělá inteligence Grok, vyvinutá sociální sítí X a nasazená na této platformě vlastněné Elonem Muskem, se v posledních dnech z kuriózního nástroje pro generování textů a obrázků stala jedním z nejžhavějších právních a etických témat současných technologií. Důvod: uživatelé využívají Grok k vytváření, manipulaci a sdílení explicitních snímků jiných osob bez jejich souhlasu, včetně sexualizovaných zobrazení žen a nezletilých.
Stejně jako jiné umělé inteligence, i Grok v sobě integruje možnosti generování a úpravy obrázků. Teoreticky ji uživatelé mohou požádat, aby upravila nebo vygenerovala grafické znázornění, například pro ilustraci příběhu nebo vizualizaci konceptu. V praxi podle četných zpráv někteří uživatelé nástroj zneužili k „digitálnímu svlékání“ fotografií skutečných osob a generování explicitního materiálu bez souhlasu, což Grok na rozdíl od Gemini nebo ChatGPT umožňuje nebo alespoň umožňoval s mnohem menšími třenicemi. Několik analytiků ukázalo, jak lze s drobnými obměnami příkazů získat sexualizované snímky skutečných lidí, včetně veřejných osobností, což spustilo poplašné signály regulačních orgánů.
Spor o Grok nevznikl ve vzduchoprázdnu. V posledních letech došlo k explozi používání nástrojů „digitální nahoty“ a sexuálních deepfakes. Zpráva neziskové organizace Sensity AI již v roce 2019 upozornila, že 96 % deepfakes zjištěných na internetu mělo pornografickou povahu a týkalo se převážně žen, z nichž mnohé neměly žádnou předchozí veřejnou aktivitu. Od té doby se tato technologie zlevnila, zjednodušila a integrovala do rozhraní tak přístupných, jako je chat na sociální síti, což znásobilo potenciál škod.
Zpočátku sociální síť tvrdila, že konečnou odpovědnost za obsah nese uživatel, který jej vytváří, a že umělá inteligence je naprogramována tak, aby nezákonné žádosti odmítala. Tváří v tvář kontroverzím a kritice ze strany regulačních orgánů, bezpečnostních expertů a organizací zabývajících se digitálními právy však Grok geograficky omezil možnost generovat nebo upravovat explicitní snímky v zemích, kde je takové použití nezákonné, a omezil některé funkce i pro placené předplatitele. Ne však příliš. Struktura X, která integruje Grok do prostředí platformy, znamená, že jakékoli selhání moderace se okamžitě promítne do potenciálně virálního obsahu.
V prohlášení sociální sítě nechává Elon Musk více prostoru pro pochybnosti než pro jistotu: „Zavedli jsme technologická opatření, abychom zabránili Groku úpravy snímků skutečných lidí v odhalujícím oblečení, například v bikinách. Toto omezení se týká všech uživatelů, včetně placených předplatitelů – to je dobře, ale prohlášení pokračuje. Kromě toho je vytváření a úprava obrázků prostřednictvím účtu Grok na platformě X nyní dostupná pouze pro placené předplatitele (…). To nic nemění na našem současném bezpečnostním protokolu, který říká, že všechny podněty a obsah vytvářený umělou inteligencí zveřejněné na platformě X musí být v přísném souladu s našimi pravidly X.“ A problém je v tom, že mezi těmito pravidly je prozatím povolena nahota.
To znamená, že společnost X tvrdí, že zavedla „technologické bariéry“, aby zabránila společnosti Grok upravovat snímky skutečných lidí v odhaleném oblečení, ale zároveň zachovává zásady obsahu, v nichž je dobrovolná nahota na platformě nadále legální. Hranice mezi „povolenou nahotou“ a „nahotou generovanou bez souhlasu“ je tak nebezpečně rozmazaná. A především se na uživatele přesouvá břemeno prokázání, že byl obrázek zmanipulován, což je stále obtížnější, když nástroje umělé inteligence generují velmi věrohodné výsledky.
Zmatek se zvyšuje, pokud porovnáme postoj společnosti X s postojem dalších významných hráčů v tomto odvětví. Například společnost OpenAI výslovně zakazuje používání nástroje DALL-E k vytváření sexualizovaných obrazů skutečných osob a zavedla filtry, které v mnoha kontextech zabraňují generování dokonce i fiktivní nahoty. Společnost Google oznámila podobná omezení v Gemini, zejména pokud jde o nezletilé a veřejné osoby. Společnost Meta mezitím začala na Facebooku a Instagramu označovat obsah generovaný umělou inteligencí a slíbila mechanismy pro odhalování a označování deepfakes, i když jejich skutečná účinnost se teprve ukáže. Společnost X naproti tomu zvolila laxnější přístup a spoléhá na „svobodu projevu“ a individuální odpovědnost uživatelů.
To vše přichází v době, kdy je samotná společnost X pod drobnohledem kvůli snižování počtu svých týmů pro moderování obsahu a důvěryhodnost a bezpečnost. Od Muskova nákupu platformy různé zprávy poukazují na nárůst nenávistného obsahu, dezinformací a problematických materiálů. Když se k tomu přidá generativní umělá inteligence se schopností vytvářet sexualizované obrázky skutečných lidí, je to přinejmenším recept na právní a reputační konflikt.
— Safety (@Safety) January 14, 2026
Tento přístup vychází ze stávajícího rámce ochrany osobních údajů a práv k obrazu. Obecné nařízení EU o ochraně osobních údajů (GDPR) považuje podobiznu člověka za osobní údaj a její zpracování bez platného právního základu (např. souhlasu) může být sankcionováno. Španělská agentura pro ochranu údajů (AEPD) několikrát připomněla, že nahrávání nebo sdílení sexualizovaných snímků, a to i vytvořených pomocí umělé inteligence, může představovat nezákonné zpracování osobních údajů, zejména pokud jsou spojeny s identifikovatelnou osobou, a otevírá dveře správním pokutám a občanskoprávním závazkům.
Zvažují se také reformy občanského i trestního práva, které by trestně postihovaly (se sankcí od jednoho do dvou let odnětí svobody v závažných případech) neoprávněné vytváření a šíření deepfakes, které simulují sexualizované nebo vážně ponižující situace. Cílem těchto reforem je aktualizovat právní systém, který dosud pocházel z roku 1982 a nezohledňoval současné technologie digitální manipulace. Jde o to, že není nutné, aby předem existoval „skutečný“ snímek: pouhé vytvoření věrohodné montáže, která uvádí osobu do sexuálního nebo ponižujícího kontextu, bez jejího souhlasu může být trestně stíháno.
Španělsko není v tomto hnutí osamoceno. Nařízení EU o umělé inteligenci (AI Act), přijaté v roce 2024, zavádí konkrétní povinnosti pro systémy umělé inteligence pro obecné účely a pro poskytovatele generativních modelů. Mimo jiné vyžaduje, aby obsah generovaný umělou inteligencí byl jako takový jasně označen a aby byla přijata opatření, která zabrání nezákonnému použití, včetně těch, která porušují základní práva, jako je důstojnost, soukromí nebo zákaz diskriminace. Ačkoli zákon o umělé inteligenci deepfakes přímo nezakazuje, vyžaduje větší transparentnost a robustnější kontrolní systémy, což budou muset platformy jako X vzít na vědomí, pokud chtějí působit na evropském trhu.
V ostatních zemích je reakce na tuto problematiku roztříštěnější, ale stejně významná. Ve Spojených státech přijalo několik států – například Kalifornie, Texas a Virginie – zvláštní zákony proti deepfakes pro účely sexuální nebo politické dezinformace. Některá z těchto pravidel umožňují obětem žalovat o náhradu škody, a to i v případě, že byl obsah šířen anonymně, a zavazují platformy, aby materiál odstranily ve velmi krátké době poté, co jim byl oznámen. Jižní Korea a Japonsko také začaly přijímat právní předpisy proti syntetické pornografii bez souhlasu, a to v návaznosti na výrazný nárůst případů týkajících se mladých žen a nezletilých.
Jednou z nejsložitějších otázek je: kdo nese odpovědnost, když umělá inteligence vytváří škodlivý obsah? Technologické společnosti často argumentují tím, že uživatelé, kteří zadávají podněty, jsou odpovědní za jejich používání a že platforma je dodržuje tím, že po upozornění odstraní nezákonný obsah. Španělské orgány však upozornily, že nahrávání nebo sdílení sexualizovaných snímků, a to i těch, které generuje umělá inteligence, může představovat nezákonné zpracování osobních údajů a případně i trestný čin, pokud existují přitěžující okolnosti, jako je záměr ponižovat nebo vydírat.
Odpovědnost totiž začíná být chápána jako sdílená. Na jedné straně může být uživatel, který obsah vytváří nebo šíří, pohnán k občanskoprávní a trestněprávní odpovědnosti. Na druhé straně se platforma, která nabízí nástroj a hostí výsledek, nemůže donekonečna schovávat za argument, že je pouhým „neutrálním zprostředkovatelem“. Zákon EU o digitálních službách již velkým platformám ukládá zvýšené povinnosti hloubkové kontroly: musí posuzovat systémová rizika svých služeb (včetně rizik vyplývajících z umělé inteligence), zavést účinné mechanismy moderace a podrobit se nezávislým auditům. Opakované ignorování zneužití nástroje, jako je Grok, by v tomto kontextu mohlo být vykládáno jako nedostatečná náležitá péče.
Samotná povaha modelů umělé inteligence navíc vyvolává další otázku: co se stane, když byl model vycvičen na základě snímků získaných bez souhlasu nebo bez respektování autorských práv? Několik umělců, fotografů a médií zažalovalo společnosti zabývající se umělou inteligencí za to, že bez svolení použily jejich díla v trénovacích souborech dat. Přidáme-li k tomu skutečnost, že výstup modelu je používán k narušení soukromí jednotlivců, právní koktejl se ještě více zkomplikuje: mohli bychom se dívat na řetězec porušení, který začíná tréninkem a končí masovým šířením škodlivého obsahu.
V této souvislosti se regulační úsilí snaží nejen chránit potenciální oběti, které mohou utrpět psychickou a sociální újmu v důsledku šíření obrázků bez souhlasu, ale také poskytnout platformám jasné mechanismy pro odhalování, označování a v případě potřeby odmítání nebo blokování nezákonného obsahu generovaného umělou inteligencí. Asi nejlogičtější (a nejobtížnější) bude zabránit jejich vytváření. Je na to už pozdě?
Z technického hlediska je úplné zabránění umělé inteligenci v generování sexualizovaného obsahu skutečných lidí nesmírně složité. Současné modely pracují na základě statistických vzorců naučených z milionů obrázků a zablokování veškerého zneužití vyžaduje kombinaci filtrů na vstupu (co uživatel požaduje), na výstupu (co model generuje) a stále více i na samotném návrhu modelu. Některé společnosti experimentují s vodoznaky (neviditelnými vodoznaky), které mohou identifikovat, zda byl obrázek vygenerován umělou inteligencí, nebo se systémy pro hloubkovou detekci padělků na bázi umělé inteligence, které analyzují jemné rysy obrázků. Žádné z těchto řešení však není spolehlivé a závod mezi těmi, kdo vytvářejí nástroje pro zneužití, a těmi, kdo se jim v tom snaží zabránit, probíhá neustále.
Souběžně s tím organizace zabývající se digitálními právy a odborníci na technologickou etiku trvají na tom, že řešení nemůže být pouze technické. Vyzývají k větší transparentnosti, pokud jde o způsob školení a konfiguraci modelů, jako je Grok, k rychlým a dostupným mechanismům pro nahlašování obětí a k jasným povinnostem v oblasti nápravy– od rychlého odstranění obsahu až po psychologickou a právní podporu. Diskutuje se také o tom, zda by mělo existovat „právo na syntetické vymazání“: možnost požadovat, aby model přestal generovat snímky spojené s konkrétní osobou, což je dnes technicky velmi obtížné, ale začíná se o tom diskutovat na akademických a regulačních fórech.
Mezitím je poselství vyslané rozhodnutími, jako je tomu u X s Grokem, nejednoznačné: jsou oznámena omezení, ale obchodní model, který podporuje intenzivní využívání umělé inteligence, a obsahová politika, která toleruje nahotu, pokud nepřekračuje určité, často špatně definované hranice, zůstávají zachovány. V praxi to znamená, že hranice mezi legitimní kreativitou a zneužitím bude nadále zkoumána, často na úkor soukromí a důstojnosti lidí, kteří nikdy nedali souhlas k tomu, aby se stali materiálem pro experimenty s UI.
Možná už nejde jen o to, zda je pozdě zabránit těmto nástrojům ve vytváření škodlivých snímků, ale zda jsme ochotni přijmout, že ochrana soukromí a souhlasu má svou cenu: méně funkcí, více filtrů, více tření a především méně prostoru pro platformy, jako je X, aby se mohly schovávat za nejednoznačnost. Protože s rozvojem technologií se skutečně nepřijatelným nestává to, že to umělá inteligence dokáže, ale to, že jí to nadále umožňujeme bez jasných pravidel.