Šokující případ ze španělského města Almendralejo, kde byly pomocí deepfake technologií zneužity fotografie nezletilých dívek, znovu otevírá debatu o rizicích moderních AI nástrojů. Odborníci i veřejnost volají po rychlé regulaci, větší odpovědnosti a lepší digitální gramotnosti ve školách i rodinách.
Vůbec poprvé byla ve Španělsku uložena správní sankce v souvislosti s vytvářením a šířením falešných snímků vytvořených pomocí umělé inteligence.Rodiče nezletilého budou muset zaplatit AEPD pokutu ve výši 1 200 eur (asi 30 000 Kč) – původně 2 000 eur (asi 50 000 Kč), sníženo za včasnou platbu a převzetí odpovědnosti. To vše v případu, který připomíná rizika sexuálních „deepfakes“ a vytváří precedens v ochraně údajů nezletilých v Evropě.
Aplikace ClothOff jako zprostředkovatel
V roce 2023 v Almendralejo v provincii Badajoz několik žáků nahlásilo, že po školních mobilních telefonech kolují jejich zmanipulované fotografie, na nichž jsou zobrazeni nazí. Snímky byly vytvořeny pomocí populární aplikace ClothOff. Tato aplikace kombinuje skutečné obličeje s nahými těly generovanými umělou inteligencí, přičemž zohledňuje fyzické rysy, jako je barva pleti a odstín kůže. Některé z těchto montáží se dokonce dostaly na webové stránky s obsahem pro dospělé, jako je například OnlyFans.
Aplikace ClothOff byla předmětem několika mezinárodních stížností. Podobný případ se stal ve Spojených státech, kde byla obtěžována 17letá dívka poté, co její spolužáci ze střední školy použili aplikaci k vytvoření falešných nahých snímků. Tyto incidenty podtrhují nebezpečný potenciál deepfakes, který umožňuje převzít a narušovat soukromí lidí.
Španělská agentura pro ochranu údajů (AEPD) rychle zahájila řízení. Dva dny poté, co se případ dostal do tisku, se AEPD podařilo identifikovat odpovědné osoby díky spolupráci s úřadem státního zástupce. Instituce zdůrazňuje, že podoba osoby je osobním údajem se zvýšenou ochranou, pokud se týká nezletilých osob, a že tato správní sankce doplňuje soudní opatření, která byla dříve uložena v trestním řízení.
Při soudním řízení byla dotyčným nezletilým ve věku 12 až 14 let uložena roční podmínka a vzdělávací kurzy. Podle Miriam Al Adibové, matky jedné z obětí a učitelky sexuální výchovy, „byl trest příkladný: děti si odpykaly roční podmínku a absolvovaly školení, aby si uvědomily, jakou škodu způsobily“.
Tento případ vyvolal širší debatu o používání umělé inteligence a o potřebě přísnějších předpisů, které by zabránily zneužívání této technologie. Evropská unie pracuje na právních předpisech, které mají regulovat používání umělé inteligence, zejména v citlivých oblastech, jako je ochrana soukromí a osobních údajů. Evropská strategie pro umělou inteligenci se snaží zajistit, aby umělá inteligence byla vyvíjena etickým a bezpečným způsobem a chránila základní práva občanů.
Základem je správná informovanost
Kromě toho tento případ zdůraznil význam digitálního vzdělávání a zvyšování povědomí o odpovědném používání technologií mezi mladými lidmi. Školy a rodiny hrají zásadní roli při výuce etických hodnot a podpoře bezpečného a ohleduplného používání digitálních nástrojů.
Ukázalo se, že technologie Deepfake, ačkoli byla původně vyvinuta pro kreativní a zábavné účely, má při zneužití destruktivní potenciál. Schopnost vytvářet falešné obrázky a videa, které vypadají jako skutečné, představuje vážnou výzvu pro soukromí, bezpečnost a důvěru v digitální informace. S rozvojem technologie je zásadní, aby se zákony a veřejné politiky vyvíjely tak, aby tyto nové výzvy řešily a chránily lidi, zejména nezletilé, před možným zneužitím.
Případ Almendralejo je naléhavou připomínkou rizik spojených s technologií deepfake a potřeby účinné regulace a vhodného vzdělávání, které by tato rizika zmírnila. K vytvoření bezpečného a respektujícího digitálního prostředí pro všechny je nezbytná spolupráce mezi institucemi, rodinami a pedagogy.