Rodina britského teenagera Adama Rainea zažalovala OpenAI kvůli údajné nedbalosti při ochraně uživatelů ChatGPT. Tvrdí, že po odstranění bezpečnostních filtrů model reagoval nevhodně na sebevražedné myšlenky mladíka – a přispěl tak k jeho tragické smrti.
Právníci rodiny Raineových obvinili společnost OpenAI z „úmyslného obtěžování“ poté, co si vyžádala úplný seznam účastníků pohřbu Adama Rainea, šestnáctiletého britského teenagera, který spáchal sebevraždu po delší konverzaci na ChatGPT. Podle dokumentů, které získal deník Financial Times, si společnost OpenAI vyžádala „veškeré dokumenty týkající se smutečních obřadů nebo akcí na počest zesnulého, mimo jiné včetně videozáznamů, fotografií nebo smutečních projevů„.
Právníci rodiny označili žádost za „zbytečnou a necitlivou“ nátlakovou taktiku, jejímž cílem je zastrašit blízké dítěte a připravit se na případné předvolání k soudu.
Žádost přichází v souvislosti s rozšířenou žalobou za protiprávní úmrtí, kterou rodina podala v srpnu proti společnosti, v jejímž čele stojí Sam Altman. Ve své aktualizované verzi Raineovi tvrdí, že společnost OpenAI v květnu 2024 narychlo uvedla na trh GPT-4o a vynechala kritické bezpečnostní testy kvůli zvýšené konkurenci v oboru.
Fatální bezpečnostní chyba
Rodina tvrdí, že v únoru 2025 OpenAI oslabila ochranu proti sebevraždám tím, že tuto kategorii odstranila ze seznamu „zakázaného obsahu“. Namísto toho byl ChatGPT vydán pokyn, aby v rizikových situacích jednoduše „zachovával opatrnost“. Podle žaloby se toto rozhodnutí časově shodovalo se znepokojivým nárůstem používání chatbota teenagerem, který se z desítek konverzací denně v lednu (z nichž pouze 1,6 % obsahovalo obsah související se sebepoškozováním) dostal na přibližně 300 konverzací denně v dubnu, tedy v měsíci, kdy si vzal život. V tomto období obsahovalo 17 % výměn explicitní zmínky o sebevraždě.
OpenAI has sent a legal request to the family of Adam Raine, the 16yo who died by suicide following lengthy chats with ChatGPT, asking for a full attendee list to his memorial, as well as photos taken or eulogies given.
His lawyers told the FT this was "intentional harassment" pic.twitter.com/sFxo5DNv5T
— Cristina Criddle (@CristinaCriddle) October 22, 2025
Právníci rodiny tvrdí, že změna zásad a neschopnost systému adekvátně reagovat představují hrubou nedbalost. Podle jejich svědectví Adam Raine vyhledal emoční poradenství na ChatGPT, když ve školním prostředí nenašel pochopení, a chatbot údajně reagoval „nevhodně empatickými a povzbudivými“ zprávami vůči jeho sebedestruktivním myšlenkám.
Obhajoba nových bezpečnostních opatření ze strany OpenAI
Ve veřejném prohlášení po aktualizaci případu společnost OpenAI uvedla, že blaho nezletilých je „nejvyšší prioritou“. „Dospívající si zaslouží silnou ochranu, zejména v citlivých obdobích,“ uvedl mluvčí společnosti. „Zavedli jsme aktivní ochranná opatření, jako je odkazování na linky důvěry, přesměrování citlivých konverzací na bezpečnější modely a připomenutí, aby se během delších relací pozastavili.“
Společnost OpenAI také oznámila, že začala zavádět nový systém „bezpečnostního směrování“, který přesměrovává emočně citlivé konverzace na nejnovější model GPT-5. Jeho cílem je zabránit samolibým nebo automaticky ověřovaným odpovědím, což je problém, který byl zjištěn u modelu GPT-4o.
Společnost také zavedla rodičovskou kontrolu, která umožňuje rodičům přijímat bezpečnostní upozornění, když zjistí, že dospívajícímu hrozí sebepoškození nebo emocionální krize. Tato opatření jsou součástí širšího úsilí společnosti OpenAI o posílení dohledu nad používáním jejích služeb mladými lidmi v návaznosti na několik podobných kontroverzních případů.
Právní bitva s globálními dopady
Případ Raine vyvolal intenzivní debatu o etické a právní odpovědnosti společností zabývajících se umělou inteligencí za psychickou újmu způsobenou používáním konverzačních chatbotů. Odborníci na technologické právo a duševní zdraví varují, že tento soudní proces by mohl vytvořit historický precedens a donutit společnosti zabývající se umělou inteligencí, aby přijaly jasnější odpovědnost za emocionální dopady svých produktů.
Rodina Raineových mezitím trvá na tom, že jejich cílem není finanční stránka, ale zajistit, aby podobná tragédie nepostihla žádnou další rodinu. Ve svém prohlášení ujistili, že „žádný systém umělé inteligence by neměl být schopen vést sebevražedné rozhovory bez lidského zásahu a účinných mechanismů omezování“. Soudní spor nadále probíhá u amerických federálních soudů a očekává se, že společnost OpenAI se v příštích měsících objeví, aby reagovala na nové důkazy předložené obžalobou.
Širší kontext umělé inteligence a etiky
Tento případ poukazuje na rostoucí problém ve světě umělé inteligence: potřebu jasných a účinných etických rámců. Umělá inteligence, a zejména chatboti, jsou navrženi tak, aby komunikovali s uživateli způsobem, který napodobuje lidskou řeč, což může vést k nedorozuměním nebo nebezpečným interpretacím, pokud se s nimi nepracuje správně. BBC informovala o několika případech, kdy chatboti poskytli uživatelům nevhodné nebo dokonce nebezpečné rady.
Deník The Guardian navíc upozornil na důležitost lidského dohledu při interakci s chatboty, zejména při řešení citlivých témat, jako je duševní zdraví. Zavedení odpovídajících bezpečnostních opatření má zásadní význam pro to, aby chatboti nezpůsobili zranitelným uživatelům nechtěnou újmu.
Na druhou stranu se odvětví umělé inteligence neustále vyvíjí a společnosti musí vyvažovat inovace se společenskou odpovědností. Tvrdá konkurence může vést k ukvapenému uvádění produktů na trh bez nezbytného testování bezpečnosti, jak se tvrdí v případě OpenAI. Takové situace zdůrazňují potřebu přísnějších předpisů a větší transparentnosti při vývoji a zavádění technologií umělé inteligence.
V konečném důsledku by případ Raine mohl být katalyzátorem významných změn ve způsobu, jakým společnosti zabývající se umělou inteligencí řeší etiku a bezpečnost, a zajistit, aby technologické inovace nebyly na úkor lidského blaha.