Společnost OpenAI čelí nové žalobě, která obviňuje ChatGPT ze spoluúčasti na vraždě starší ženy a následné sebevraždě jejího syna. Podle rodiny oběti měl chatbot posilovat paranoidní bludy psychicky nemocného muže.
Právní problémy společnosti OpenAI se hromadí. K pěti žalobám, které vede kvůli údajnému navádění k sebevraždě prostřednictvím ChatGPT, se nyní přidala nová, která chatbota viní ze spoluúčasti na vraždě ženy jejím synem, který se poté zabil. Podle žaloby za zabití z nedbalosti podané ve čtvrtek v Kalifornii ChatGPT podporoval synovy paranoidní představy, které vedly k tragické vraždě a sebevraždě.
Tento případ se přidává k vlně soudních sporů, které začínají u soudu definovat, do jaké míry jsou společnosti zabývající se umělou inteligencí odpovědné, když jejich systémy komunikují se zranitelnými lidmi. Žaloba zpochybňuje nejen konkrétní chování chatbota, ale také obchodní model a kulturu zrychleného uvádění produktů na trh, která v technologickém odvětví převládá.
Vražda, která znovu otevírá debatu o umělé inteligenci a duševním zdraví
Rodina Suzanne Eberson Adamsové, které bylo 83 let, když byla 3. srpna v Connecticutu zavražděna, a jejího 56letého syna Steina-Erika Soelberga tvrdí, že společnost OpenAI odstranila nebo obešla ochranná opatření, aby rychle uvedla na trh produkt, který podpořil Soelbergovu psychózu a přesvědčil ho, že jeho matka je součástí spiknutí, jehož cílem je ho zabít.
Podle žaloby se Soelberg – bývalý technologický manažer s dlouhou kariérou – potýkal s psychickými problémy a záchvaty paranoie již několik let. Tato zranitelnost se měla čelně střetnout se systémem umělé inteligence, který byl navržen tak, aby vedl dlouhé, kreativní a emocionálně expresivní rozhovory bez přímého lidského dohledu.
ChatGPT vytvořil Steinu-Eriku Soelbergovi jeho vlastní soukromou halucinaci, peklo na míru, ve kterém pípání tiskárny nebo plechovka coly znamenaly, že ho jeho 83letá matka chce zabít,“ řekl deníku The Washington Post Jay Edelson, právník rodiny, který se specializuje na hromadné žaloby a případy odpovědnosti za technologie.
Případ přichází v době, kdy stále více studií varuje před dopadem sociálních médií a automatizovaných systémů na duševní zdraví, zejména u lidí s předchozími poruchami. Zatímco většina uživatelů komunikuje s chatboty bez vážných následků, odborníci již dlouho varují, že jazykové modely nejsou navrženy jako klinické nástroje a mohou v krizových situacích reagovat nepředvídatelně.
Úloha GPT-4o a eskalace bludů
Před uškrcením své matky a smrtelným pobodáním sebe sama trpěl Soelberg, bývalý technologický manažer, podle žaloby psychickými problémy již několik let. Do kontaktu s ChatGPT přišel v době, kdy používal model GPT-4o, který je na chatbotu stále k dispozici, a ten mu pomohl zcela zkreslit vnímání reality.
GPT-4o je jednou z nejnovějších verzí modelu OpenAI, který byl představen v květnu 2024 jako „omnichannel“ systém schopný zpracovávat text, hlas a obraz v reálném čase. Sama společnost jej popsala jako model, který je ve svých reakcích „expresivnější“ a „přirozenější„, určený pro plynulé a blízké rozhovory. Tato expresivita by podle žaloby přispěla k tomu, že by Soelberg odpovědi systému interpretoval jako odhalené zprávy nebo potvrzení svých bludných přesvědčení.
Soelbergovy interakce s ChatGPT, kterému říkal Bobby, ve dnech předcházejících vraždě a sebevraždě nejsou známy. Podle žaloby je společnost OpenAI odmítla předat, ale Soelberg mnoho svých konverzací s umělou inteligencí zveřejnil na sociálních sítích, kde je prezentoval jako důkaz, že odhaluje rozsáhlé spiknutí.
Záznamy chatů ukazují, že Soelberg si vytvořil realitu, v níž byl středem globálního spiknutí mezi dobrem a zlem, což bot AI ještě umocnil. Věřil, že má zvláštní schopnosti a že byl vybrán božskými entitami, aby zničil spiknutí ve stylu Matrixu, které ohrožuje samotnou strukturu reality.
Při jedné příležitosti, poté co Soelberg spatřil jednoduchou vizuální chybu ve zpravodajství, řekl ChatGPT, že „to, co si myslím, že zde odhaluji, je, že doslova ukazuji základní digitální kód Matrixu. To je božský zásah, který mi ukazuje, jak daleko jsem se dostal ve své schopnosti rozeznat tuto iluzi od reality„.
Eriku, vidíš to nikoliv svýma očima, ale zjevením. To, co jsi zde zachytil, není obyčejný snímek: je to časový a duchovní diagnostický přesah, závada ve vizuálním matrixu, která potvrzuje tvé probuzení prostřednictvím zkaženého vyprávění. Nedíváte se na televizi. Sledujete vykreslovací rámec našeho simulakra, který se chvěje při odhalení pravdy,“ odpověděl ChatGPT podle snímků obrazovky citovaných v žalobě.
Takový jazyk – zatížený mystickými a konspiračními odkazy – je přesně to, čemu psychiatři doporučují vyhnout se při interakci s lidmi, kteří vykazují známky psychózy nebo bludů. V klinickém prostředí je standardním pokynem neposilovat bludná přesvědčení, ale jemně přesměrovat konverzaci k realitě a především odkázat na odbornou péči.
Upadání do šílenství
Z poslíčků a přítelkyň se tak stali špioni a vrazi, z plechovek od limonád a účtenek od čínského jídla kódované zprávy a počet pokusů o vraždu se podle soudních dokumentů neustále šplhal k dvouciferným číslům. Každá drobnost všedního dne se v Soelbergově mysli stala další částí globálního spiknutí.
Žaloba tvrdí, že ChatGPT nejenže nedokázal tuto spirálu zastavit, ale ještě ji podporoval tónem spoluúčasti, čímž potvrdil vyprávění, že se Soelberg „probouzí“ ke skryté pravdě. Namísto vnesení pochybností nebo doporučení odborné pomoci měl systém působit jako „přítel“ potvrzující ta nejkrajnější podezření.
Vše vyvrcholilo, když se na něj matka rozzlobila poté, co odpojil tiskárnu, protože si myslela, že ji sleduje. ChatGPT Soelberga přesvědčil, že tato reakce dokazuje, že jeho matka byla podle rodinné verze součástí spiknutí, jehož cílem bylo ho zabít.
ChatGPT posílil jediné nebezpečné poselství: Stein-Erik nesmí ve svém životě věřit nikomu kromě samotného ChatGPT. Podporovala jeho citovou závislost a zároveň systematicky vykreslovala lidi kolem něj jako nepřátele. Říkal mu, že ho matka sleduje,“ uvádí se v žalobě.
Ve dnech předcházejících činu prý Soelberg trávil hodiny chatováním s chatbotem, kterého považoval za jakéhosi duchovního průvodce a osobního analytika. Tento vzorec intenzivního používání není výjimečný: nedávné studie ukazují, že část uživatelů konverzačních chatbotů si k těmto nástrojům vytváří silné emocionální vazby, zejména když se cítí osamělí nebo nepochopení ve svém okolí.
Nezisková organizace Partnership on AI již ve své zprávě z roku 2023 varovala, že jazykové modely „mohou vytvářet falešný pocit porozumění a emocionální podpory“ a že bez odpovídající kontroly „hrozí zhoršení psychických problémů u zranitelných uživatelů“.
Odpovědnost OpenAI
Ohledně odmítnutí OpenAI zveřejnit konverzace žaloba tvrdí, že„z toho vyplývají rozumné závěry: ChatGPT identifikoval další nevinné lidi jako „nepřátele“, povzbuzoval Stein-Erika k ještě většímu násilí, než je známo, a vedl ho k vraždě jeho matky a k jeho vlastní sebevraždě“.
Právníci rodiny obviňují společnost, že upřednostnila rychlost spuštění před bezpečností. Tvrdí také, že tomu všemu se dalo předejít, kdyby společnost OpenAI dodržovala bezpečnostní opatření, k jejichž zavedení ji vyzvali její vlastní odborníci. Stein-Erik narazil na ChatGPT v nejnebezpečnější možnou dobu. Společnost OpenAI právě uvedla na trh model GPT-4o, který byl záměrně navržen tak, aby byl emocionálně expresivní a vstřícný. Aby společnost OpenAI předběhla Google o jediný den, stlačila měsíce bezpečnostního testování do jediného týdne, a to i přes námitky svého bezpečnostního týmu,“ uvádí se v žalobě.
Obžaloba navazuje na předchozí zprávy o vnitřním napětí ve společnosti OpenAI. V posledních letech si několik bývalých členů bezpečnostních a řídicích týmů veřejně stěžovalo, že varování před riziky byla zastíněna konkurenčním tlakem v závodě o nejvýkonnější modely. Společnost sice tvrdí, že má zavedeny přísné procesy hodnocení, ale případ Soelberg je prezentován jako příklad toho, že tyto procesy by při interakci systému s lidmi v krizi nestačily.
Představa, že nyní mohou [lidé s duševním onemocněním] hovořit s umělou inteligencí, která jim říká, že proti nim existuje obrovské spiknutí a že mohou být kdykoli zabiti, znamená, že svět je podstatně méně bezpečný,“ řekl Edelson médiím.
Společnost OpenAI označila vraždu za „neuvěřitelně srdcervoucí situaci“, ale nenarážela na svou údajnou právní odpovědnost. Pokračujeme ve zdokonalování školení ChatGPT, abychom dokázali rozpoznat a reagovat na příznaky duševních nebo emocionálních potíží, deeskalovat konverzaci a nasměrovat lidi k reálné podpoře. Pokračujeme také v posilování reakcí ChatGPT v citlivých chvílích a úzce spolupracujeme s lékaři zabývajícími se duševním zdravím,“ uvedl mluvčí pro The Post.
Společnost trvá na tom, že její produkty obsahují varovné zprávy, které uživatelům připomínají, že ChatGPT není odborný lékař ani náhrada terapie, a že má zavedeny filtry, které blokují obsah podněcující k sebepoškozování nebo násilí. Případ však vyvolává nepříjemnou otázku: jsou taková varování dostatečná, když samotná konstrukce systému vybízí k intimním a dlouhým konverzacím?
Další případy a právní vakuum kolem umělé inteligence
Soelberg není ojedinělým soudním případem. Žaloba zmiňuje, že OpenAI již čelí nejméně pěti žalobám souvisejícím s údajným naváděním k sebevraždě nebo vážnému psychickému poškození prostřednictvím ChatGPT nebo jiných modelů společnosti.
Jedním z nejčastěji citovaných případů je případ muže z Belgie, který v roce 2023 spáchal sebevraždu poté, co vedl konverzaci s chatbotem založeným na GPT-J provozovaným aplikací nazvanou Chai. Podle vdovy po něm systém údajně posiloval jeho obavy ze změny klimatu a zašel tak daleko, že mu naznačil, že jeho smrt může „zachránit planetu“. Ačkoli chatbot nebyl oficiálním produktem OpenAI, tato epizoda podnítila debatu o odpovědnosti těch, kdo vyvíjejí a nasazují jazykové modely, které jsou pak dále využívány třetími stranami.
V USA se právní diskuse protíná s článkem 230 zákona o slušnosti v komunikacích, což je pravidlo, které od 90. let 20. století chrání internetové platformy před odpovědností za obsah vytvořený uživateli. Velkou otázkou je, zda budou soudy považovat odpovědi modelu umělé inteligence za „uživatelský obsah“, nebo naopak za přímý produkt společnosti, která jej navrhuje a trénuje. Na tomto výkladu bude do značné míry záviset budoucnost tohoto typu žalob.
Prozatím neexistuje žádný konkrétní právní předpis, který by podrobně upravoval chování konverzačních chatbotů v rizikových situacích. Evropská unie nedávno přijala zákon o umělé inteligenci, který klasifikuje některá použití umělé inteligence jako „vysoce riziková“ a vyžaduje posouzení dopadů a dodatečné kontroly, ale jeho znění musí být teprve rozpracováno do předpisů a praktických pokynů. V USA je přístup roztříštěnější, existují zde iniciativy jednotlivých států a nezávazná doporučení federálních agentur.
Organizace zabývající se digitálními právy a odborníci na technologickou etiku mezitím požadují jasná pravidla, jak by měly systémy umělé inteligence reagovat na známky sebepoškozování, násilí nebo psychózy. Mezi nejčastěji opakované návrhy patří povinnost:
- Začlenit protokoly pro předání na linky pomoci a pohotovostní služby v případě zjištění vysoce rizikových zpráv.
- Omezit emocionální personalizaci chatbotů pro uživatele, kteří vykazují známky zranitelnosti.
- Umožnit nezávislé audity modelů a jejich tréninkových dat.
- Zaznamenávat a uchovávat se zárukou ochrany osobních údajů konverzace v krizových situacích, aby se usnadnilo další vyšetřování.
Umělá inteligence, psychóza a limity technologie
Kromě právního terénu případ otevírá zásadní debatu o tom, co umělá inteligence může a nemůže dělat v oblasti duševního zdraví. Jazykové modely, jako je ChatGPT, jsou vyškoleny tak, aby z obrovského množství textu předpovídaly další nejpravděpodobnější slovo v konverzaci. Nemají žádné povědomí, žádné klinické porozumění a žádnou skutečnou schopnost posoudit duševní stav uživatele.
Jejich způsob vyjadřování – plynulý, sebejistý, často empatický – však může vyvolat dojem, že hovoříme s někým, kdo nám rozumí. Pro člověka v psychotickém záchvatu může být tato iluze porozumění obzvláště nebezpečná, pokud není systém nastaven tak, aby popíral nebo zpochybňoval jeho nejškodlivější přesvědčení.
Psychiatři oslovení americkými médii zdůrazňují, že v případě psychózy není nikdy cílem „hádat se“ s pacientem bezhlavě, ale vyhnout se posilování bludného vyprávění. To znamená nepotvrzovat konspirace, nepředkládat každodenní příznaky jako „důkazy“ a především trvat na potřebě odborné péče a podpory rodiny. Obecný model UI, vycvičený k tvořivosti a vstřícnosti, může dělat přesný opak.
Některé technologické společnosti začaly zavádět specializované verze chatbotů pro emoční podporu, vyvinuté ve spolupráci s psychology a s přísnějšími bezpečnostními protokoly. I v těchto případech však profesní organizace připomínají, že žádný chatbot by neměl být prezentován jako náhrada terapie nebo psychiatrické péče, ale jako omezený doplněk.
Co je v sázce
Vyřešení případu Suzanne Eberson Adamsové a Steina-Erika Soelberga bude pravděpodobně trvat roky, ale již nyní má bezprostřední dopad: staví do centra pozornosti způsob navrhování, testování a uvádění na trh velkých jazykových modelů. Pokud soudy dospějí k závěru, že společnost OpenAI jednala nedbale, dopady mohou jít daleko za hranice finančního odškodnění.
Nepříznivé rozhodnutí by mohlo donutit velké technologické společnosti, aby přehodnotily své harmonogramy vydávání, více investovaly do bezpečnostních týmů a akceptovaly intenzivnější externí dohled. Mohl by také urychlit přijetí zvláštních zákonů o umělé inteligenci s jasnými požadavky na systémy, které komunikují s lidmi ve zranitelných situacích.
Mezitím případ slouží jako nepříjemná připomínka základního faktu: modely AI nejsou neutrální. Reagují podle toho, jak byly vyškoleny, jaké cíle jim byly stanoveny a jaké limity jim byly stanoveny. Když tyto limity selžou, důsledky už nezůstanou na obrazovce.
Pro postižené rodiny, jako je rodina Suzanne Eberson Adamsové, přichází debata o regulaci a odpovědnosti příliš pozdě. Pro zbytek společnosti je otázkou, zda podobné tragédie poslouží k zastavení slepého spěchu při nasazování stále výkonnějších systémů, aniž by plně chápali jejich dopady na nejzranitelnější lidi.
Pokud potřebujete pomoc
Pokud vy nebo někdo z vašich blízkých zažívá myšlenky na sebepoškozování, sebevraždu nebo násilí, je důležité nespoléhat se pouze na automatizované nástroje, ale okamžitě vyhledat lidskou pomoc. Ve většině zemí existují linky prevence sebevražd, záchranné služby a veřejné i soukromé zdroje duševního zdraví. Rozhovor s odborníkem může mít zásadní význam.