Týdně více než milion uživatelů diskutuje s ChatGPT o sebevraždě či vážné psychické tísni. OpenAI reaguje zpřísněním protokolů a varuje před emocionální závislostí na AI. Otázka zní: kdy končí pomoc a začíná ohrožení?
Před několika měsíci společnost OpenAI odhalila, že každý týden používá ChatGPT více než 700 milionů lidí, což je číslo, které z konverzační služby této společnosti činí jeden z nejoblíbenějších nástrojů na světě. Nyní tato technologická firma obrátila pozornost na citlivější aspekt: podle jejích odhadů 0,15 % aktivních uživatelů týdně vede konverzace s indikátory sebevražedných úmyslů nebo plánování sebevraždy. Jinými slovy to znamená, že se jedná o více než milion lidí.
Společnost také uvádí, že podobné procento vykazuje vysokou citovou vazbu na ChatGPT, zatímco statisíce lidí vykazují v konverzacích s umělou inteligencí známky psychózy nebo mánie. Společnost OpenAI uvádí, že se jí proto podařilo zlepšit rozpoznávání příznaků, jako je úzkost, a zpřesnit odkazování na odbornou pomoc, čehož dosáhla díky přímému kontaktu s více než 170 odborníky na duševní zdraví, aby vyladila reakce i protokoly.
OpenAI data suggests 1 million users discuss suicide with ChatGPT weekly https://t.co/A7Yu7PamCK
— Ars Technica (@arstechnica) October 28, 2025
Podle společnosti je zásadní správné zacházení se zranitelnými uživateli, protože chatbot může díky své tendenci podbízet se uživateli posilovat nebezpečná přesvědčení. V souvislosti s několika případy sebevražd spojených s umělou inteligencí čelí společnost OpenAI žalobám a až 45 generálních prokurátorů amerických států požaduje větší ochranu mladých lidí. V důsledku toho firma vytvořila wellness radu, přidala rodičovskou kontrolu a vyvíjí systém předvídání věku, který má spustit přísnou ochranu.
V souladu s posledně jmenovaným odhalil test více než 1 000 složitých dialogů o duševním zdraví, že GPT-5 reagoval správně v 92 % případů, což je údaj, který ukazuje růst bota z 27 % před několika měsíci. Společnosti se tak podařilo zlepšit odolnost v dlouhých konverzacích, což je v tomto typu případů klíčový aspekt, protože uživatelé se sebevražednými sklony vedou s umělou inteligencí složité dialogy.
Sam Altman definuje budoucnost OpenAI
Společnost proto hodlá začlenit vyhodnocování emoční závislosti a nesuicidálních nouzových situací. Bude se přitom snažit měřit a zároveň zmírňovat psychologická rizika, která vznikají při každodenním používání chatbotů masovým publikem. Navzdory obavám z těchto konfliktů však Sam Altman 14. října oznámil, že umožní vést erotické konverzace s ověřenými dospělými uživateli.
Ačkoli Altman v srpnu prohlásil, že dbá na bezpečnost při používání nejpopulárnější umělé inteligence na trhu, zároveň prozradil, že od prosince bude možné vést erotické konverzace s ChatGPT. Sám Altman totiž připustil, že restriktivní zásady v oblasti duševního zdraví snižují užitečnost bezproblémových uživatelů, a proto se snaží vyvážit robustní ochranu s hodnotnými konverzačními zážitky, aniž by motivovali k poškozování.
V souvislosti s rostoucím spoléháním na nástroje umělé inteligence je důležité poznamenat, že používání chatbotů, jako je ChatGPT, v emocionálních krizových situacích není ojedinělým jevem. Ve skutečnosti dochází k nárůstu využívání technologií umělé inteligence k řešení problémů duševního zdraví, zejména v oblastech, kde je přístup k odborníkům na duševní zdraví omezený. Odborníci však varují, že ačkoli může být AI užitečným nástrojem, neměla by v kritických situacích nahrazovat lidský zásah.
Rostoucí emocionální interakce se stroji vyvolává etické a praktické otázky ohledně role umělé inteligence v našich životech: do jaké míry bychom měli strojům dovolit, aby se zapojily do tak osobních a citlivých aspektů naší existence? Odpověď na tuto otázku není jednoduchá a vyžaduje pečlivý a uvážený přístup vývojářů, regulačních orgánů i celé společnosti.
V konečném důsledku by mělo být cílem využívat technologie k doplnění, nikoliv k nahrazení lidské podpory. Umělá inteligence může být účinným nástrojem pro identifikaci a reakci na včasné varovné signály, ale kontakt s člověkem zůstává při léčbě složitých problémů duševního zdraví nenahraditelný.