AI souhrny ve vyhledávání Google poskytují lékařské informace bez zřetelných varování o možných chybách, čímž podle odborníků ohrožují uživatele. Kritici varují, že právě v oblastech jako zdraví může působivá, ale chybná odpověď napáchat skutečnou škodu.
Spolehlivost odpovědí poskytovaných chatboty s umělou inteligencí je předmětem debat od exploze, kterou koncem roku 2022 zahájila společnost ChatGPT. Všechny obsahují bezpečnostní upozornění, která naznačují, že se mohou dopustit chyb, ale kvůli pohodlí, které nabízejí, se používají, jako by neexistovaly. Tyto chyby však mohou být kritické při řešení důležitých témat, jako jsou například otázky týkající se zdraví. Podle výzkumu deníku The Guardian skrývají přehledy umělé inteligence v lékařských konzultacích bezpečnostní varování, dokud uživatel neklikne na tlačítko „Zobrazit více“. To znamená, že se nezobrazují v úvodní odpovědi, kterou poskytuje Google.
A nejen to, když se zobrazí po kliknutí na tlačítko, zobrazují se pod lékařskými informacemi a menším písmem, což usnadňuje jejich nepovšimnutí.
Toto slouží pouze pro informační účely. Lékařskou radu nebo diagnózu konzultujte s odborníkem. „Odpovědi umělé inteligence mohou obsahovat chyby,“ může si uživatel přečíst na konci celé odpovědi vyhledávače Google. Pokud se tak daleko dostal.
V odpovědi na otázky britského média společnost Google vysvětluje, že „je nepřesné naznačovat, že souhrny AI nenabádají lidi, aby vyhledali odbornou lékařskou pomoc“ a že „budou informovat lidi, kdy je důležité vyhledat odbornou radu nebo ověřit předložené informace“. Často se také v samotném souhrnu zmiňují o vhodnosti vyhledání lékařské pomoci „je-li to vhodné“.
Podle odborníků oslovených médii však toto „v případě potřeby“ nemusí být zdaleka nezbytné. Pat Pataranutaporn, odborný asistent, technolog, výzkumný pracovník Massachusettského technologického institutu (MIT) a světově uznávaný odborník na umělou inteligenci, říká, že „absence varování, když jsou uživatelům zpočátku podávány lékařské informace, vytváří několik kritických nebezpečí“. Zaprvé, i ty nejpokročilejší modely umělé inteligence dnes stále šíří dezinformace nebo vykazují samolibé chování a upřednostňují spokojenost uživatele před přesností. V kontextu zdravotní péče to může být skutečně nebezpečné. Za druhé, problém nespočívá pouze v omezeních umělé inteligence: je zde také lidská stránka rovnice. Uživatelé nemusí poskytnout všechny potřebné souvislosti nebo mohou klást nesprávné otázky tím, že si špatně vyloží své příznaky. Varování fungují jako klíčový bod zásahu. Narušují tuto automatickou důvěru a nutí uživatele, aby se k informacím, které dostávají, stavěli kritičtěji.
Gina Neffová, profesorka AI odpovědná za AI na Queen Mary University of London, upozorňuje, že „problém špatných souhrnů AI je záměrný. Souhrny AI jsou navrženy pro rychlost, nikoliv pro přesnost, a to vede k chybám ve zdravotních informacích, které mohou být nebezpečné.“
Navazuje to na výzkum, který v lednu zveřejnil deník The Guardian a který ukázal, že uživatelům hrozí, že v odpovědích AI ve vyhledávání budou dostávat nepravdivé a zavádějící informace o zdraví. Neffová v této souvislosti argumentuje, proč je nezbytné, aby bezpečnostní varování byla pro uživatele viditelná: „Google nutí lidi, aby museli kliknout, než najdou nějaké varování. Rychlí čtenáři si mohou myslet, že informace, které dostávají ze souhrnů AI, jsou lepší, než jsou, ale víme, že se mohou dopustit závažných chyb.“ V návaznosti na tuto informaci společnost Google stáhla odpovědi generované umělou inteligencí u některých lékařských dotazů.
"the AI summary changed when we did the exact same search, coming up with a different response each that pulled from different sources".
— Dorothea Baur (Dr.) (@DorotheaBaur) January 8, 2026
Google's conflation of search & LLMs is fatal. Either you search or you generate. https://t.co/vogoY0A8NF
Sonali Sharma, výzkumná pracovnice centra AI in Medicine and Imaging (AIMI) na Stanfordově univerzitě, pro deník The Guardian uvedla, že „hlavní problém spočívá v tom, že se tyto souhrny umělé inteligence společnosti Google zobrazují v horní části vyhledávací stránky a často poskytují něco, co vypadá jako úplná odpověď na otázku uživatele v době, kdy se lidé snaží dostat k informacím a získat odpověď co nejrychleji.“ Protože se toto jediné shrnutí zobrazí okamžitě, u mnoha lidí v podstatě vytváří pocit jistoty, který odrazuje od dalšího hledání nebo procházení celého shrnutí a kliknutí na „Zobrazit více“, kde se může objevit varování. „Co podle mého názoru může v reálném světě způsobit škodu, je skutečnost, že souhrny AI mohou často obsahovat částečně správné a částečně nesprávné informace a je velmi obtížné rozlišit, co je přesné a co ne, pokud již nejste s daným tématem obeznámeni.“
Tom Bishop, vedoucí oddělení pro informování pacientů v charitativní organizaci Anthony Nolan, která se zabývá rakovinou krve, kritizuje Google: „Víme, že dezinformace jsou skutečným problémem, ale pokud jde o dezinformace týkající se zdraví, jsou potenciálně velmi nebezpečné. Toto upozornění by mělo být mnohem viditelnější, aby se lidé zastavili a zamysleli se: Je to něco, co si mám raději ověřit u svého lékařského týmu, než abych jednal? Mohu to přijmout tak, jak to je, nebo se na to opravdu musím podívat podrobněji a zjistit, jak to souvisí s mou konkrétní zdravotní situací? Protože to je zde klíčové. Rád bych, aby toto upozornění bylo hned na začátku. Chtěl bych, aby to byla první věc, kterou uvidíte. A v ideálním případě by mělo mít stejnou velikost písma jako všechno ostatní, na co se tam díváte, ne něco malého a snadno přehlédnutelného.“
Debata o souhrnech umělé inteligence Google neprobíhá ve vzduchoprázdnu. Přichází v době, kdy stále více lidí používá internet jako první vstupní bránu do systému zdravotní péče. Sama Světová zdravotnická organizace (WHO) varovala, že lékařské dezinformace na internetu mohou zhoršit problémy veřejného zdraví, od odmítání očkování až po prodlevy při vyhledávání pohotovostní péče. V této souvislosti je skutečnost, že první blok informací, který uživatel uvidí – a který se zobrazí s vizuálním razítkem společnosti Google – může obsahovat chyby bez jasného varování, obzvláště citlivá.
Takzvané přehledy AI jsou založeny na rozsáhlých jazykových modelech, podobných těm, které používají konverzační chatboti. Tyto systémy „nerozumějí“ medicíně tak, jak by tomu rozuměl zdravotník: předpovídají pravděpodobná slova na základě statistických vzorců v obrovském množství textu. To jim umožňuje generovat plynulé a přesvědčivé odpovědi, ale také je to činí zranitelnými vůči tzv. halucinacím: vymyšleným tvrzením, která znějí věrohodně, ale neodpovídají vědeckým důkazům. V triviálním kontextu může být halucinací pouhá kuriózní anekdota; v lékařském kontextu může znamenat doporučení neúčinného léku nebo bagatelizaci závažného příznaku.
Google sám toto riziko uznává ve své dokumentaci pro vývojáře a uživatele generativní umělé inteligence, kde připouští, že modely mohou vytvářet „nepřesný nebo zavádějící“ obsah, a nedoporučuje je používat jako náhradu odborného poradenství v citlivých oblastech, jako je zdravotnictví, právo nebo finance. Konkrétní podoba souhrnů AI – co se zobrazuje jako první, co je skryto a jak jsou formulována varování – však nakonec podmiňuje to, jak uživatelé tyto informace interpretují.
Tento problém je umocněn dobře zdokumentovaným jevem v kognitivní psychologii: zkreslením autority. Když je informace zvýrazněna na začátku vyhledávače Google, mnoho uživatelů má tendenci předpokládat, že je důvěryhodnější než ostatní výsledky, i když se ve skutečnosti jedná o automaticky generovaný text. Předchozí výzkumy chování uživatelů ukazují, že většina lidí zřídkakdy přejde za první obrazovku výsledků a že doporučené úryvky silně ovlivňují vnímání „správné“ odpovědi, i když obsahují chyby.
V případě zdraví může tato kombinace faktorů – rychlost, zdání autority a absence viditelných varování – vést k ukvapeným rozhodnutím. Uživatel, který vyhledá „příčiny bolesti na hrudi na levé straně“ a obdrží shrnutí naznačující stres nebo svalové kontrakce, aniž by bylo zřetelné varování, že by se mohlo jednat o vážný problém se srdcem, může odkládat volání záchranné služby. Klinické pokyny agentur, jako je britská Národní zdravotní služba (NHS) a Centrum pro kontrolu a prevenci nemocí (CDC), trvají na tom, že v případě určitých příznaků by mělo být doporučení jednoznačné: neprodleně navštívit zdravotníka nebo pohotovost.
Současně sama WHO zveřejnila etické zásady pro používání umělé inteligence ve zdravotnictví, v nichž zdůrazňuje potřebu transparentnosti, lidského dohledu a jasné odpovědnosti za to, kdo je za chyby odpovědný. Mezi její doporučení patří, že systémy umělé inteligence by neměly vyvolávat dojem, že nahrazují zdravotnické pracovníky, nebo nabádat pacienty k tomu, aby činili kritická rozhodnutí pouze na základě algoritmů. Způsob, jakým jsou abstrakty AI prezentovány – jako kompaktní, samostatná odpověď – je v rozporu s touto zásadou obezřetnosti.
Ani případ společnosti Google není ojedinělý. Nedávný akademický výzkum hodnotil výkonnost různých modelů generativní umělé inteligence v lékařských úlohách. Některé studie zjistily, že ačkoli modely mohou poskytovat rozumná a někdy i užitečná vysvětlení, jejich přesnost se značně liší v závislosti na specializaci a typu otázky. U složitých diagnóz nebo doporučení léčby jsou chyby časté a především pro nelékařského uživatele obtížně odhalitelné. Proto řada vědeckých společností doporučuje prozatím používat tyto nástroje pouze jako podporu pro odborníky a nikdy ne jako primární zdroj pro pacienty.
V této souvislosti není design varování nepodstatným detailem, ale otázkou bezpečnosti pacientů. Odborníci na použitelnost a technologickou etiku již léta upozorňují na to, že varování skrytá za dalšími kliknutími nebo v nenápadné typografii mají omezený účinek. Takzvaná „únava z upozornění“ – tendence ignorovat opakující se nebo nenápadná varovná hlášení – se stupňuje, když má uživatel obavy o své zdraví a hledá rychlou reakci. Pokud mu systém poskytne jasnou a důraznou větu nahoře, je nepravděpodobné, že by se zastavil a hledal právní text malým písmem ve spodní části stránky.
Některé návrhy na zlepšení zahrnují kompletní přepracování vyhledávání v oblasti zdravotnictví. Namísto jediného souhrnu generovaného umělou inteligencí se několik hlasů z oblasti digitálního zdraví vyslovuje pro hybridní modely: panely, které kombinují informace z autoritativních lékařských zdrojů – jako jsou klinické pokyny, univerzitní nemocnice nebo agentury veřejného zdraví – s vysvětlivkami generovanými umělou inteligencí, které jsou jako takové jasně označeny. V takovém scénáři by AI fungovala spíše jako překladatel nebo zjednodušovač lékařského jazyka než jako primární zdroj znalostí.
Další směr práce ukazuje na regulaci. V USA a EU se diskutuje o tom, do jaké míry by měly být systémy AI, které ovlivňují rozhodování v oblasti zdraví, považovány za zdravotnické prostředky, a tudíž podléhat bezpečnostním kontrolám, klinickým zkouškám a povinnostem dozoru po uvedení na trh. Nové nařízení EU o AI klasifikuje mnoho způsobů využití AI ve zdravotnictví jako „vysoce rizikové“, což znamená přísné požadavky na transparentnost a řízení rizik. Ačkoli jsou souhrny AI společnosti Google prezentovány jako obecný informační nástroj, jejich potenciální dopad na zdraví uživatelů by je mohl zařadit do regulační šedé zóny, kterou se zákonodárci stále snaží vymezit.
Pacientské organizace a zdravotníci zatím trvají na jednoduchém sdělení: AI může být užitečným informačním nástrojem, ale neměla by nahrazovat konzultaci s lékařem. V případě znepokojivých příznaků, závažných diagnóz nebo rozhodnutí o léčbě zůstává doporučení stejné jako před nástupem chatbotů: zajít za kvalifikovaným odborníkem, ověřit si informace a mít se na pozoru před každou odpovědí, která se na složitý problém zdá příliš jednoduchá.
Případ souhrnů umělé inteligence společnosti Google zkrátka ilustruje napětí mezi dvěma protichůdnými silami: na jedné straně závod o poskytování stále rychlejších a personalizovanějších odpovědí, na straně druhé potřeba zachovat bezpečnost a spolehlivost v tak citlivých oblastech, jako je zdravotnictví. To, jak bude tato rovnováha vyřešena – viditelnými varováními, změnami designu nebo vnější regulací – do značné míry určí roli, kterou bude umělá inteligence v příštích letech hrát ve vztahu mezi občany a zdravotnickými informacemi.