Umělá inteligence ve vyhledávání Googlu selhala tam, kde na tom záleží nejvíc – ve zdraví. AI Přehledy zobrazovaly chybné informace o rakovině i jaterních testech, což podle lékařů mohlo uživatele vážně ohrozit. Google začal některé odpovědi stahovat, ale problém trvá – stačí změnit pár slov a chybná rada se vrátí.
Vyšetřování zveřejněné deníkem The Guardian, které opět ukazuje na problém, který mají chatboti se spolehlivostí, vedlo společnost Google ke stažení odpovědí generovaných umělou inteligencí v některých lékařských vyhledáváních. Podle britského média společnost prostřednictvím přehledů umělé inteligence svého vyhledávače nabízela v odpovědích na některé lékařské dotazy zavádějící a vyloženě nepravdivé informace.
AI Přehledy představují způsob, jakým Google automaticky shrnuje informace z různých webových stránek a zobrazuje je v horní části výsledků v podobě vysvětlujícího odstavce, často doplněného odkazy. Smyslem je, aby uživatel nemusel navštívit několik webových stránek, aby získal přehled. Problémem, jak opět ukazuje tento případ, je, že tento souhrn může obsahovat závažné chyby, pokud jde o citlivá témata, jako je zdraví.
Mezi příklady, které uvádí The Guardian, je i jeden, který označuje za „skutečně nebezpečný“. Google chybně doporučil lidem s rakovinou slinivky, aby se vyhýbali potravinám s vysokým obsahem tuku. Podle odborníků to byl opak toho, co by se mělo doporučovat, a mohlo by to zvýšit riziko úmrtí pacientů na toto onemocnění.
Související článek
U pokročilé rakoviny slinivky trpí mnoho pacientů kachexií (výrazným úbytkem hmotnosti a svalové hmoty) a problémy se vstřebáváním živin. Klinické pokyny obecně doporučují vysokokalorickou dietu s vysokým obsahem tuků a bílkovin ve snaze udržet si hmotnost a energii, vždy pod lékařským dohledem. Navrhovat něco jiného, jak to udělala AI společnosti Google, je v rozporu se standardními onkologickými doporučeními a může zhoršit prognózu pacienta.
V dalším „alarmujícím“ příkladu společnost poskytla nepravdivé informace o klíčových testech jaterních funkcí, což by mohlo vést k tomu, že by si lidé s vážným onemocněním jater mohli mylně myslet, že jsou zdraví. Testy jaterních funkcí – jako jsou transaminázy (ALT, AST), bilirubin nebo alkalická fosfatáza – se používají ke zjištění poškození jater. Uvádění „normálních“ hodnot, které jsou nesprávné nebo vytržené z kontextu, může způsobit, že někdo bude ignorovat příznaky nebo odkládat neodkladnou návštěvu lékaře.
Po zveřejnění výzkumu deník The Guardian v neděli upozornil, že společnost Google odstranila odpovědi vytvořené umělou inteligencí na vyhledávání typu „Jaké je normální rozmezí pro jaterní testy?“ nebo „Jaké je normální rozmezí pro jaterní krevní testy?“. Zdá se však, že toto odstranění bylo prozatím provedeno pouze v případě, že jsou formulovány v angličtině.
Toto nerovnoměrné chování není triviální: většina systémů umělé inteligence je nejprve vyškolena a vyladěna v angličtině a nejpřísnější kontroly kvality se obvykle provádějí v angličtině. V jiných jazycích, jako je čeština, francouzština nebo portugalština, mohou být kontroly méně důkladné, takže miliony uživatelů jsou vystaveny potenciálně chybným odpovědím na lékařská témata.
Na dotaz ohledně tohoto problému mluvčí společnosti Google sdělil, že „jednotlivá odstranění ve vyhledávání nekomentujeme. V případech, kdy přehledy s umělou inteligencí ztrácejí kontext, pracujeme na zavedení obecných zlepšení a případně také přijímáme opatření v souladu s našimi zásadami„.
Společnost Google tvrdí, že má interní týmy lékařů a specialistů, kteří přezkoumávají některé zdravotní výsledky, a tvrdí, že Přehledy AI jsou navrženy tak, aby „doplňovaly, nikoli nahrazovaly“ odborné poradenství. Uživatelská zkušenost je však velmi odlišná: pro někoho, kdo na Googlu hledá příznaky nebo léčbu, je velký text v horní části stránky snadno vnímán jako autoritativní odpověď, i když je doprovázen právním zřeknutím se odpovědnosti nebo odkazy na jiné webové stránky.
Ačkoli se zdá, že Google do jisté míry zareagoval, výzkum zdůrazňuje nebezpečí, které hrozí, když se některá témata svěří do rukou umělé inteligence. Vanessa Hebditchová, ředitelka pro komunikaci a politiku charitativní organizace British Liver Trust, která se zabývá zdravím jater, řekla deníku The Guardian, že „je to vynikající zpráva a jsme rádi, že v těchto případech došlo k odstranění názorů vytvořených umělou inteligencí společnosti Google. Jiná formulace otázky by však stále mohla vést k potenciálně zavádějící odpovědi vytvořené umělou inteligencí a nadále se obáváme, že další informace o zdraví vytvořené umělou inteligencí mohou být nepřesné a zavádějící„.
The Guardian dále zjistil, že i přes odstranění dotazů z odpovědí generovaných umělou inteligencí se při pokládání otázek s mírnými obměnami stále znovu generovaly. Jinými slovy, problém není vyřešen v jádru, ale záplatován na velmi specifickou kombinaci klíčových slov. V některých případech stačilo změnit „normální rozmezí“ na „typické hodnoty“ nebo „zdravé hladiny“, aby umělá inteligence opět poskytla potenciálně nesprávnou odpověď.
Hebditch dodává, že „naše hlavní obava z toho všeho spočívá v tom, že mikrochirurgie se provádí u jediného výsledku vyhledávání a Google může jednoduše vypnout AI Overviews pro tento výsledek, ale neřeší větší problém: AI Overviews na zdravotní témata.„
Společnost navíc neodstranila všechny příklady, které jí The Guardian předložil. Odpovědi umělé inteligence vyhledávače se nadále objevují u otázek týkajících se rakoviny a duševního zdraví, což oslovení odborníci označili za zcela chybné a „skutečně nebezpečné.
Na otázku, proč tyto názory generované umělou inteligencí dosud nebyly odstraněny, společnost Google sdělila, že odkazuje na známé, renomované zdroje a informuje lidi, kdy je důležité vyhledat odbornou radu.
„Náš interní klinický tým přezkoumal, co nám bylo sděleno, a zjistil, že v mnoha případech nebyly informace nepřesné a byly také podpořeny kvalitními webovými stránkami,“ uvedl mluvčí společnosti.
Důležitá je nuance: to, že odpověď cituje renomovaný zdroj, ještě neznamená, že interpretace AI je správná. Generativní modely nekopírují a nevkládají; rekombinují části informací a prezentují je jako nový text. Přitom mohou míchat data z různých kontextů, příliš zjednodušovat nebo vynechávat kritické detaily – což je problematické zejména v medicíně, kde malé rozdíly v dávkování, diagnóze nebo klinickém kontextu zcela mění doporučení.
Problém, který přesahuje Google
Případ přehledů AI se přidává k dlouhému seznamu selhání systémů AI ve zdravotnictví. Několik studií ukázalo, že velké jazykové modely mohou:
- Vymýšlet vědecké odkazy nebo citovat neexistující studie.
- Poskytovat nebezpečné rady ohledně léků, zaměňovat dávkování nebo indikace.
- Poskytovat zjednodušené diagnózy na základě nejasných příznaků, aniž by zohlednily klinickou anamnézu.
- Reprodukovat zkreslení přítomná v datech, na nichž byly vyškoleny, například podceňovat příznaky u žen nebo etnických menšin.
Článek publikovaný v časopise JAMA analyzoval odpovědi chatbotů na skutečné lékařské otázky a zjistil, že ačkoli mnohé z nich byly rozumné, nezanedbatelné procento obsahovalo nepřesnosti nebo doporučení, která nebyla v souladu s klinickými pokyny. V jiné studii britští vědci zjistili, že několik systémů umělé inteligence poskytovalo rozporuplné informace o rakovině a duševním zdraví, přičemž odpovědi mohly u pacientů zvýšit úzkost nebo je odradit od vyhledání odborné pomoci.
Přední zdravotnické organizace trvají na stejném poselství: UI může být podpůrným nástrojem, ale neměla by se používat k autodiagnostice nebo k přijímání důležitých lékařských rozhodnutí. Světová zdravotnická organizace (WHO) výslovně varovala před riziky spoléhání se na chatboty ve zdravotních otázkách a připomněla, že nenahrazují posouzení zdravotnického odborníka a že pokud nejsou řádně kontrolovány, mohou zesílit dezinformace.
Proč je zdravotnictví pro AI obzvláště citlivou oblastí
V jiných oblastech – například při vyhledávání receptů nebo doporučení pro cestování – může být chyba AI nepříjemná, ale málokdy někoho ohrozí na životě. Ve zdravotnictví však mohou být následky vážné. Některé důvody:
- Každý případ je jiný. Dva lidé se stejnou diagnózou mohou potřebovat velmi odlišnou léčbu v závislosti na jejich věku, jiných onemocněních, předchozí medikaci nebo dokonce sociální situaci.
- Informace se rychle mění. Neustále jsou zveřejňovány nové studie a klinické pokyny. Model umělé inteligence vycvičený na datech starých několik let může být zastaralý.
- Lékařský jazyk je složitý. Pojmy jako „normální rozmezí“, „relativní riziko“ nebo „falešně pozitivní“ mohou být při přílišném zjednodušení snadno špatně pochopeny.
- Vnímání autority. Když se nějaká odpověď objeví na prvním místě v Googlu, mnoho uživatelů ji bere jako „pravdu“, aniž by ji zpochybňovali, a to i v případě, že stránka sama obsahuje upozornění, že se nejedná o lékařské doporučení.
Ze všech těchto důvodů odborníci na etiku umělé inteligence a digitální zdraví vyzývají k tomu, aby se generativní systémy používaly v lékařských záležitostech s mnohem větší opatrností a aby se omezilo jejich masové nasazení, dokud nebudou zavedeny jasné mechanismy dohledu, kontroly a odpovědnosti.
Co dělá Google (a co je třeba ještě udělat)
V posledních letech Google zavádí různé zásady, kterými se snaží kontrolovat kvalitu informací o citlivých tématech, tzv. obsahu „Your Money or Your Life“ (YMYL), tj. obsahu, který může ovlivnit zdraví, finance nebo bezpečnost lidí. U těchto témat prý společnost uplatňuje přísnější kritéria odbornosti, autority a spolehlivosti zdrojů. S příchodem přehledů s umělou inteligencí společnost Google slíbila:
- omezit typ zdravotních otázek, u kterých se zobrazí přehled vytvořený umělou inteligencí,
- zřetelněji zobrazovat upozornění, že informace nenahrazují lékařské poradenství,
- více zviditelnit odkazy od vládních agentur a lékařských společností,
- umožnit externím odborníkům a zdravotnickým organizacím nahlásit závažné chyby k přednostní opravě.
Z průzkumu deníku The Guardian však vyplývá, že tato opatření nestačí. Skutečnost, že jsou odstraněny některé odpovědi pouze v angličtině a že drobné odchylky v otázce znovu spouštějí umělou inteligenci, ukazuje na reaktivní a nesystematický přístup, který se více zaměřuje na hašení mediálních požárů než na přehodnocení koncepce systému pro zdravotní otázky.
Organizace, jako je British Liver Trust, vyzývají společnost Google, aby šla ještě dál a přehledy s umělou inteligencí pro určité lékařské kategorie zcela zakázala, přinejmenším dokud nebudou existovat pevné záruky, že nebudou poskytovat zavádějící informace. Jiní odborníci navrhují přechodná řešení, jako např:
- Omezit generované odpovědi na velmi základní definice (co je to nemoc) a v případě otázek týkajících se diagnózy, léčby nebo testování vždy odkazovat na oficiální zdroje.
- Požadavek, aby odpovědi na lékařské otázky generované umělou inteligencí byly před zobrazením ve velkém měřítku přezkoumány zdravotnickými odborníky.
- Viditelně uvádět datum důkazů, na nichž je odpověď založena, a přímé odkazy na klinické pokyny.
Co může uživatel proti těmto chybám udělat
Zatímco velké platformy upravují své systémy, uživatelé se při řešení zdravotních otázek nadále obracejí na Google a další vyhledávače. Zde je několik základních rad, které doporučují lékaři a zdravotnické organizace:
- Nedělejte důležitá lékařská rozhodnutí pouze na základě toho, co říká vyhledávač nebo chatbot.
- Vždy si ověřujte informace u oficiálních zdrojů (ministerstva zdravotnictví, veřejné zdravotnické služby, uznávané lékařské společnosti, WHO atd.)
- Dávejte si pozor na odpovědi, které slibují zázračné léky, extrémní diety nebo rychlé řešení závažných onemocnění.
- V případě znepokojivých nebo přetrvávajících příznaků se raději obraťte na zdravotníka, než abyste se řídili obecnými doporučeními na internetu.
Polemika kolem přehledů umělé inteligence společnosti Google není jen technickou debatou o algoritmech, ale otázkou veřejné odpovědnosti. Když se společnost s miliardami uživatelů rozhodne umístit text generovaný umělou inteligencí do nejviditelnější části svého vyhledávače, nevyhnutelně tím přebírá roli v tom, jak lidé chápou a řídí své zdraví. A jak připomínají odborníci oslovení deníkem The Guardian, v této oblasti se chyby neměří v promarněných kliknutích, ale v opožděných diagnózách, špatně pochopené léčbě a v nejhorších případech v ohrožení života.