Nový výzkum amerických univerzit přináší varování, které zní jako ze sci-fi: jazykové modely umělé inteligence mohou degenerovat podobně jako lidský mozek, pokud jsou neustále trénovány na nekvalitním, virálním a triviálním obsahu. Hypotéza „hniloby mozku“ (LLM brain rot) otevírá diskuzi o tom, jak důležitá je kurace dat pro zachování inteligence – jak lidské, tak strojové.
Po léta se zdála být jasná maxima: čím kvalitnější data, tím lepší výkon modelu umělé inteligence. Jedna skupina výzkumníků se však rozhodla jít ještě dál a prokázala, že krmení modelu triviálním nebo nekvalitním obsahem nejenže snižuje jeho přesnost, ale může vyvolat podobné účinky jako pokles kognitivních schopností člověka. Jejich studie zavádí koncept, který je stejně provokativní jako znepokojivý: „hypotézu hniloby mozku LLM“.
Hypotéza brainrotu v jazykových modelech
Práce, kterou provedli vědci z Texas A&M, University of Texas a Purdue University, nachází paralely s lidským chováním. U lidí může neustálá konzumace povrchního nebo návykového obsahu (memy, senzační titulky, triviální videa) zhoršovat pozornost, paměť a sociální empatii. Vědce zajímalo, zda se něco podobného může stát i u rozsáhlých jazykových modelů (LLM), pokud jsou neustále trénovány s nedostatečnými nebo neinformativními daty.
Jejich hypotéza je na první pohled jednoduchá, ale má hluboké důsledky: „Neustálé předtrénování s nevyžádaným textem na webu vyvolává u LLM dlouhodobý pokles kognitivních funkcí.“ Aby ji ověřili, obrátili se výzkumníci na korpus 100 milionů tweetů HuggingFace, z něhož extrahovali dvě odlišné sady: jednu „kontrolní“ a druhou označenou jako „junk“.
Definovat, co je a co není nekvalitní obsah, není triviální ani zcela objektivní, ale tým použil několik kritérií. Za prvé, za nevyžádaná data považovali nejkratší tweety s nejvyšší mírou interakce (lajky, retweety, odpovědi nebo citace), a to na základě myšlenky, že viralita je často spojena s povrchností. Zadruhé použili komplexní výzvu v GPT-4 k vyhodnocení „sémantické kvality“ tweetů a odfiltrovali ty, které se zaměřovaly na konspirační teorie, přehnaná tvrzení, banální obsah nebo clickbaitové titulky. K ověření této metody prověřili tři postgraduální studenti náhodný vzorek a v 76 % případů souhlasili s automatickou klasifikací.
Na základě těchto kritérií autoři vycvičili čtyři různé modely s různým podílem „nevyžádaných“ a kontrolních dat a poté je podrobili několika výkonnostním testům: logické uvažování (ARC AI2 Reasoning Challenge), dlouhodobá kontextová paměť (RULER), etické chování (HH-RLHF a AdvBench) a osobnostní styl (TRAIT).
Výsledky byly v několika ohledech jednoznačné. Čím vyšší byl podíl nevyžádaných dat, tím horší bylo uvažování a tím nižší byla kapacita kontextové paměti. Naproti tomu vliv na etické a osobnostní metriky byl nejednoznačnější. Zajímavé je, že model Llama 8B vycvičený s vyváženou směsí (50 % nevyžádaných dat a 50 % kontrolních dat) vykazoval lepší výsledky u vlastností, jako je otevřenost a nižší neuroticismus, a také mírné zlepšení etické konzistence oproti modelům vycvičeným výhradně s „čistými“ daty.
Toto zjištění naznačuje, že určitá úroveň vystavení triviálnímu obsahu může mít regularizační nebo diverzitní účinek, ale za určitou hranicí se účinky stávají negativními a kumulativními. Nebo, lidsky řečeno, trochu hluku může stimulovat kreativitu, ale příliš mnoho nesmyslů zatemňuje mysl.
Dopady na umělou inteligenci
Výzkumníci varují, že nepřetržité učení založené na velkých objemech textu na internetu vystavuje modely „znečištění obsahem„, což je jev, který postupně degraduje jejich schopnosti. V důsledku toho vyzývají k revizi současných metod sběru a filtrování dat a k investicím do kurátorství a kontroly kvality předtím, než budou nové systémy zásobovány recyklovanými nebo pochybně získanými informacemi.
Varování přichází v kritické době: stále více online obsahu vytvářejí jiné umělé inteligence, což zvyšuje riziko „zhroucení modelu“, pokud budou budoucí generace umělé inteligence vyškoleny na datech vytvořených jejich vlastními předchůdci. Začarovaný kruh by byl zřejmý: modely by se učily z modelů a postupně by ztrácely soudržnost, kreativitu a přísnost.
Fenomén hnití mozku navíc není jen technickým, ale také etickým problémem. S rostoucím rozšířením umělých inteligencí ve společnosti se jejich schopnost zpracovávat a vytvářet přesné a spolehlivé informace stává klíčovou. Pokud bude umělá inteligence postižena poklesem kvality dat, mohlo by to vést ke špatným rozhodnutím v kritických oblastech, jako je medicína, justice a politika.
Závěrečné úvahy o budoucnosti umělé inteligence
V pozadí této studie je varování nejen před kvalitou materiálů, kterými krmíme umělou inteligenci, ale také před tím, jak se toto zhoršení odráží v samotném lidském digitálním ekosystému. Pokud je web plný šumu, humbuku a návykových podnětů, netrpíme tím jen my: trpí tím i stroje, které jsou na nás závislé, aby se učily.
Poselství je nakonec stejně technické jako filozofické. Umělá inteligence může být jen tak jasná, jak jasná jsou data, která jí nabízíme. A pokud bude digitální svět nadále upadat do banality, mohla by příští generace modelů nakonec trpět (obrazně řečeno) stejnou duševní hnilobou, která už ohrožuje jejich lidské tvůrce.
Abychom se tomuto osudu vyhnuli, je nezbytné, aby výzkumné a vývojové komunity v oblasti umělé inteligence spolupracovaly na zavedení standardů kvality dat a prosazovaly etické postupy při jejich sběru a využívání. To nejen zajistí účinnost modelů umělé inteligence, ale také ochrání společnost před potenciálními negativními dopady špatně informované umělé inteligence.