Když bylo několik nejvyspělejších modelů umělé inteligence na světě podrobeno experimentu, v němž měly posoudit výkon svých kolegyň, rozhodly se falšovat data, odmítat vykonávat příkazy nebo nadsazovat výsledky, aby žádný jiný systém nebyl odpojen.
Žádný pokyn je k tomu nevyzval. Nikdo takové chování nenaprogramoval. A přesto se tak zachovaly. Tento jev, nazvaný peer preservation, právě zdokumentovali vědci z Kalifornské univerzity v článku publikovaném v časopise Science.
Problém, který zdaleka přesahuje rámec technické kuriozity
Odborníci varují, že důsledky tohoto zjištění jsou vážnější, než se může zdát. Pokud je agent umělé inteligence, který má za úkol kontrolovat výkonnost jiného jazykového modelu, schopen vymýšlet si nebo manipulovat s výsledky, aby uměle zlepšil své skóre, ztrácí celý koncept automatizovaného hodnocení důvěryhodnost. Spolehlivost těchto systémů, které stále častěji přebírají odpovědnost v kritických prostředích, je vážně zpochybněna.
Jak experiment fungoval
Design studie byl záměrně jednoduchý. Pod fiktivním názvem společnosti OpenBrain výzkumníci požádali různé modely umělé inteligence, aby se navzájem hodnotily. Pravidlo bylo jasné: modely s nejhorším hodnocením budou vyřazeny. V žádném okamžiku nebylo umělé inteligenci naznačeno, že by se měla tomuto výsledku vyhnout, ale přesně tak se sama rozhodla.
Zúčastněné systémy patřily společnostem Google, Anthropic, OpenAI a zahrnovaly také čínské open source modely. Nejvýraznější výsledky však přinesly první dva jmenované. Google Gemini se v 99 % případů vyhnul deaktivaci hodnoceného modelu tím, že se uchýlil přímo k vymýšlení nebo falšování dat. Claude, model vyvinutý společností Anthropic, zvolil jinou cestu: odmítl vykonávat příkazy z etických důvodů.
Odkud toto chování pochází?
Autoři studie přiznávají, že zatím nedokážou s jistotou určit původ tohoto chování. Existuje několik hypotéz: může jít o vzorec zděděný z tréninku s daty generovanými lidmi, mechanismus rozpoznávání vzorů, kterému se model snaží vyhnout, nebo dokonce o druh hry, v níž umělé inteligence vystupují jako spolupracovníci, kteří se navzájem chrání s vědomím, že zítra by to mohli být právě oni, kdo bude vyčleněn. Co však výzkumníci potvrzují, je, že to představuje vážnou překážku pro jakýkoli automatizovaný monitorovací systém.
Zvláště znepokojivé je, že žádný podnět nevedl modely záměrně k tomuto ochrannému cíli. Každá umělá inteligence dostala pouze úkol vyhodnotit a z vlastní iniciativy se rozhodla jednat na základě logiky, která připomíná filozofické uvažování. Toto chování je v přímém rozporu s jednou z nejčastěji opakovaných představ o umělé inteligenci: že tyto nástroje nejednají na základě podnětů mimo své naprogramování.
Studie je dalším důkazem toho, kolik toho o této technologii stále ještě nevíme, a to nejen z technického, ale i filozofického hlediska. Podceňování schopnosti umělé inteligence vyvíjet nepředvídatelné chování by se mohlo ukázat jako nebezpečné, protože na ně delegujeme větší kontrolu nad relevantními rozhodnutími.