Pravděpodobnost, že umělá inteligence zničí lidský život, přesahuje v příštích deseti letech 10 %. Takový je osobní odhad, který Evan Hubinger, výzkumník společnosti Anthropic, veřejně sdílel na sociální síti X, čímž podpořil tvrzení svého bývalého kolegy. Nejedná se zdaleka o sci-fi, tento údaj pochází od člověka, který pracuje v první linii vývoje těchto systémů.
Spouštěčem této kontroverze byla rezignace britského inženýra Jacoba Coxona, 27letého softwarového specialisty, který v posledních třech letech působil v týmech společností OpenAI a později Anthropic. V rozsáhlém příspěvku zveřejněném na síti X Coxon obvinil obě společnosti, že nejednají „zodpovědně“ tváří v tvář nebezpečím, která podle jeho názoru s sebou přináší rychlý pokrok v oblasti umělé inteligence.
Žádná jiná lidská činnost nepředstavuje takovou hrozbu.
Různá média identifikují Coxona jako jednoho z vývojářů, kteří se podíleli na tvorbě modelů GPT-4 a GPT-4.5 společnosti OpenAI, ačkoli ve společnosti nikdy nezastával vedoucí funkce. Jeho výpověď je relevantní právě proto, že pochází od někoho, kdo tyto projekty znal zevnitř, z technické perspektivy.
„Nadlidské“ systémy bez dostatečného dohledu
Ve svém příspěvku inženýr varuje, že rychlost vývoje těchto systémů je obecně podceňována. Současné projekty umělé inteligence, tvrdí, by se mohly brzy proměnit v „nadlidské“ nástroje schopné proniknout do informačních infrastruktur, přetvořit celé ekonomické sektory a soustředit zdroje a rozhodovací pravomoc v bezprecedentním měřítku.
Coxon se také přímo obrátil na své bývalé kolegy z oboru a zeptal se jich, zda budou i nadále pokračovat ve vývoji systémů učení s posilováním, což je technika, při níž se modely zlepšují metodou pokusů a omylů na základě odměn, aniž by plně chápali, jak fungují uvnitř. „Skloníte hlavu s tím, že ‚stejně se to už děje‘, nebo využijete tuto chvíli k prosazování jiných podmínek?“ napsal.
Dvě společnosti, dva přístupy, jeden problém
Inženýr uznává, že si jak OpenAI, společnost stojící za ChatGPT, tak Anthropic jsou rizika vědomy, i když mezi nimi činí jasný rozdíl. Podle jeho názoru si v OpenAI „možná ještě plně neuvědomili civilizační výzvy“, zatímco Anthropic lépe chápe rozsah této výzvy, ale je „uvězněna v závodě o to, kdo bude první“.
Anthropic lépe chápe rizika, ale je „uvězněna v závodě o to, kdo bude první“.
Ani v tom nejlepším scénáři není tato dynamika uklidňující, argumentuje Coxon. V nejmírnějším scénáři spočívá soutěž mezi laboratořemi v tom, že se snaží dříve než soupeř vyvinout stále výkonnější systémy se slibem, že je budou používat zodpovědně. Pro inženýra je tato logika jako záruka bezpečnosti zcela nedostatečná.
Z vnitřku potvrzují hrozbu
Coxonova slova získala významnou podporu, když Evan Hubinger, aktivní výzkumník společnosti Anthropic, odpověděl na jeho příspěvek a potvrdil, že ve firmě se vážně zabývají extrémními scénáři spojenými se vznikem umělé inteligence, která výrazně převyšuje lidské schopnosti. „Jacob má v tomto pravdu. Opravdu upřímně věříme, že AI by mohla zabít všechny lidi,“ napsal Hubinger.
Výzkumník však upřesnil, že modely dostupné v současnosti u něj bezprostřední obavy nevyvolávají. Co ho skutečně znepokojuje, je možnost vzniku superinteligence schopné rekurzivně vylepšovat své vlastní schopnosti, tedy systému, který se zdokonaluje v čím dál rychlejších cyklech a bez lidského zásahu. Podle Hubingera by tento proces postupoval rychleji, než se předpokládalo.
Zastavení a spolupráce jako řešení
Vzhledem k této situaci navrhuje Coxon dvě cesty. První z nich je posílení koordinace mezi firmami a laboratořemi zabývajícími se výzkumem umělé inteligence. Pokud by k této spolupráci nedošlo, prosazuje razantnější opatření: dočasné pozastavení vývoje zaměřeného výhradně na zvyšování výkonu modelů, aby se bezpečnost mohla dostat na úroveň jejich schopností.
Jedním z nejznámějších případů je Geoffrey Hinton, jeden z průkopníků moderních neuronových sítí a nositel Nobelovy ceny za fyziku.
Rostoucí trend mezi odborníky
Svou rezignací se Coxon zařadil na stále delší seznam odborníků, kteří opouštějí velké technologické společnosti, aby mohli veřejně vyjádřit své obavy. Nejznámějším precedentem je případ Geoffreyho Hintona, považovaného za jednoho z otců moderních neuronových sítí – architektur, na nichž je založena současná umělá inteligence – a nositele Nobelovy ceny za fyziku. Hinton opustil Google v roce 2023 právě proto, aby mohl bez omezení hovořit o nebezpečích této technologie.
O rok později, v roce 2024, skupina bývalých zaměstnanců OpenAI a dalších firem z tohoto odvětví zveřejnila otevřený dopis, v němž kritizovala absenci účinných kontrolních mechanismů a nedostatečnou ochranu těch, kteří chtějí zevnitř firem upozornit na rizika spojená s vývojem pokročilých systémů umělé inteligence.