Umělá inteligence změnila mnoho oblastí vědy a techniky, ale jen málokterá z nich pocítila její dopad tak bezprostředně jako počítačová lingvistika, zejména oblast známá jako zpracování přirozeného jazyka (NLP). Tento obor, který se věnuje tomu, aby lidský jazyk byl srozumitelný strojům, prošel skutečnou revolucí – aexistenční krizí – po uvedení modelů, jako je GPT-3 a zejména ChatGPT.
Vědecké paradigma je podle filozofa Thomase Kuhna soubor sdílených postupů, teorií a metod, které v dané době definují vědní obor. K „vědecké revoluci“ dochází, když se tento rámec stane neudržitelným a je nahrazen zcela jiným.
V oblasti zpracování přirozeného jazyka (NLP) byl po desetiletí dominantním paradigmatem přístup založený na lingvistických pravidlech, po němž následovalo strojové učení pod dohledem, které vyžadovalo velké množství označených dat a modely pro konkrétní úlohy (strojový překlad, analýza sentimentu, extrakce entit atd.). Nástup LLM tento přístup radikálně převrátil.
Od BERT k transformátorům
V roce 2017 společnost Google zveřejnila slavnou akademickou práci, která představila model „transformátoru“. Ačkoli se v té době zdál být jen další inovací v oblasti umělé inteligence, brzy se stal základem velkých jazykových modelů (LLM).
Související článek
V roce 2018 model BERT, založený na této nové technologii, způsobil v této oblasti revoluci díky překvapivým výsledkům v jazykových úlohách. To vyvolalo takzvanou „BERTologii“, příval publikací a postupných vylepšení, které z benchmarků udělaly nové bitevní pole. Klíčem již nebyly nové nápady, ale škálování: více dat, více parametrů, více výkonu.
Mezi BERT a ChatGPT (2020-2022)
Vydání GPT-3 v roce 2020 tedy znamenalo období před a po. S více než stonásobnou kapacitou oproti svému předchůdci vykazoval úžasné schopnosti, od generování souvislého textu až po řešení úloh pouze pomocí instrukcí v přirozeném jazyce.
Někteří výzkumníci, jako například Christopher Callison-Burch, měli pocit, že celou jejich mnohaletou práci nyní může GPT-3 zopakovat během několika minut.
Tato schopnost však s sebou přinesla zásadní otázku: rozumějí tyto modely tomu, co říkají? Emily Benderová a Alexander Koller slavně navrhli „test chobotnice“, v němž tvrdili, že model, který pouze napodobuje vzory, nemůže chápat význam. Debata polarizovala a rozdělila obor na „pro-LLM“ a skeptiky.
Rostoucí vliv ChatGPT
Dne 30. listopadu 2022 spustila společnost OpenAI projekt ChatGPT. Její dopad byl okamžitý a brutální. Během několika dní si vědci začali uvědomovat, že mnoho úloh, na kterých pracovali, se stalo zastaralými a někteří doktorandi byli nuceni změnit téma svých prací.
A na konferenci EMNLP, jedné z předních konferencí v oboru, si někteří položili otázku, kterou si kladli mnozí:
„Bude to poslední konference o NLP?“
2023: Mezi mediální euforií a akademickým zmatkem
S popularizací ChatGPT však přišla také mediální lavina: výzkumníci, kteří dříve hovořili pouze v akademických kruzích, byli zpovídáni v televizi nebo citováni v legislativních debatách. Mezitím se vědecká komunita roztříštila: tam, kde někteří považovali LLM za užitečný nástroj, jiní v nich viděli hrozbu pro zásady reprodukovatelného výzkumu.
Zároveň se objevily iniciativy na vytvoření otevřených modelů, jako je OLMo společnosti AI2, které reagovaly na dominanci gigantů, jako je OpenAI nebo Google. Rozdíl ve zdrojích však jasně ukázal, že akademická sféra již není hlavní hnací silou pokroku v této vědě: vývoj LLM nevedly akademické instituce, ale velké technologické společnosti jako OpenAI, Google DeepMind nebo Anthropic.
2024-2025: Znovuobjevení, nebo konec?
Dnes se mnozí výzkumníci definují jako LLM vědci, nikoliv jako jazykovědci využívající výpočetní nástroje. Někteří uznávají, že se jejich práce zcela přeorientovala: nyní jde o porozumění samotným modelům, nejen lidskému jazyku. Jiní se ujali role kritiků a zkoumají omezení LLM: jejich nedostatečné hluboké porozumění, sklon k halucinacím a závislost na historických datech.
„Pravidelně čtu lidi na obou stranách. Obvykle se přihlásím k odběru newsletterů Substacku, abych viděl stranu rozzlobených lingvistů a na Twitteru, abych viděl stranu podporující škálovací modely.“
Změna paradigmatu
Názory se různí. Někteří považují to, co se stalo v posledních letech, za naprostý zlom, jiní nikoli. Jisté je, že mnoho otázek, které byly dříve považovány za ústřední pro NLP, bylo vytlačeno ze středu zájmu hlavního proudu výzkumu. V každém případě přijmout fakt, že čelíme změně paradigmatu, neznamená předpokládat, že současný model je definitivní.
Vznik ChatGPT a dalších podobných modelů otevřel nové směry výzkumu v oblasti etiky umělé inteligence, ochrany soukromí dat a společenského dopadu těchto technologií. Tyto nově vznikající oblasti nabízejí výzkumným pracovníkům příležitost přeorientovat své úsilí a prozkoumat, jak lze tyto nástroje odpovědně začlenit do společnosti.
Kromě toho vedl pokrok v oblasti LLM k přehodnocení výuky informatiky a lingvistiky, přičemž se znovu zaměřil na výuku kritických dovedností pro práci s těmito modely. To zahrnuje porozumění základním algoritmům, schopnost interpretovat výsledky generované umělou inteligencí a schopnost vyvíjet praktické aplikace, které tyto technologie využívají.