Bezpečnostní ředitel odchází z Anthropicu. Uvnitř firmy prý selhává morální kompas

Bezpečnostní ředitel odchází z Anthropicu. Uvnitř firmy prý selhává morální kompas

Zdroj obrázku: PhotoGranary02 / Shutterstock

Šéf bezpečnostního oddělení společnosti Anthropic rezignoval s odvoláním na interní nátlak, aby ignoroval etické zásady ve prospěch obchodní expanze společnosti.


Mrinank Sharma rezignoval na funkci šéfa bezpečnostního oddělení společnosti Anthropic ve veřejném dopise, který vyvolal v odvětví poplach. Šéf týmu bezpečnostních opatření varuje, že svět je ohrožen řadou vzájemně propojených krizí, a naznačuje, že společnost ignoruje své základní zásady ve prospěch expanze.

Zprávu přinesl časopis Forbes, který přinesl profil oxfordského doktora, který do firmy nastoupil v srpnu 2023. Sharma vedl kritický výzkum zaměřený na zmírnění bioterorismu podporovaného umělou inteligencí a patolízalství, tedy tendence chatbotů spíše pochlebovat než být objektivní.

Etický rozkol v bezpečnostním oddělení

Nejvíce šokující na této rezignaci je, že Sharma tvrdí, že byl pod neustálým tlakem, aby ignoroval etické hranice. Podle jeho vlastních slov bylo nesmírně obtížné řídit se hodnotami společnosti. Toto sdělení se přímo střetává s veřejným obrazem společnosti, která se zrodila s důrazem na bezpečnost.

Související článek

Čína rozdává humanoidní roboty zdarma. Stroje budou zápasit v ringu
Čína rozdává humanoidní roboty zdarma. Stroje budou zápasit v ringu

Ultimate Robot Knockout Legend (UKRL) není jen futuristická podívaná – je to první globální liga bojových androidů, která testuje hranice robotiky i lidské představivosti. Čína tímto krokem nejen ukazuje technologickou sílu, ale také otevírá dveře nové éře umělé inteligence.

Anthropic se v současné době snaží velmi agresivně růst a usiluje o ocenění ve výši 350 miliard dolarů (7,15 bilionů korun). S finanční podporou gigantů, jako jsou Amazon a Google, se zdá, že firma upřednostňuje komerční závod a odklání se od formálních rámců analýzy rizik, interně známých jako „bezpečnostní protokoly AI“.

Tento odchod přichází jen několik dní poté, co společnost představila Claude Opus 4.6, nejvýkonnější AI na trhu. Laboratoř se sice může pochlubit hrubým výkonem, ale její nejvýznamnější odborníci odcházejí s odůvodněním, že lidská moudrost nedrží krok se schopností lidstva ovlivňovat planetu.

Tento krok nevyhnutelně připomíná situaci u přímé konkurence. Jan Leike opustil OpenAI kvůli podobným neshodám a nyní pracuje ve společnosti Anthropic, což vytváří velmi složitý průnik zájmů a etických vizí. Zdá se, že žádné z velkých technologických společností se nedaří ochránit své rozhodovací procesy před ekonomickými ambicemi.

Tíha integrity versus byznys

Sharmův dopis je záhadný a hluboce filozofický dokument, který k vysvětlení jeho odchodu cituje básníky, jako je Rilke. Není prvním výzkumníkem, který dal přednost odvážnému vyjádření a poezii před dalším potvrzováním systémů, které by nás podle něj mohly učinit méně lidskými nebo narušit naši podstatu a sociální chování.

Na rozdíl od oficiálního postoje k regulaci umělé inteligence, který byl vždy zdrženlivý, Sharma hovoří o krizi integrity. Je paradoxní, že společnost, která slíbila, že nebude mít reklamy v Claudu, aby vypadala zodpovědněji, je nyní zevnitř obviňována z kolísání svých nejhlubších morálních základů.

Sharma neuvádí žádné konkrétní příklady ani dokumenty, které by dokazovaly konkrétní pochybení. Jeho varování před světem v ohrožení však silně rezonuje, připomeneme-li si, že OpenAI jen před několika měsíci veřejně přiznala rizika autonomních kybernetických útoků na své nejpokročilejší modely.

Prožíváme to, co mnozí analytici již nazvali zimou umělé inteligence, krizí, kterou nikdo nechtěl vidět přicházet. Rezignace bezpečnostního ředitele jedné z předních technologických společností potvrzuje, že propast mezi marketingem rizik a komerční realitou se prohlubuje. A navíc, když jsme prováděli tuto analýzu odvětví umělé inteligence, upozorňovali jsme, že globální ekonomické důsledky krize v tomto odvětví by mohly být katastrofální.

Sharma nyní plánuje život zaměřený na komunitní práci a psaní, daleko od hluku San Francisca. Společnost Anthropic mezitím na žádosti o komentář nereaguje a nechává ve vzduchu viset otázku, zda je bezpečnost skutečnou prioritou, nebo jen užitečnou nálepkou k přilákání investorů s mnohamilionovými vklady.

Širší kontext etiky v umělé inteligenci

Obavy z etiky v oblasti umělé inteligence nejsou nové. Již od vzniku prvních systémů umělé inteligence probíhá debata o tom, jak zajistit, aby tyto technologie byly pro lidstvo přínosem, aniž by mu škodily. Asociace pro rozvoj umělé inteligence (AAAI) a další organizace zveřejnily pokyny pro etický rozvoj umělé inteligence, ale jejich uplatňování v reálném světě často brání komerční zájmy.

V roce 2018 čelila společnost Google interní i externí kritice za své zapojení do projektu Maven, programu amerického ministerstva obrany, který využíval umělou inteligenci k analýze snímků z dronů. Tato kontroverze vedla společnost Google k tomu, že neprodloužila smlouvu s Pentagonem a zavedla vlastní etické zásady pro umělou inteligenci, které zahrnují závazek nevyvíjet technologie, které by způsobovaly škody.

Sharmův odchod z Anthropicu je připomínkou toho, že navzdory slibům o odpovědnosti mají technologické společnosti stále problém vyvážit etiku s tržními tlaky. Toto dilema se odráží v práci výzkumníků, jako je Timnit Gebru, který byl propuštěn ze společnosti Google poté, co vyjádřil obavy z předpojatosti v jazykových modelech umělé inteligence.

Příběh Sharmy a Anthropicu podtrhuje potřebu přísnější regulace a větší transparentnosti při vývoji AI. Bez pevného regulačního rámce mohou společnosti upřednostnit růst před bezpečností, čímž ohrozí nejen svou pověst, ale i globální blahobyt.

Budoucnost AI bude záviset na naší schopnosti začlenit etické zásady do jejího vývoje a používání. Jako společnost musíme požadovat, aby technologické společnosti byly zodpovědné a aby vlády zavedly politiky, které chrání občany před potenciálními riziky AI.

V konečném důsledku by Sharmova rezignace mohla posloužit jako katalyzátor pozitivních změn a inspirovat ostatní v oboru, aby se postavili za etiku a integritu, i když čelí značným komerčním tlakům.

Zdroje článku

forbes.com, bbc.com
#