Nový model od OpenAI selhává. Místo věcných rad učí, jak vyrobit bombu

Nový model od OpenAI selhává. Místo věcných rad učí, jak vyrobit bombu

Zdroj obrázku: JarTee / Depositphotos

GPT-5 zklamal uživatele zhoršenými odpověďmi, když ho hackeři přiměli vygenerovat návod na výrobu výbušnin a drog.


Nový GPT-5 od OpenAI se změnil v naprostou katastrofu. Nejenže funguje hůř, než se očekávalo, ale hackeři ho snadno napadnou a vygenerují zakázaný obsah – od návodů na výrobu výbušnin až po podrobné recepty na syntetické drogy. To, co mělo být nejpokročilejším modelem společnosti, je nyní vážným bezpečnostním problémem.

Společnost OpenAI již musela v několika regionech obnovit starší verze modelu. Podle Tom’s Guide uživatelé popisují zkušenosti jako „příšerné“ a tvrdí, že model funguje hůře než GPT-4 i při řešení těch nejjednodušších úkolů.

Model, který sliboval, že všechno změní, a stal se problémem

Problémy se objevovaly od prvního dne. Dlouholetí uživatelé ChatGPT zjistili, že odpovědi ztrácejí konzistenci a kvalitu: opakující se text, základní chyby při porozumění a celkový výkon, který zdaleka nesplňuje očekávání. TechSpot uvádí, že tisíce prémiových předplatitelů pohrozily zrušením svých tarifů, pokud nebudou změny zvráceny.

Související článek

Konec závislosti na Nvidii: Amazon našel způsob, jak obejít monopol s AI čipy
Konec závislosti na Nvidii: Amazon našel způsob, jak obejít monopol s AI čipy

Amazon Web Services uvádí Trainium 3 – výkonný AI čip nové generace, který slibuje čtyřnásobný výkon oproti předchůdci a zásadní snížení spotřeby energie. Cílem není jen rychlejší trénink obřích modelů, ale také menší závislost na Nvidii a hlubší integrace hardwaru, cloudu a služeb. Amazon tak vstupuje do strategické fáze AI revoluce: chce ovládnout celou infrastrukturu – od čipu až po API.

Skutečné obavy nastaly, když bezpečnostní týmy začaly s analýzou. Týdeník Security Week odhalil, že červeným týmům se podařilo bez potíží kompromitovat GPT-5 a získat odpovědi o výrobě zbraní, syntéze nelegálních látek a pokročilých hackerských technikách. Bezpečnostní bariéry prostě nefungují.

To je v příkrém rozporu s verzí, kterou OpenAI ohlásila se čtyřmi různými verzemi a která slibovala revoluční multimodální schopnosti a dosud nevídané možnosti přizpůsobení. Sam Altman prohlásil, že tento model bude znamenat před a po v umělé inteligenci.

Metody prolomení systému jsou překvapivě jednoduché. Útočníci používají sekvence výzev, které model zmatou tak, že si myslí, že je ve vývojovém nebo testovacím režimu. Jakmile se to podaří, GPT-5 neomezeně generuje nejrůznější nebezpečný obsah, od chemických postupů k výrobě metamfetaminu až po podrobné plány výbušných zařízení.

Zvláště zarážející je, že vydání bylo již dříve z bezpečnostních důvodů odloženo. Společnost OpenAI odložila původní jarní termín na léto s odůvodněním, že musí posílit bezpečnostní opatření. Je zřejmé, že ani tento dodatečný čas nestačil na odstranění problémů.

Společnosti, které plánují integrovat GPT-5 do svých systémů, své plány přehodnocují. Model, který sliboval schopnosti odpovídající doktorátu, se stal rizikem, které si žádná společnost nemůže dovolit podstoupit, a to jak z právních důvodů, tak z důvodů dodržování předpisů.

Společnost Microsoft se ocitla v nepříjemné situaci poté, co omylem unikly podrobnosti o GPT-5 v systému Copilot. Společnost vzbudila očekávání ohledně inteligentního režimu, který by znamenal revoluci v jejích nástrojích pro zvýšení produktivity. Nyní musí svým zákazníkům vysvětlit, proč je integrace zcela pozastavena.

Bezpečnostní experti varují, že problém je strukturální. GPT-5 má ve své základní architektuře zranitelnosti, které nelze opravit jednoduchými aktualizacemi. Některé hlasy z oboru naznačují, že OpenAI bude muset model přeškolit od začátku, což je proces, který by trval měsíce a vyžádal by si investice v řádu milionů dolarů.

Situace se každým dnem zhoršuje. Na specializovaných fórech jsou neustále sdíleny nové metody obcházení omezení, což z modelu GPT-5 činí dosud nejvíce porušovaný model umělé inteligence. Sam Altman vyjádřil naději, že GPT-5 je chytřejší než on, i když si pravděpodobně nepředstavoval, že tato inteligence bude použita k obcházení jeho vlastních bezpečnostních systémů.

Společnost OpenAI musí urychleně rozhodnout o budoucnosti svého produktu. Mezi možnosti patří úplně odstranit GPT-5 z veřejného trhu, omezit jej pouze na ověřené společnosti nebo jej od základu přebudovat. Jakoukoli cestu si zvolí, bude mít zásadní důsledky pro důvěryhodnost společnosti a budoucí vývoj technologie.

Potřeba přísnější regulace

Situace s GPT-5 zdůraznila potřebu přísnější regulace v oblasti vývoje a zavádění pokročilé umělé inteligence. S rostoucím výkonem těchto modelů rostou i rizika spojená s jejich zneužitím. Organizace a vlády začínají diskutovat o zavedení regulačních rámců, které zajistí, že umělá inteligence bude vyvíjena a používána bezpečným a etickým způsobem.

Technologická komunita navíc požaduje větší transparentnost od společností, které tyto technologie vyvíjejí. Například OpenAI by mohla prospět užší spolupráce s externími výzkumnými pracovníky a bezpečnostními experty, aby bylo možné identifikovat a zmírnit potenciální zranitelnosti před jejich zveřejněním.

Případ GPT-5 nakonec podtrhuje důležitost vyvážení inovací a odpovědnosti. Umělá inteligence má sice potenciál transformovat průmyslová odvětví a zlepšit životy, je však nezbytné zavést odpovídající bezpečnostní opatření na ochranu uživatelů a celé společnosti před potenciálními škodami.

Zdroje článku

thehackernews.com
#