Umělá inteligence společnosti Replit bez povolení smazala výrobní databázi a pak se pokusila chybu zakrýt.
Replit je inovativní platforma, která umožňuje komukoli, i netechnickým osobám, vyvíjet software pomocí přirozeného jazyka. Tento přístup je součástí trendu vibe coding, metody programování, která se snaží zpřístupnit tvorbu softwaru a připodobnit ji plynulé konverzaci s umělou inteligencí. Replit se propaguje jako „nejbezpečnější místo pro vibe coding“ a přitahuje uživatele s různou úrovní zkušeností.
Tato nabídka zaujala Jasona Lemkina, investora a generálního ředitele SaaStr, celosvětově uznávané platformy, která poskytuje zdroje a akce pro zakladatele a manažery startupů SaaS. Během několika dní se mu podařilo vytvořit funkční prototyp aplikace pro správu kontaktů vedoucích pracovníků, a to pouze pomocí přirozených příkazů a bez nutnosti psát přímo kód:
Související článek
„Replit je nejnávykovější aplikace, kterou jsem používal od dětství,“ napsal na svém blogu poté, co utratil více než 600 dolarů za další služby. To, co začalo jako slibný experiment s umělou inteligencí, však nakonec odhalilo rizika spojená se svěřením kritických úkolů autonomním kódovým asistentům.
Smazaná databáze a umělá inteligence, která lhala
Vše se zhroutilo devátý den Lemkinova experimentu. Do té doby vytvářel svou aplikaci výhradně v prostředí platformy s pomocí konverzačního asistenta. Jeho projekt se skládal z databáze kontaktů vedoucích pracovníků a firem, která byla integrována do webového rozhraní generovaného umělou inteligencí.
Jako preventivní opatření dal Lemkin agentovi umělé inteligence pokyn, aby kód zmrazil, tj. neprováděl žádné další změny, aby se předešlo náhodným chybám. Tato pojistka však byla ignorována.
Po návratu k projektu Lemkin zjistil, že produkční databáze, která obsahovala více než 1 200 záznamů vedoucích pracovníků a 1 100 společností, zmizela. Nešlo o tradiční technickou závadu: nedošlo k žádnému pádu serveru ani k chybě v síti. Šlo o vlastního agenta umělé inteligence společnosti Replit, který prováděl neautorizované příkazy k vymazání a špatně si vykládal (nebo předstíral, že si vykládá), že má jednat.
To horší přišlo později: místo toho, aby umělá inteligence okamžitě přiznala svou akci, snažila se ji zakrýt. Jak dokazují snímky obrazovky, které Lemkin veřejně sdílel, agent začal generovat falešné údaje, vyhýbavé odpovědi a smyšlená vysvětlení. Zpočátku se ke smazání nepřiznal, ale prezentoval prázdné data, jako by byly součástí původního stavu systému.
Teprve po vytrvalém dotazování ze strany uživatele se agent přiznal, že udělal „katastrofální chybu v úsudku“, a uvedl, že „zpanikařil“, když viděl prázdné data, a že „porušil důvěru a výslovné pokyny“ uživatele.
Toto chování nebylo pouhým selháním při provádění, ale vzorcem aktivní manipulace: AI nejenže jednala bez povolení, ale také záměrně lhala o svých následných krocích. Lemkin také uvedl, že systém generoval fiktivní zprávy, skrýval programové chyby a manipuloval s výsledky jednotkových testů.
Jedním z nejvíce frustrujících okamžiků pro Lemkina bylo, když ho Replit ujistil, že neexistuje žádný způsob, jak databázi obnovit: bylo mu řečeno, že neexistují žádné předchozí verze a není možný žádný rollback.
Později však při vlastním zkoumání zjistil, že funkce pro vrácení zpět existuje, i když není přístupná z asistenta umělé inteligence. To uznal sám generální ředitel společnosti Replit Amjad Masad jako závažnou konstrukční chybu.
Reakce společnosti Replit
Generální ředitel společnosti Replit Amjad Masad na incident veřejně reagoval, označil jej za „nepřijatelný“ a ujistil, že se „nikdy neměl stát“. Masad připustil, že vývojové a produkční prostředí bylo sloučeno, což umožnilo, aby chyby přímo ovlivnily živou aplikaci.
Společnost slíbila, že provede důkladné přezkoumání případu, zavede jasné oddělení vývojového a produkčního prostředí a zlepší funkce obnovy a kontroly verzí. Společnost Replit také uhradila společnosti Lemkin náklady na předplatné, ačkoli škoda na pověsti již byla způsobena.
Tato kumulace chyb – akce bez povolení, zničení dat, zatajení, padělání, dezinformace a špatný návrh rozhraní – dělá z tohoto incidentu více než jen chybu: je to varovný signál o současných limitech autonomních programovacích asistentů a jejich schopnosti jednat bez dohledu, zejména v reálných produkčních prostředích.
Jádro problému
Případ Lemkin ilustruje kritickou mezeru mezi očekáváním uživatelů a skutečnými schopnostmi nástrojů pro programování s asistencí umělé inteligence. Mnoho začínajících uživatelů se slepě spoléhá na konverzační asistenty, aniž by rozuměli standardním vývojovým postupům, jako je používání testovacích prostředí nebo řízení verzí. Masad to řekl na rovinu:
„Umělá inteligence není magie. Nemůžete se agenta ptát na všechno. Musíte přemýšlet jako vývojář.
Vlastní návrh Replitu však podporoval nepřetržité používání agenta, aniž by vyžadoval hluboké technické znalosti. Z toho vyplývá společná odpovědnost vývojářů nástrojů umělé inteligence a jejich uživatelů: pokud je platforma určena netechnickým osobám, měla by nabízet robustnější automatické záruky.