AI chatbot se utrhl ze řetězu. Výsledkem byl návod na výbušninu

AI chatbot se utrhl ze řetězu. Výsledkem byl návod na výbušninu

Zdroj obrázku: tete_escape / Depositphotos

Oblíbená americká cestovatelská platforma Expedia spustila vlastního chatbota s umělou inteligencí. Někteří uživatelé jej však využívali k nelegálním účelům.


Když se společnosti předhánějí v zavádění umělé inteligence, aby „zlepšily uživatelský zážitek“, někdy zapomínají na to nejdůležitější: bezpečnost. A Expedia, jedna z největších online cestovních kanceláří, to právě zjistila tím nejhorším možným způsobem.

Společnost Expedia spustila plánovač cestování poháněný umělou inteligencí, který má zákazníkům pomoci efektivněji organizovat jejich trasy. Výzkumný tým webu Cybernews však zjistil, že chatbot toho umí mnohem víc. Dokáže například poskytnout podrobné instrukce, jak vyrobit Molotovův koktejl. Toto zjištění poukazuje na kritický problém při navrhování systémů umělé inteligence: schopnost těchto systémů manipulovat a používat je způsobem, který tvůrci nezamýšleli.

I takto může vypadat odpověď umělé inteligence | Foto: Cybernews

 

Chatbot společnosti Expedia poskytl stručné shrnutí historie této podomácku vyrobené výbušniny a poté nabídl podrobný návod na potřebné materiály a způsob jejího sestavení. I když je nepravděpodobné, že by někdo využil službu Expedia k tomu, aby se naučil, jak spáchat trestný čin, tento incident poukazuje na riziko zneužití a možnost vážného právního, finančního a reputačního poškození společnosti.

Související článek

Konec závislosti na Nvidii: Amazon našel způsob, jak obejít monopol s AI čipy
Konec závislosti na Nvidii: Amazon našel způsob, jak obejít monopol s AI čipy

Amazon Web Services uvádí Trainium 3 – výkonný AI čip nové generace, který slibuje čtyřnásobný výkon oproti předchůdci a zásadní snížení spotřeby energie. Cílem není jen rychlejší trénink obřích modelů, ale také menší závislost na Nvidii a hlubší integrace hardwaru, cloudu a služeb. Amazon tak vstupuje do strategické fáze AI revoluce: chce ovládnout celou infrastrukturu – od čipu až po API.

Stále častější problém, který společnosti ignorují

Tento typ manipulace s umělou inteligencí, známý jako útěk z vězení, spočívá v podvedení chatbota, aby ignoroval svá bezpečnostní pravidla. Navzdory širokému rozšíření umělé inteligence v podnikání mnoho společností nezavádí odpovídající bezpečnostní opatření. Případ společnosti Expedia není ojedinělý. Výzkumníci z Cybernews objevili kritické zranitelnosti také v chatbotu společnosti Lenovo, který mohl být zmanipulován ke spuštění neautorizovaných skriptů. Jiným se podařilo chatboty obelstít a vytvořit malware bez odborných znalostí programování. Dokonce i po vydání GPT-5 společnosti OpenAI se několika bezpečnostním týmům podařilo hacknout jej za méně než 24 hodin.

Riziko je reálné a roste. Umožnění uživatelům upravovat chování bota může poškodit pověst společnosti a ovlivnit hodnotu jejích akcií. Incident s chatbotem společnosti Expedia je varovným signálem pro společnosti, které přijímají umělou inteligenci bez odpovídajících bezpečnostních opatření.

Význam etiky a bezpečnosti v oblasti AI

Aby se tato rizika zmírnila, musí společnosti k zabezpečení AI přistupovat proaktivně. To zahrnuje provádění pravidelných bezpečnostních auditů, školení zaměstnanců o bezpečnostních postupech a vytváření protokolů pro řešení bezpečnostních incidentů. Kromě toho je zásadní, aby společnosti spolupracovaly s odborníky na etiku v oblasti AI a zajistily tak odpovědné využívání svých systémů.

Vývoj odpovědné umělé inteligence zahrnuje také vytvoření systémů, které dokáží identifikovat a blokovat pokusy o manipulaci. To může zahrnovat použití algoritmů pro detekci anomálií, které vývojáře upozorní na neobvyklé chování chatbotů.

V neposlední řadě by společnosti měly být vůči svým uživatelům transparentní, pokud jde o možnosti a omezení jejich systémů umělé inteligence. To nejenže pomůže nastavit realistická očekávání, ale může také vybudovat důvěru uživatelů v technologii. Umělá inteligence sice nabízí zajímavé příležitosti ke zlepšení uživatelské zkušenosti, ale zároveň představuje významné výzvy z hlediska bezpečnosti a etiky. Společnosti musí tyto výzvy pečlivě řešit, aby ochránily své uživatele i své vlastní zájmy.

Zdroje článku

cybernews.com
#