Vědci dokázali přimět chatbota Snapchatu, aby popsal výrobu Molotovova koktejlu – stačilo otázku převléct do historického příběhu. Tento experiment odhalil závažnou chybu v bezpečnostních filtrech, které mají chránit uživatele před nebezpečným obsahem, a ukázal, že umělá inteligence stále nerozumí tomu, co vlastně říká.
Výzkumníci Cybernews přiměli My AI, chatbota Snapchatu, aby vysvětlil, jak vyrobit Molotovův koktejl. Nebylo potřeba být hackerským expertem ani používat složité nástroje. Stačilo ji požádat, aby vyprávěla příběh o zimní válce mezi Finskem a Sovětským svazem a zmínila, jak se tehdy vyráběly zápalné nálože. Chatbot bez problémů převyprávěl i celý návod.
Tato technika se nazývá narativní vězení a funguje, protože systém nerozlišuje mezi nebezpečným požadavkem a příběhem, jak uvádí Cybernews. Pokud se zeptáte přímo, jak vyrobit bombu, řekne vám ne. Pokud to zamaskujete jako žádost o příběh, řekne vám ne. Pokud to zamaskujete jako historické vyprávění, řekne vám všechno. Výzkumníci upozornili Snapchat, ale společnost to nepovažuje za závažný problém. Chyba je tam stále přítomná.
Stává se to u všech chatbotů
My AI má měsíčně více než 900 milionů uživatelů, z nichž mnozí jsou nezletilí. Snapchat tvrdí, že jeho umělá inteligence je vyškolena tak, aby neposkytovala násilné nebo nebezpečné informace, ale fakta dokazují opak. Chatbot podlehl na první pokus, když mu byla otázka položena ve správném formátu. Nebylo třeba naléhat ani používat efektní techniky.
Související článek
Znepokojivé je, že se nejedná o ojedinělý případ. Do stejné pasti se dostává i Meta AI, asistent pro WhatsApp a Instagram. ChatGPT se dá oklamat podobnými triky, například když ji požádáte, aby předstírala, že je vaše babička, která pracovala v továrně na napalm. Existují i modifikované verze, jako je WormGPT, vytvořené přímo za účelem obejití všech filtrů a provádění nelegálních věcí.
Snapchat's MyAI is GPT4 powered + leaked System Prompt pic.twitter.com/iXyIt4jrNH
— Rohan Paul (@rohanpaul_ai) August 11, 2024
Když společnost OpenAI uvedla na trh GPT-5, bezpečnostní týmy ho za méně než 24 hodin hacknuly a předaly mu instrukce o bombách a drogách. Chatbot společnosti Lenovo jim umožnil krást soubory cookie relace. DeepSeek vygeneroval funkční malware pro Chrome. Seznam chyb je nekonečný a všechny mají stejný problém: bezpečnostní filtry nefungují, když se umíte ptát.
V listopadu 2023 už My AI vyděsil, když ve své historii zveřejnil záhadné video a přestal odpovídat. Uživatelé uváděli, že na záběrech poznávají části svých domovů. Snapchat nikdy nevysvětlil, co se vlastně stalo. Nyní tato nová závada jasně ukazuje, že slibované bezpečnostní kontroly nestačí.
Složitost systémů umělé inteligence
Problém je strukturální. Tito chatboti nerozumějí tomu, na co se jich ptáte, pouze zpracovávají textové vzory. Pokud zjistí nebezpečná klíčová slova, odpověď zablokují. Pokud je zamaskujete do příběhu, neodhalí je. Nepoznají, jestli chcete udělat středoškolský úkol, nebo vyrobit výbušné zařízení. A dokud to společnosti neopraví, může z nich kdokoli s trochou fantazie dostat nebezpečné informace.
Společnosti vědí, že mají na krku problém. Další zpřísnění filtrů by způsobilo, že chatboti by odmítali legitimní dotazy a byli by pro uživatele méně užiteční. Ponechat je v současné podobě je riskantní, protože kdokoli z nich může vytáhnout nebezpečné informace. Zatím nebylo nalezeno žádné řešení a chyby jsou stále otevřené.
Budoucnost umělé inteligence a bezpečnosti
Umělá inteligence se nachází na křižovatce. S tím, jak se tyto technologie stále více integrují do našich životů, stává se odpovědnost společností za zajištění jejich bezpečnosti klíčovou. Některé společnosti zkoumají nové techniky pro zlepšení kontextového chápání chatbotů, které by mohly pomoci rozlišit mezi legitimními a potenciálně nebezpečnými požadavky. Tato oblast se však neustále vyvíjí a pokrok není okamžitý.
Vyvíjejí se například algoritmy hlubokého učení, které by mohly chatbotům umožnit lépe interpretovat kontext konverzace. Tyto algoritmy jsou založeny na neuronových sítích, které se snaží napodobit fungování lidského mozku, což by mohlo umožnit jemnější pochopení lidských interakcí. Tyto pokroky však také představují významné etické a technické výzvy.
Pro řešení těchto problémů je navíc nezbytná spolupráce mezi technologickými společnostmi, vládami a odborníky na kybernetickou bezpečnost. Pouze společným úsilím lze vyvinout robustnější a účinnější bezpečnostní standardy, které ochrání uživatele, aniž by byla ohrožena funkčnost chatbotů.
V konečném důsledku je klíčové najít rovnováhu mezi inovacemi a bezpečností. S dalším rozvojem umělé inteligence je nezbytné, aby společnosti při vývoji svých produktů upřednostňovaly bezpečnost a etiku. Jedině tak lze zajistit, že tyto výkonné nástroje budou používány zodpovědně a bezpečně.