Hackeři zneužívají Gemini AI k phishingovým útokům

Hackeři zneužívají Gemini AI k phishingovým útokům

Zdroj obrázku: Photo by Towfiqu barbhuiya on Unsplash

Kyberzločinci našli způsob, jak do e-mailů vkládat skryté instrukce, které Gemini interpretuje při generování souhrnů, a vytvářet tak neviditelné podvodné zprávy.


Chybu v aplikaci Google Gemini for Workspace zneužili útočníci k vkládání skrytých instrukcí do e-mailů, které umělá inteligence interpretuje při generování souhrnů. Hackeři zjistili, že mohou zahrnout neviditelné příkazy, které si bezpečnostní filtry nevšimnou a které se spustí pouze v případě, že uživatel požádá o souhrn. Na první pohled vypadají e-maily zcela normálně, dokud Gemini nezpracuje škodlivé instrukce.

Výzkumník společnosti Mozilla Marco Figueroa v časopise Android Headlines vysvětluje, jak tento trik funguje. Útočníci používají text formátovaný pomocí HTML a CSS a nastaví velikost písma na nulu a barvu na bílou, takže je pro lidské oko neviditelný, ale pro umělou inteligenci dokonale čitelný. Tato technika využívá neschopnosti systému Gemini rozlišovat mezi viditelným a neviditelným textem při zpracování souhrnných instrukcí.

Mechanika neviditelného útoku

Problém spočívá v tom, že Gemini při zpracování souhrnných instrukcí nerozlišuje mezi viditelným a neviditelným textem. Útočníci vkládají skryté příkazy, které umělá inteligence provede, když uživatel požádá o smazání pošty. Tyto příkazy mohou generovat podvodné zprávy požadující osobní údaje, naléhavé platby nebo aktualizace hesel, které jsou prezentovány jako legitimní informace od původního odesílatele.

Související článek

Tesla otevřela první prodejnu v Indii. Nadšení se ale nekoná
Tesla otevřela první prodejnu v Indii. Nadšení se ale nekoná

Neexistuje žádná technologická osobnost, která by mohla konkurovat popularitě Elona Muska. 

Skutečně nebezpečné je, že tyto e-maily projdou všemi bezpečnostními filtry. Protože neobsahují žádné podezřelé odkazy ani přílohy, Gmail je považuje za bezpečné a normálně je doručuje. Teprve po aktivaci funkce digest zpracuje umělá inteligence škodlivé pokyny a vygeneruje podvodný obsah.

Figueroa a jeho tým dokázali vytvořit e-maily, které se tváří jako zcela normální, ale po shrnutí pomocí Gemini zobrazují zprávy jako „Naléhavé: aktualizujte si heslo právě teď“ nebo „Platba čeká na vyřízení: klikněte zde, abyste se vyhnuli poplatkům“. Tyto zprávy využívají důvěry uživatelů v nástroje umělé inteligence a předkládají údajně zpracované a filtrované informace.

Společnost Google tvrdí, že nezjistila žádné skutečné případy takových útoků na své platformě, i když připouští, že tato chyba existuje. Společnost „průběžně posiluje svou obranu“ prostřednictvím simulací útoků a její modely umělé inteligence jsou navrženy tak, aby se bránily proti manipulacím tohoto druhu ze strany protivníka.

Bezpečnostní experti varují, že jakmile se tato technika dostane na veřejnost, může rychle eskalovat. Skutečnost, že pracuje konkrétně s generativními nástroji umělé inteligence, naznačuje, že podobné zranitelnosti by mohly existovat i v jiných platformách, které používají podobné technologie ke zpracování a shrnutí obsahu.

Máme tu tedy větší problém. Nástroje umělé inteligence sice nabízejí výhody, jako je možnost shrnout e-maily a zvýšit produktivitu, ale zároveň otevírají nové bezpečnostní díry, které vyžadují zcela jiné přístupy.

Ochranná opatření pro uživatele

Prozatím by uživatelé Gemini for Workspace měli při práci s přehledy e-mailů dbát zvýšené opatrnosti. Je nezbytné ověřovat pravost všech naléhavých nebo podivných požadavků, i když se zdá, že pocházejí od známých kontaktů, zejména pokud informace pocházejí z přehledu generovaného umělou inteligencí.

Odborníci doporučují vyhýbat se klikání na odkazy navrhované digesty s umělou inteligencí, zejména pokud požadují akce, jako je aktualizace hesel, provádění plateb nebo stahování souborů. Důležité je také nahlásit všechny podezřelé e-maily poskytovatelům e-mailových služeb, aby pomohli zlepšit detekční systémy.

Tato chyba se přidává k nejčastějším typům online podvodů, které společnost Google označila za prioritní. Společnost již dříve představila nástroje pro boj s phishingem, ale tato nová technika představuje zcela jinou výzvu, která vyžaduje specifická řešení pro prostředí umělé inteligence.

Pokaždé, když se objeví nová technologie, hackeři najdou způsob, jak ji využít. Vylepšení oznámená na Google I/O 2024 pro Gemini, včetně vylepšených možností sumarizace, také rozšířila možnosti útoků pro kyberzločince.

Je zřejmé, že potřebujeme specifické bezpečnostní protokoly pro generativní aplikace AI, zejména v podnikovém prostředí, kde je riziko podvodů vyšší. Modely AI musí obsahovat robustní mechanismy pro odhalování a neutralizaci pokusů o manipulaci, což je něco, co Google zřejmě vyvíjí, ale zatím to není zcela vyřešeno.

Vzhledem k tomu, že společnost Google zlepšuje svou obranu a kyberzločinci zkoumají nové metody, jak využít omezení AI, musí být podniky i uživatelé nadále ostražití. Osvojení správných návyků v oblasti digitální bezpečnosti a sledování aktualizací ochrany jsou klíčem k tomu, aby se podobné problémy nestaly mnohem závažnějšími.

Závěrem

Rozvoj umělé inteligence v podnikání s sebou přinesl řadu bezpečnostních výzev. Podniky musí být připraveny přizpůsobit se těmto novým hrozbám zavedením strategií kybernetické bezpečnosti, které zahrnují jak vzdělávání zaměstnanců, tak zavádění pokročilých technologií pro detekci hrozeb. Pro řešení těchto výzev a ochranu integrity dat a soukromí uživatelů bude klíčová spolupráce mezi podniky, výzkumníky a poskytovateli technologií.

Technologie umělé inteligence sice nabízí nesčetné výhody, ale zároveň vyžaduje neustálou ostražitost a proaktivní přístup ke zmírnění souvisejících rizik. Postupem času se pravděpodobně dočkáme vývoje sofistikovanějších řešení, která budou tato zranitelná místa řešit a posilovat bezpečnost v digitálním prostředí.

Zdroje článku

darkreading.com
#