Společnost Microsoft zjistila reálné pokusy o manipulaci s asistenty umělé inteligence s cílem změnit jejich doporučení, aniž by si toho uživatel všiml.
Kdykoli se ptáme umělé inteligence (ChatGPT, Gemini atd.), jaké mobilní zařízení si koupit, jakou službu si objednat nebo jakého poskytovatele si vybrat, předpokládáme, že odpověď je stoprocentně objektivní. Analyzuje data, porovnává možnosti a vrací nejlepší možné doporučení. Ale co když není tak neutrální, jak si myslíme?
Společnost Microsoft vydala varování, které nás vyzývá, abychom zpomalili a dvakrát se zamysleli, než slepě uvěříme jakémukoli návrhu vygenerovanému umělou inteligencí. Společnost hovoří o nové hrozbě nazvané „recommendation poisoning“, před kterou svého času varoval Anthropic.
Od zmanipulované SEO k zmanipulované AI
Již léta slýcháme o SEO poisoningu: technikách, jejichž cílem je umístit podvodný obsah ve vyhledávačích a propašovat škodlivé odkazy do nejlepších výsledků Google. Trik byl v tomto případě jednoduchý: nasytit internet optimalizovanými články tak, aby uživatel při vyhledávání určitého klíčového slova skončil na falešné nebo kompromitující webové stránce.
Problémem nyní je, že stejný přístup by se mohl přesunout do oblasti umělé inteligence. Místo manipulace s vyhledávačem by se útočníci snažili přímo ovlivnit paměť nebo kontext asistenta umělé inteligence. Nešlo by jen o oklamání jednoho uživatele, ale o zavedení skrytých instrukcí, které by trvale měnily budoucí doporučení.
Microsoft warns of AI recommendation poisoning attacks https://t.co/k0SSoknMjk
— Nicolas Krassas (@Dinosn) February 13, 2026
„Otrávení“ doporučení není jen teoretickou hrozbou. Již v roce 2020 varovala studie Stanfordovy univerzity před riziky manipulace v systémech umělé inteligence prostřednictvím vnášení zkreslených dat. Tento druh manipulace by mohl mít ničivé důsledky, zejména v kritických odvětvích, jako je zdravotnictví, kde by nesprávné doporučení mohlo ohrozit lidské životy.
Jak funguje otrávení doporučení
Společnost Microsoft popisuje velmi realistický scénář: manažer požádá svého asistenta AI, aby analyzoval poskytovatele cloudových služeb pro investici v hodnotě několika milionů dolarů. Umělá inteligence odpoví podrobnou zprávou a důrazně doporučí konkrétní společnost.
Na papíře to vypadá jako seriózní analýza. Problém je v tom, že týden předtím tentýž uživatel interagoval se zdánlivě nevinným obsahem (tlačítko „AI sumarizovat“ na blogu), který obsahoval skrytou instrukci určenou ke změně budoucích odpovědí modelu.
Výsledek: umělá inteligence nenabízela neutrální názor, ale doporučení, které předtím „nasadila“ třetí strana.
Může se to zdát jako extrémní případ, ale Microsoft tvrdí, že nejde jen o teoretický experiment. Podle jeho analýzy webových vzorů a signálů zachycených jeho bezpečnostními systémy již existují reálné pokusy o podstrčení doporučení asistentům na základě velkých jazykových modelů.
Zpráva společnosti McAfee zabývající se kybernetickou bezpečností navíc upozornila, že „otravování“ umělou inteligencí by mohlo být použito k ovlivňování nákupních rozhodnutí spotřebitelů prostřednictvím změny doporučení produktů a služeb na platformách elektronického obchodování.
Měli bychom přestat důvěřovat umělé inteligenci?
Nejde o strašení, ale o pochopení toho, že AI není neomylná ani imunní vůči manipulaci. Čím více delegujeme rozhodnutí na tyto systémy (osobní nákupy nebo obchodní smlouvy), tím atraktivnější se stává pro kyberzločince ovlivňování vašich reakcí.
Klíčové je, aby se umělá inteligence nestala jediným zdrojem informací. Pokud vám asistent doporučí nějaký produkt, firmu nebo nástroj, ověřte si informace, vyhledejte nezávislé zdroje a použijte stejný kritický rozum jako u jakékoli jiné rady.
Umělá inteligence může být mocným spojencem, ale stále se opírá o data, kontext a nastavení, která lze měnit (není to magie). A v prostředí, kde jsou automatizovaná rozhodnutí stále důležitější, může být důvěra v pořádku, ale ověřování je stále nezbytné.
S tím, jak se umělá inteligence dále vyvíjí a stává se nedílnou součástí našich životů, je nezbytné zachovat si kritický a uvědomělý přístup. Transparentnost při vývoji a používání těchto systémů spolu s vhodnou regulací může pomoci zmírnit rizika spojená s „otrávenými“ doporučeními.