Studie varuje před tisíci modely vystavenými na internetu, které mohou vést ke zneužití, jako je phishing a spam.
Open source je praxe tak úzce spojená s internetem, že se zdá nemožné pochopit jedno bez druhého. Příkladem může být operační systém Linux, který se rozrůstá díky příspěvkům a vývoji své komunity. Rozšíření umělé inteligence však vedlo odborníky k varování před existencí open source modelů bez typických bariér velkých platforem.
Nebezpečí open source
Někteří tvrdí, že existuje neviditelná „vrstva“ infrastruktury s tisíci počítači, na nichž běží modely přístupné zvenčí. Analýzy platforem, jako je SentinelLABS nebo Censys, například shromažďují výsledky 293 dní pozorování s globální mapou více než 175 000 hostitelů ve 130 zemích.
Tato studie není založena pouze na kvantitě, ale také na stálosti, protože identifikovala jádro přibližně 23 000 systémů, které se objevují stále dokola (podobně jako v opakujícím se cyklu). Opakující se nástroj se nazývá Ollama a podle studie je oblíbenou volbou pro lokální provozování modelů, problém však nastává, když je ponechán „otevřený“ veřejnosti.
Například společnost Censys vysvětluje, že našla tisíce odhalených instancí nástroje Ollama, a poznamenává, že některé z nich byly podněty. Nezapomeňte, že rizika nejsou abstraktní: můžete se stát obětí phishingu, spamu, dezinformací a dalších zneužití, protože model je schopen během několika sekund generovat jakýkoli text.
@Reuters Exclusive: "The research, carried out jointly by SentinelOne and Censys… offers a new window into the scale of potentially illicit use cases for thousands of open-source LLM deployments. These include hacking, hate speech and harassment, violent … content, personal… pic.twitter.com/5a0Gu7y7lq
— SentinelOne (@SentinelOne) January 30, 2026
Výzkumníci upozorňují, že například existuje řada případů, kdy byly ze známých modelů odstraněny ochranné prvky. Navíc ve vzorku systémových výzev mohlo asi 7,5 % dotlačit uživatele ke škodlivému chování. Z toho plyne poučení, že není třeba zakazovat modely s otevřeným zdrojovým kódem, ale je třeba si uvědomit důsledky: pokud je váš projekt založen na této myšlence, měli byste si být vědomi, že kdokoli může s vaší původní myšlenkou manipulovat. Pokud se tak stane, ne každý bude mít dobré úmysly.
Význam bezpečnosti v modelech s otevřeným zdrojovým kódem
Rostoucí popularita open source modelů v oblasti umělé inteligence je dána jejich dostupností a možností, aby se na jejich vývoji podílel kdokoli. Právě tato přístupnost je však dvousečnou zbraní. Modely umělé inteligence, které jsou otevřené, mohou být manipulovány ke škodlivým účelům, pokud nejsou zavedena odpovídající bezpečnostní opatření.
Jednou z hlavních obav je, že modely AI s otevřeným zdrojovým kódem mohou být použity k automatizaci phishingových útoků. Phishing je technika kybernetické kriminality, jejímž cílem je vylákat od lidí osobní údaje, jako jsou hesla nebo čísla kreditních karet. S pomocí modelů AI mohou útočníci generovat vysoce personalizované a přesvědčivé e-maily nebo textové zprávy, čímž zvyšují pravděpodobnost úspěchu svých útoků.
Modely AI s otevřeným zdrojovým kódem lze navíc využít k vytváření a šíření dezinformací ve velkém měřítku. Schopnost těchto modelů generovat souvislý a přesvědčivý text během několika sekund z nich činí mocný nástroj pro ty, kteří se snaží manipulovat veřejným míněním nebo zasévat chaos.
Opatření ke zmírnění rizik
Pro zmírnění těchto rizik je zásadní, aby vývojáři modelů s otevřeným zdrojovým kódem zavedli spolehlivá bezpečnostní opatření. Ta zahrnují ověřování uživatelů, šifrování dat a neustálé monitorování činností modelu s cílem odhalit podezřelé chování.
Kromě toho je důležité podporovat kulturu odpovědnosti mezi vývojáři a uživateli modelů s otevřeným zdrojovým kódem. To zahrnuje vzdělávání komunity o rizicích spojených s používáním těchto modelů a podporu bezpečných vývojových postupů.
Klíčem k využití potenciálu open source modelů v oblasti umělé inteligence bez ohrožení bezpečnosti je nakonec nalezení rovnováhy mezi přístupností a ochranou. Tím můžeme zajistit, že tyto modely zůstanou pozitivní silou pro inovace a pokrok.