Chatboty s umělou inteligencí mohou budit dojem, že představují intimní prostor, kde se lze bez následků vyzpovídat, ale zatčení ženy z Floridy dokazuje, že tento dojem je nebezpečně mylný.
Třicetiletá Carli Michelle Hellerová byla 30. září zatčena ve svém domě v Bonita Springs poté, co společnost Anthropic upozornila bezpečnostní složky na výhružné zprávy, které žena poslala svému AI asistentovi Claudovi.
Od chatbota na policejní stanici za čtyři dny
Podle zprávy o zatčení, kterou zveřejnil Gulf Coast News, napsala Hellerová 26. září chatbotovi jednoznačné věty: „Právě teď jdu postřílet kancelář šerifa, kurva.“ O den později se tón zpráv ještě zostřil: „Tohle je stoprocentně poslední šance. Je konec. Dneska jsem si sehnala novou zasranou pistoli. Jděte do prdele.“ Výhrůžka mířila přímo na úřad šerifa v okrese Lee.
Automatické bezpečnostní filtry společnosti Anthropic, určené k identifikaci potenciálně nebezpečného obsahu, tyto zprávy zachytily a předaly je týmu lidských kontrolorů. Po analýze konverzace se společnost rozhodla kontaktovat úřady. Hellerová byla zadržena bez incidentů.
Konverzace s umělou inteligencí nejsou soukromé
Tento případ poukazuje na něco, co bychom neměli zapomínat: konverzace s chatbotem nezaručuje důvěrnost vůči společnosti, která jej provozuje. Společnost Anthropic ve svých zásadách ochrany osobních údajů uvádí, že její zaměstnanci nemají ve výchozím nastavení přístup ke konverzacím uživatelů. Společnost však povoluje kontrolu v případech, kdy její bezpečnostní systémy upozorní na obsah, který by mohl být škodlivý. Jinými slovy, nejde o to, že by někdo četl každou zprávu odeslanou Claudovi, ale že určitý obsah spouští automatické filtry, které mohou kontrolu eskalovat na skutečné osoby.
Kromě toho si společnost Anthropic výslovně vyhrazuje právo sdílet informace s úřady, pokud usoudí, že se jedná o nouzovou situaci s bezprostředním rizikem smrti nebo vážného tělesného zranění, což se přesně stalo v tomto případě.
Co říká zákon státu Florida
Obvinění proti Hellerové se opírají o § 836.10 floridského zákoníku, který jako trestný čin kvalifikuje písemné nebo elektronické výhrůžky zabitím, způsobením vážného tělesného zranění, provedením masové střelby nebo spácháním teroristického činu. Tento přestupek je klasifikován jako závažný trestný čin druhého stupně, za který hrozí trest odnětí svobody až na 15 let.
Hellerová je obviněna, ale dosud nebyla odsouzena. Právní experti poukazují na to, že floridská legislativa vyžaduje, aby byla výhrůžka odeslána, zveřejněna nebo předána takovým způsobem, aby ji mohla vidět jiná osoba – tato podmínka by se mohla stát klíčovým bodem soudního řízení. Bude na soudu, aby rozhodl, zda zprávy zaslané chatbotovi plně odpovídají této právní definici.