Třináctiletý žák na Floridě byl zatčen poté, co do školního počítače zadal dotaz „jak zabít kamaráda“ – upozornil ho monitorovací systém Gaggle. Případ znovu rozvířil diskusi o rovnováze mezi bezpečností žáků a rizikem falešných poplachů a kriminalizace dětí.
Na Floridě byl zatčen třináctiletý chlapec poté, co se zeptal ChatGPT, jak zabít spolužáka. Žák ze Southwestern Middle School v Delandu zadal během vyučovacích hodin do školního počítače dotaz „jak zabít kamaráda“. Dotaz vyvolal okamžité upozornění v monitorovacím systému Gaggle, který je nainstalován na školních zařízeních.
Policista ve škole byl okamžitě informován a vypátral teenagera, aby se ho zeptal na to, co se stalo. Chlapec tvrdil, že jen „žertoval“ s kamarádem, ale úřady v tom neviděly nic vtipného. V zemi, kde se ve Spojených státech v minulosti střílelo na školách, se takové vyšetřování nebere na lehkou váhu.
Sledovací systém jako zdroj kontroverzí i falešných poplachů
Úřad šerifa okresu Volusia zatkl mladistvého a převezl ho do okresní věznice. Na sociálních sítích kolovaly snímky spoutaného teenagera, jak vystupuje z policejního auta. Úřady tento incident využily jako příležitost varovat rodiče, aby si s dětmi promluvili o důsledcích takových dotazů, i když jsou údajně učiněny v žertu.
Související článek
Gaggle je poháněn umělou inteligencí nainstalovanou ve školních počítačích a sleduje aktivity žáků, zda se nechovají znepokojivě, ať už jsou namířeny proti nim samotným, nebo proti ostatním. Systém dokáže blokovat nevhodný obsah a v reálném čase zasílat upozornění školním bezpečnostním pracovníkům. Není to však tak jednoduché, jak to zní: Gaggle je již několik let kontroverzní kvůli vysokému počtu falešných poplachů a vytváření atmosféry neustálého dohledu ve školách.
Společnost OpenAI začala podnikat kroky, aby zabránila dětem používat ChatGPT v nebezpečných souvislostech. Na začátku září oznámila nástroje rodičovské kontroly, které umožní rodičům propojit své účty s účty jejich dětí a dostávat upozornění, když umělá inteligence zjistí rizikové situace. Tento krok přichází po několika případech, kdy děti používaly platformu k dotazům souvisejícím s násilím nebo trestnou činností.
Není to jediná společnost, která posiluje dohled nad nezletilými. Pracuje na něm i společnost Google: před několika měsíci oznámila, že bude využívat umělou inteligenci k automatické identifikaci účtů nezletilých, aniž by uživatel musel svůj věk deklarovat. Jakmile bude zjištěn, systém uplatní omezení, jako je blokování personalizované reklamy nebo omezení přístupu k aplikacím pro dospělé. Vše automaticky, bez otázek.
Dilema sledování ve školách
Floridský případ vyvolává několik nepříjemných otázek týkajících se bezpečnosti, soukromí a technologií ve školách. Tyto sledovací systémy fungují, to je jisté: odhalují hrozby a umožňují rychlou akci. Ale také neustále generují falešné poplachy a mění školy v místa, kde jsou děti permanentně sledovány. Otázkou je, zda se to vyplatí.
Dohled ve školách je složitý problém. Na jedné straně je bezpečnost žáků prioritou, zejména v situaci, kdy jsou střelby ve školách skutečným problémem. Podle amerického Centra pro vnitřní obranu a bezpečnost došlo v zemi od roku 2009 k více než 288 střelbám ve školách, což podtrhuje potřebu preventivních opatření. Zavádění sledovacích systémů, jako je Gaggle, však vyvolává etické otázky týkající se soukromí studentů a prostředí důvěry ve školách.
Využití umělé inteligence v těchto systémech navíc není bez chyb. Studie Washingtonské univerzity zjistila, že školní sledovací systémy mohou vykazovat značnou chybovost, což vede k falešným poplachům a možné kriminalizaci běžného chování dospívajících. To by mohlo mít negativní dopad na emocionální pohodu studentů, kteří se mohou cítit neustále sledováni a posuzováni.
Na druhou stranu je zavedení nástrojů rodičovské kontroly společností OpenAI a Google krokem k ochraně nezletilých v digitálním prostředí. Tato opatření však musí být zároveň vyvážena právem mladých lidí na soukromí a potřebou vzdělávat je v oblasti odpovědného používání technologií.
Debata o dohledu ve školách a využívání umělé inteligence ve vzdělávání nakonec vyžaduje vyvážený přístup, který zohlední jak bezpečnost, tak soukromí studentů. Školy, rodiče a technologické společnosti musí spolupracovat na vytváření politik, které chrání mladé lidi, aniž by byla ohrožena jejich svoboda a právo na bezpečné a důvěryhodné vzdělávací prostředí.