V americké střední škole v Marylandu došlo k incidentu, kdy bezpečnostní systém s umělou inteligencí označil sáček chipsů za zbraň. Student Taki Allen skončil v poutech – a případ znovu otevírá debatu o spolehlivosti a etice AI ve školním dohledu.
Spojené státy našly způsob, jak zmírnit problémy s bezpečností, které mají ve veřejných prostorách, jako jsou školy a nákupní centra: používají dohledové systémy poháněné umělou inteligencí. Situace však není tak pozitivní. Bohužel netrvalo dlouho a objevily se problémy: student střední školy v Marylandu byl spoután a prohledán poté, co spustil alarm bezpečnostního systému. Důvod? Měl u sebe sáček Doritos, který byl mylně považován za zbraň.
Umělá inteligence vyvolala v USA nepokoje
Taki Allen, student, kterého se záměna týkala, uvedl, že držel sáček chipsů s jednou rukou nataženou a jedním prstem na vnější straně, což si umělá inteligence mylně vyložila jako zbraň. Po spuštění alarmu systému nařídili pracovníci ochranky studentovi, aby si klekl a dal ruce za záda, načež mu byla nasazena pouta, dokud se situace nevyjasní. Jedná se o druhé zatčení umělou inteligencí v USA během necelých dvou týdnů, což svědčí o existenci problému.
Katie Smithová, ředitelka centra, informovala rodiče, že poplach byly přezkoumán a zrušen bezpečnostním oddělením. Ve skutečnosti poznamenala, že se tak stalo ještě předtím, než ona sama zalarmovala policii, ale tato prohlášení způsobila zmatek: podle jiných zdrojů Smithová nevěděla, že poplach byl zrušen, když kontaktovala pracovníka školy, který následně kontaktoval místní úřady.
Společnost Omnilert, která je za systém zodpovědná, vyjádřila svou nespokojenost s touto situací a uvedla, že má obavy o studenta i postiženou komunitu. Navzdory chybě však ujistila, že „proces fungoval tak, jak měl“, což je prohlášení, které vyvolalo debatu o limitech a spolehlivosti umělé inteligence v oblasti bezpečnosti ve školách. Případ totiž znovu vyvolal kritiku používání umělé inteligence pro dohled ve vzdělávacích prostorách.
AI zatím není připravena pro samostatnou činnost
Pro mnohé nelze tato místa spojovat s falešnými poplachy, které generují traumatické následky. V důsledku toho analytici zpochybňují, zda jsou systémy detekce zbraní založené na umělé inteligenci vybaveny pro interpretaci každodenních gest nebo souvislostí, protože mohou vést k chybám, které končí tragédií. Ať tak či onak, tento příběh připomíná, že lidský dohled je pro zmírnění dopadu umělé inteligence zásadní.
Zavádění dohledových systémů založených na umělé inteligenci v amerických školách je již několik let předmětem diskusí. Představa je taková, že tyto technologie mohou pomoci předcházet násilným incidentům, jako je střelba ve školách, tím, že odhalí zbraně nebo podezřelé chování dříve, než k nim dojde. Přesnost těchto systémů je však stále zpochybňována. Podle zprávy Stanfordovy univerzity mohou být algoritmy umělé inteligence náchylné k chybám, zejména ve složitých situacích nebo při práci s nekvalitními daty.
Využití umělé inteligence při dohledu nad školami navíc vyvolává obavy o ochranu soukromí studentů. Organizace, jako je Americká unie občanských svobod (ACLU), varovaly, že masový dohled by mohl porušovat práva studentů na soukromí a vytvářet prostředí nedůvěry. Tyto systémy, pokud s nimi nebude správně nakládáno, by mohly být využívány k nadměrnému sledování a kontrole studentů.
Na druhou stranu někteří zastánci této technologie tvrdí, že s řádným školením a lidským dohledem může být umělá inteligence cenným nástrojem pro zvýšení bezpečnosti ve školách. Trvají však na tom, že musí být zajištěna rovnováha mezi bezpečností a soukromím a že systémy musí být transparentní a odpovědné.
Umělá inteligence má sice potenciál zlepšit bezpečnost ve školách, je však nezbytné, aby byla implementována s opatrností a rozvahou. Chyby, jako byla ta s Taki Allenem, zdůrazňují potřebu vyváženého přístupu, který zahrnuje jak technologie, tak lidský dohled, aby byla zajištěna bezpečnost bez ohrožení práv studentů.