Kvůli pytlíku chipsů na něj mířili zbraněmi. Takhle funguje školní AI

Kvůli pytlíku chipsů na něj mířili zbraněmi. Takhle funguje školní AI

Zdroj obrázku: SmileStudioAP / iStockphoto

Před vchodem do střední školy v Marylandu zastavilo osm policejních aut 16letého studenta Takiho Allena poté, co AI systém detekce zbraně mylně identifikoval jeho sáček čipsů Doritos jako zbraň. Událost znovu otevřela diskusi o přesnosti a etice použití AI ve školním dohledu.


To, co mělo být pro šestnáctiletého teenagera obyčejným odpolednem po fotbalovém tréninku, se změnilo ve scénu z akčního filmu. Před vchodem do Kenwoodské střední školy se právě shromáždilo osm policejních aut s příslušnými policisty, kteří křičeli „K zemi!“ a drželi v ruce zbraň. Důvod? Algoritmus umělé inteligence v kamerovém systému identifikoval tvar zbraně v kapse jednoho z nich.

Chyba s následky

Dotyčným mladíkem byl Taki Allen, student školy a hráč jejího fotbalového týmu, který si po tréninku povídal s kamarády, když se náhle ocitl v obklíčení policistů, kteří na něj mířili zbraněmi:

Související článek

Válka jako videohra: Ukrajinci získávají body za likvidaci nepřátel
Válka jako videohra: Ukrajinci získávají body za likvidaci nepřátel

Většina útoků dronů probíhajících na rusko-ukrajinské frontě mine svůj cíl. Spolehlivou alternativou se stala gamifikace situace pomocí bodového systému.

„Řekli mi, abych si lehl na zem. Spoutali mě. Myslel jsem, že mě chtějí zabít.“

Údajná „zbraň“, která vyvolala zásah, byl ve skutečnosti sáček pikantních Doritos, který měl student zmuchlaný v kapse kalhot. Systém detekce zbraní založený na umělé inteligenci, který provozuje společnost Omnilert, vydal automatický poplach, když identifikoval tvar obalu jako možnou střelnou zbraň. O několik hodin později na to Allen vzpomínal takto:

„Ukázali mi obrázek a řekli: Tohle vypadá jako zbraň. Řekl jsem: Ne, je to čips.“

Jeho dědeček Lamont Davis to shrnul dramaticky, ale ne nepřesně:

„Bože chraň, můj vnuk mohl být mrtvý, kdyby se jen trochu pohnul.“

Jak se to stalo

Dotyčný systém patří společnosti Omnilert Gun Detection, který byl v roce 2024 zaveden v několika školách okresu Baltimore. Podle společnosti její software „využívá umělou inteligenci k analýze záběrů z bezpečnostních kamer v reálném čase a k identifikaci možných zbraní“, přičemž okamžitě zasílá upozornění úřadům.

Teoreticky je detekce ověřena lidským operátorem předtím, než policie začne jednat. Incident na střední škole v Kenwoodu v praxi ukázal, že tento proces se může vážně zvrtnout. Společnost Omnilert označila tuto událost za „falešně pozitivní“, ale hájila se tím, že systém „funguje tak, jak má“, protože „upřednostňuje bezpečnost a rychlé ověření člověkem“.

Kontext dohledu umělé inteligence ve školách

Využívání umělé inteligence pro dohled ve školách se v posledních letech zvýšilo, zejména v USA, kde si střelba ve školách vyžádala přísnější bezpečnostní opatření. Tento typ technologie však není bez kontroverzí. Kritici tvrdí, že systémy umělé inteligence mohou mít vrozené předsudky a produkovat významné chyby, jako například v případě Takiho Allena.

Technologie detekce zbraní na bázi umělé inteligence je prezentována jako slibný nástroj prevence násilí páchaného střelnými zbraněmi ve školách, ale její zavádění musí být pečlivě řízeno, aby se předešlo incidentům, jako byl ten na střední škole v Kenwoodu. Odborníci navrhují, aby byly stanoveny jasné protokoly pro ověřování výstrah lidmi a zásahy policie, jakož i odpovídající školení pro obsluhu těchto systémů.

Důležitost přesnosti umělé inteligence

Incident na střední škole v Kenwoodu zdůrazňuje význam přesnosti systémů umělé inteligence, zejména pokud jsou používány ve vysoce citlivých kontextech, jako je bezpečnost ve školách. Chyba při identifikaci může mít vážné důsledky nejen pro zúčastněné osoby, ale také pro důvěru veřejnosti v tyto technologie.

Aby se zvýšila přesnost systémů detekce zbraní, musí vývojáři umělé inteligence pracovat na snížení počtu falešně pozitivních a negativních výsledků a zajistit, aby algoritmy dokázaly přesně rozlišovat mezi neškodnými objekty a skutečnými hrozbami. Kromě toho je zásadní spolupráce mezi technologickými společnostmi, školskými orgány a orgány činnými v trestním řízení, aby bylo zajištěno, že tyto nástroje budou používány efektivně a bezpečně.

Případ Taki Allen poukazuje na potřebu rovnováhy mezi bezpečností a soukromím ve školách. Technologie dohledu založená na umělé inteligenci může přinést významné výhody z hlediska prevence násilí, ale zároveň vyvolává etické a praktické problémy, které je třeba řešit. Transparentnost při používání těchto technologií spolu se zapojením školní komunity do tvorby bezpečnostních politik je zásadní pro zajištění jejich odpovědného a efektivního využívání.

#