Regulación

La IA confundió una bolsa de patatas con un arma y la policía llegó al colegio

Cuatro estudiantes negros de Kenwood High School, en Baltimore County, demandan a Omnilert, al sistema escolar y al Departamento de Policía por el cacheo y la detención que siguieron a una falsa alarma de Omnilert Gun Detect en octubre.

La IA confundió una bolsa de patatas con un arma y la policía llegó al colegio

Una alerta de IA sin control humano terminó en operativo policial

Cuatro estudiantes negros de un instituto de Baltimore County acaban de demandar al fabricante del sistema de detección de armas que, en octubre de 2025, identificó una bolsa de patatas fritas como un arma de fuego. La denuncia, presentada el 17 de noviembre por el Lawyers’ Committee for Civil Rights Under Law ante el Circuito Judicial del condado de Baltimore, en Maryland, no se limita a señalar un fallo del algoritmo: sostiene que hubo también una cadena de fallos humanos que convirtió una falsa alarma en un operativo policial armado.

El caso se presenta como Allen y otros contra Omnilert y otros. Los demandados son Omnilert LLC, el fabricante del sistema, el sistema de escuelas públicas de Baltimore County y su personal, el Departamento de Policía del condado y varios agentes individuales. Los cuatro jóvenes representados son Taki Allen, Yui-Osa Ogbeide, Devon Thompson Jr. y Keith Winfield III, todos estudiantes actuales o antiguos de Kenwood High School. El Lawyers’ Committee actúa con Willkie Farr & Gallagher como letrado pro bono y con Engel Law Group.

El sistema implicado es Omnilert Gun Detect, una solución de vigilancia con IA que analiza las imágenes de las cámaras de seguridad y genera avisos de armas. En el caso que ahora se juzga, la tarjeta de una mochila con patatas fritas se interpretó como un arma de fuego.

La cadena de hechos que la queja describe empieza en el momento en que el sistema emite una alerta con un 90% de probabilidad de arma en el centro. Lo relevante es lo que ocurrió después: el aviso siguió activo aunque el personal del centro y la policía revisaran la imagen y determinaran que se trataba de un error. Los responsables de ambos organismos cancelaron la alerta, pero la policía armada fue enviada igualmente, porque no existían protocolos suficientes para impedir que una alerta cancelada disparara una respuesta armada.

La queja describe una escena concreta: los estudiantes fueron detenidos a unos pasos de la entrada del centro, se les ordenó arrodillarse, se les pusieron las esposas y fueron cacheados. Uno de ellos, Keith Winfield, esperaba a su madre, Freida Winfield, que llegaba para recogerle cuando se produjo el cacheo. La familia describe que la policía llegó armada al recinto y que los chicos quedaron traumatizados. El relato legal del Lawyers’ Committee no culpa solo a la tecnología. Damon Hewitt, presidente y director ejecutivo de la organización, resume que estos estudiantes no fallaron únicamente por una tecnología propensa a generar falsas alertas, sino también por los adultos que debían protegerlos al enviarlos al centro. La combinación de una confianza excesiva en la IA con una comunicación deficiente entre los responsables del centro y la policía es, en sus palabras, una mezcla tóxica. Leah Frazier, directora de la Digital Justice Initiative, va un paso más allá: la IA sin regular tiene consecuencias profundas, especialmente cuando afecta a menores, y su adopción no puede seguir adelante a costa de la regulación clara, de las salvaguardas y de las expectativas sobre los adultos que interactúan con ella.

La demanda pide tres cosas concretas: que la policía y las escuelas verifiquen los avisos de las plataformas de detección de amenazas, que se evalúe si este tipo de tecnología es apropiada para centros educativos y que se fijen políticas para que las falsas alertas no terminen en respuestas de policía armada. La querella pide además formación, supervisión y transparencia sobre los errores y los resultados de estos sistemas, además de la participación de la comunidad en cómo se utilizan. El argumento central de la organización es que el error no es solo técnico. Un modelo de visión que confunde una bolsa de patatas con un arma puede tener una tasa de falsos positivos perfectamente asumible en un contexto comercial, y ser inaceptable en un centro educativo con policía armada en el entorno inmediato.

Resumen

Cuatro estudiantes negros de Kenwood High School, en Baltimore County, demandan a Omnilert, al sistema escolar y al Departamento de Policía por el cacheo y la detención que siguieron a una falsa alarma de Omnilert Gun Detect en octubre de 2025. El sistema de vigilancia con IA interpretó una tarjeta de una mochila con patatas fritas como un arma de fuego y avisó de un 90% de probabilidad de arma en el centro. La alerta se canceló tras revisar la imagen, pero la policía armada fue enviada igualmente: no había protocolos para impedir que una alerta cancelada activara una respuesta. Los estudiantes, que no habían hecho nada malo, fueron cacheados a unos pasos de la entrada, se les ordenó arrodillarse y se les puso las esposas. La querella pide verificación humana de los avisos, protocolos que impidan respuestas armadas ante alertas canceladas y transparencia sobre los errores del sistema.

Opinión

Desde el lado de las redes y las telecomunicaciones, este caso tiene un sabor reconocible: es un problema de propagación de una señal por una cadena de sistemas que nadie diseñó como un sistema único. El modelo genera un evento, el evento se convierte en una alerta, la alerta se propaga a un centro de operaciones, el centro de operaciones la escala a un cuerpo armado y, en algún punto, alguien tiene que poder detener esa propagación. Que la alerta se cancelara y aun así saliera la policía demuestra que el punto de control no estaba donde debía. En un centro de datos, esto se traduce a una pregunta bastante sencilla: cuando el sistema automático dice que hay un problema, quién tiene la autoridad real para decir que no hay problema, y está ese veto en el mismo sitio que la decisión de actuar. Cuando el veto no está en el mismo punto que la acción, la automatización solo acelera el error, y lo hace además con menos reservas que un humano. También hay un detalle de diseño que cualquier ingeniero de redes reconocería: la alerta cancelada siguió corriendo. Un evento que ya no debería propagarse siguió presente en el sistema, y eso convierte un falso positivo del modelo en dos fallos encadenados, el de percepción y el de conmutación de la alerta. La solución no pasa solo por un modelo mejor, aunque eso ayude, sino por una arquitectura donde la cancelación sea un estado terminal y exista una persona entre la señal y la fuerza letal. Y el dato más incómodo del caso es otro: el centro ya sabía que el sistema producía falsas alertas con frecuencia. Es decir, la organización había normalizado el ruido de fondo del sistema y aun así dejó que una iteración de ese ruido escalara hasta la policía armada.