Los sistemas de vigilancia con inteligencia artificial están provocando un número sorprendente de arrestos erróneos.

Hoy en día, los sistemas de vigilancia de IA están por todas partes. Están observando nuestras carreteras, rastreando nuestras compras en el supermercado e incluso monitoreando los baños escolares.

Sin embargo, estos sistemas tienen un inconveniente perjudicial: son un poco demasiado eficaces al señalar conductas imprudentes, lo que provoca un asombroso número de arrestos y detenciones involuntarias.

Un nuevo informe del Milwaukee Independent revela que las escuelas que implementan sistemas de vigilancia para monitorear conversaciones en línea sobre violencia han registrado una cantidad sorprendente de alertas. Muchas de ellas, evidentemente, no representan amenazas accionables, pero aún así pueden llevar a detenciones involuntarias.

Por ejemplo, en un distrito escolar de Lawrence, Kansas, una herramienta de monitoreo de seguridad en línea llamada Gaggle marcó más de 1,200 incidentes en línea en un período de 10 meses. Sin embargo, dos tercios de esas alertas resultaron ser no problemáticas, según el Independent.

Aunque se pueden desestimar muchas alertas falsas, las escuelas en estados con leyes de cero tolerancia, como Tennessee o Florida, están obligadas a informar a las autoridades policiales sobre casos en los que los estudiantes sugieren violencia de alguna forma.

En el Distrito Escolar del Condado de Polk en Florida —donde Gaggle marcó alrededor de 500 estudiantes en cuatro años— esto ha llevado a que al menos 72 niños hayan sido arrestados o hospitalizados involuntariamente bajo la ley estatal Baker Act.

“Un número muy alto de niños que pasan por un examen involuntario lo recuerdan como una experiencia realmente traumática y dañina, no como algo que les ayude con su atención de salud mental,” dijo Sam Boyd, un abogado del Centro de Derecho de la Pobreza del Sur, al Independent.

Muchos de esos estudiantes ni siquiera se dan cuenta de que sus correos electrónicos, chats en línea y búsquedas en Google en equipos escolares están siendo monitoreados, y mucho menos que han hecho algo malo. Lesley Mathis, madre de Tennessee, por ejemplo, contó al Independent que su hija de octavo grado fue arrestada, interrogada, sometida a un registro corporal y detenida en la cárcel durante una noche por algunos comentarios en línea.

Específicamente, los amigos de la estudiante se burlaban de su complexión “mexicana”, a pesar de que tiene otra ascendencia. “El jueves matamos a todos los mexicanos,” respondió la estudiante.

Esos comentarios son, por supuesto, muy desagradables —pero estaba claro que se trataba de una inmadurez propia de un estudiante de octavo grado, no de una amenaza real.

“Me hizo sentir, ¿es esta la América en la que vivimos?” dijo Mathis. “Era esta tecnología estúpida que solo recoge palabras al azar y no considera el contexto.”

En los Estados Unidos, los estudios muestran que los jóvenes que experimentan detenciones juveniles —incluso por cortos períodos, como en custodia preventiva— experimentan peores resultados en su desarrollo en comparación con sus pares. Esto incluye tasas más altas de incarcelación en la adultez, tasas más bajas de empleo a tiempo completo y peor salud en la adultez.

Aún así, algunos administradores escolares creen que es un riesgo que vale la pena correr, aunque hay pocas evidencias que sugieren que la tecnología de vigilancia realmente esté reduciendo los niveles de violencia en las escuelas estadounidenses. Como comentó la miembro de la junta escolar de Lawrence, Anne Costello, en una reunión de 2024: “A veces hay que considerar el sacrificio por el bien mayor.”

Más sobre vigilancia: La policía admite que el panóptico de vigilancia de IA sigue teniendo problemas con «algunos grupos demográficos»