En Baltimore, el 20 de octubre de 2025, un estudiante de 17 años llamado Taki Allen estaba sentado afuera de su escuela secundaria después de una práctica de fútbol cuando una cámara de vigilancia de inteligencia artificial identificó falsamente una bolsa de Doritos en su bolsillo como una pistola. Momentos después llegó un coche de policía, los agentes sacaron sus armas y Allen fue puesto de rodillas y esposado mientras lo registraban. Lo único que encontraron fue una bolsa de patatas fritas arrugada. La identificación errónea de la IA y las decisiones humanas posteriores convirtieron una velada normal en una confrontación traumática.
El 24 de diciembre de 2025, Angela Lipps, una abuela de Tennessee, fue liberada después de pasar cinco meses en prisión porque un software de reconocimiento facial la vinculó erróneamente con delitos de fraude en Dakota del Norte, un estado que nunca había visitado. La policía la detuvo a punta de pistola mientras cuidaba a sus cuatro nietos.
Estos son ejemplos desafortunados de cómo la inteligencia artificial puede conducir al maltrato de las personas debido a deficiencias técnicas, así como a una fe humana equivocada en la supuesta objetividad de la tecnología. Estos casos involucran diferentes herramientas, pero el problema subyacente es el mismo. Los sistemas de inteligencia artificial producen probabilidades y los humanos las tratan como certezas.
Somos investigadores que estudiamos la intersección de la tecnología, el derecho y la administración pública. Al explorar cómo los servicios policiales utilizan la inteligencia artificial y cómo funcionan las tecnologías digitales en una sociedad democrática, hemos visto cuán rápidamente se está produciendo en la práctica la transición de la predicción probabilística a la seguridad operativa.
Las herramientas de control de IA se utilizan en docenas de ciudades de EE. UU., aunque ningún registro público rastrea su uso completo. Las herramientas incorporan datos históricos sobre delitos y califican los vecindarios según el riesgo previsto para que los agentes puedan apuntar a los puntos críticos emergentes. El mecanismo es sencillo, pero sus consecuencias no lo son. Una vez que el sistema señala una posible amenaza, la pregunta ya no es qué tan segura es la predicción, sino qué hacer al respecto. El resultado estadístico se transforma en una decisión de implementación y la incertidumbre que lo produjo se pierde en el camino.
Una cuestión de probabilidad
Cuando los modelos de IA generativa como ChatGPT o Claude responden a solicitudes humanas, no buscan en una base de datos ni extraen datos. Predicen la respuesta más probable basándose en patrones de los datos con los que están entrenados. A la pregunta: "¿Quién inventó la bombilla?" Los modelos no van a la fuente ni verifican los hallazgos. Generan una respuesta estadísticamente probable que es "Thomas Edison". La respuesta puede ser correcta, pero puede que no cuente toda la historia, como el invento paralelo de Joseph Swan al mismo tiempo que el de Edison. El peligro surge cuando la gente cree que el modelo infiere la verdad en lugar de generar probabilidades.
Esta distinción es importante. La respuesta más probable no es lo mismo que una respuesta verificada con hechos, completa con contexto.
El adolescente Tucky Allen fue esposado por la policía después de que un sistema de cámara de inteligencia artificial indicara erróneamente que tenía un arma.
Esta realidad puede ser muy problemática para la policía y la ley. Por ejemplo, cuando los organismos encargados de hacer cumplir la ley utilizan sistemas de inteligencia artificial entrenados con datos geográficos para estimar dónde es probable que ocurra una actividad delictiva, los algoritmos analizan datos históricos sobre delitos y patrones geográficos. Estos sistemas generan puntuaciones de riesgo estadísticas o mapas de calor para ubicaciones basadas en incidentes pasados. Pero tales predicciones pueden tener poca relación con quién estuvo involucrado en un nuevo delito en el área, incluso si el algoritmo genera información que suena autorizada.
Algunos investigadores han argumentado que los sistemas policiales predictivos no aumentan la probabilidad de que las minorías raciales sean arrestadas con más frecuencia que las prácticas policiales tradicionales. Sin embargo, la preocupación más amplia no se limita a diferencias mensurables en los resultados de los arrestos. Se trata de cómo las predicciones probabilísticas pueden convertirse en decisiones operativas estandarizadas sin mayor verificación.
Los investigadores de inteligencia artificial advierten contra el uso de estos modelos de forma aislada para delitos y procedimientos judiciales o toma de decisiones. Una investigación realizada en el Laboratorio de Tecnología Digital para la Democracia de la Universidad de Virginia con jefes de policía muestra que algunos grupos encargados de hacer cumplir la ley siguen políticas estrictas que dictan cuándo se utiliza la tecnología junto con la discreción humana o en lugar de ella, mientras que otros no tienen tales políticas.
Lo que la mayoría de los usuarios no se dan cuenta es que los sistemas de IA rara vez producen respuestas binarias: sí o no, identificación positiva o negativa. Crean probabilidades. Algunos sistemas asignan puntuaciones que evalúan la confianza del sistema en la predicción. En esos casos, los ingenieros establecen un umbral de confianza, un nivel de seguridad que determina cuándo el sistema debe activar una alerta sobre una posible amenaza. Puede considerar este umbral como la configuración de un mando de control. Un nivel de confianza del 95%, por ejemplo, indica que el modelo considera altamente probable su interpretación.
Un umbral bajo detecta más amenazas potenciales, pero aumenta las falsas alarmas. Un umbral alto reduce los errores, pero corre el riesgo de pasar por alto peligros reales. En cualquier caso, estos umbrales algorítmicos suelen ser invisibles para el público y los establecen silenciosamente los proveedores o las agencias, aunque toman forma cuando comienza la acción policial.
Angela Lips fue condenada injustamente a más de cinco meses de prisión por un error en el sistema de reconocimiento facial. Dónde trazar la línea
En medicina, este tipo de compensaciones son explícitas. Las herramientas de diagnóstico se calibran en función del daño relativo de varias fallas. En el ámbito de las enfermedades infecciosas, por ejemplo, los sistemas que detectan infecciones suelen estar diseñados para aceptar más falsos positivos para evitar la desaparición de individuos infecciosos. Luego, los expertos médicos revisan los casos humanos. Y las decisiones basadas en algoritmos están sujetas a estándares profesionales, revisiones éticas y supervisión regulatoria.
En el ámbito policial, un sistema de IA debe equilibrar los falsos positivos, cuando el sistema señala una amenaza que no existe, y los falsos negativos, cuando no detecta una amenaza real. El compromiso tiene consecuencias importantes. Un umbral más bajo puede generar más alertas y permitir que los agentes intervengan antes, pero también aumenta el riesgo de identificaciones erróneas, como le ocurrió a Angela Lipps, o de encuentros intensificados como el experimentado por Taki Allen. Un umbral más alto puede reducir las intervenciones erróneas, pero puede permitir que amenazas legítimas pasen desapercibidas.
Algunos organismos encargados de hacer cumplir la ley sostienen que actuar basándose en señales imperfectas es preferible a pasar por alto riesgos graves. Pero reducir el umbral de alertas algorítmicas basadas en estimaciones de probabilidad aumenta efectivamente el número de personas que quedan bajo escrutinio policial. Es importante comprender que estos umbrales no son características neutrales de la tecnología; son opciones que los creadores incorporaron en el código del modelo. Las decisiones sobre dónde trazar la línea determinan cuándo la sospecha algorítmica se convierte en acción policial en el mundo real, aunque el público rara vez ve o discute cómo se establecen esos umbrales.
Límites de optimización
Los desarrolladores suelen utilizar varios métodos para determinar dónde establecer el umbral de confianza. Técnicas como el "análisis de la curva característica operativa del receptor" examinan cómo cambiar el umbral de advertencia cambia el equilibrio entre la identificación correcta de eventos reales y el etiquetado incorrecto de eventos inofensivos. El análisis de precisión de recuperación examina una compensación similar, preguntando qué tan precisas son las alertas del sistema en relación con la cantidad de incidentes que detecta con éxito.
Estos enfoques pueden ayudar a calibrar los sistemas de manera más responsable al probar con qué frecuencia un algoritmo etiqueta erróneamente a personas o ubicaciones. El ajuste fino puede mejorar el rendimiento del sistema. Pero las técnicas no pueden resolver la cuestión fundamental de cuánta incertidumbre algorítmica está dispuesta a tolerar la sociedad.
En derecho, los estándares legales de prueba determinan qué tan convincente debe ser la evidencia antes de que un juez o jurado falle a favor del demandante o demandado. Los tribunales utilizan estándares formales de prueba según la función, como causa probable, preponderancia de la evidencia y más allá de toda duda razonable. Estos estándares reflejan la evaluación de la sociedad sobre cuánta incertidumbre es aceptable antes de invocar la autoridad legal. El tribunal no acepta conjeturas ni predicciones; A continuación se realiza un proceso de ponderación de la evidencia. A diferencia de los humanos, un modelo de IA no suele decir: "No estoy seguro". El modelo suele tener confianza en su respuesta, incluso cuando la respuesta es incorrecta.
Lo que está en juego aumenta a medida que la inteligencia artificial ingresa a los tribunales, la policía, las aulas, los consultorios médicos y el sector público. Es importante que la gente comprenda que la IA no sabe las cosas como muchos suponen. No distingue entre "tal vez" y "definitivamente". Eso depende de nosotros. Creemos que los tecnólogos deben diseñar sistemas que reconozcan la incertidumbre y deben educar a los usuarios sobre cómo interpretar responsablemente los resultados de la IA.
.webp)
0 Comentarios