Imagine un sistema que acierta el 90% de las veces. Ahora imagine que la prueba que proporciona a continuación tiene una precisión del 88%. Es de esperar que el resultado combinado esté en algún punto intermedio. No es así: es inferior a cualquiera de ellos por separado. Esto sucede porque los errores no cuadran: se multiplican.
¿Qué pasa si aplicamos esta lógica a los miles de millones de mensajes privados que la Unión Europea ha permitido escanear a las plataformas digitales, según la normativa europea, para prevenir el abuso sexual de menores? El número de personas inocentes identificadas erróneamente como abusadores por esta propuesta denominada "Control de Chat" no sería un "error de redondeo". Sería mucho más antiguo.
Control de chat, bloqueado por pelo.
La semana pasada, el Parlamento Europeo canceló la extensión Chat Control 1.0 por un solo voto. Por lo tanto, en abril finalizará un experimento de cinco años que permitió, pero no exigió, que las plataformas escanearan mensajes privados en busca de material de abuso sexual infantil. Pero no la batalla.
Se están llevando a cabo negociaciones sobre Chat Control 2.0, una regulación permanente con requisitos técnicos mucho más ambiciosos entre la Comisión Europea, el Parlamento Europeo y el Consejo de la UE, que representa a los gobiernos de los estados miembros. El acuerdo final se espera para julio de 2026.
Clarote & AI4Media / https://betterimagesofai.org., CC BI-SA Lo que realmente exige la regulación
Chat Control 1.0, un marco provisional que acaba de expirar, se basó principalmente en la coincidencia de huellas dactilares, conocida como coincidencia de hash. Cada imagen genera una firma matemática única y luego el sistema compara esa firma con una base de datos de material conocido de abuso sexual infantil (CSAM). No siempre fue eficaz, como el documento del informe de implementación de la Comisión Europea, pero al menos tenía un objetivo definido.
Sin embargo, Chat Control 2.0 es una propuesta radicalmente diferente. La regla permanente propuesta obligaría a las plataformas a detectar CSAM desconocidos y comportamientos nunca antes identificados utilizando clasificadores de inteligencia artificial.
Esta nueva regulación, de adoptarse, mantendría el escaneo voluntario a través de plataformas digitales. Además, requisitos de verificación de edad que pondrían fin a la comunicación anónima. Los críticos, incluido el Parlamento Europeo en su propia evaluación de impacto, argumentan que este escenario alentaría a las plataformas a realizar una vigilancia masiva.
Por qué la tecnología no puede hacer lo que exige la ley
En los sistemas de detección en cadena, cada clasificador -un programa de inteligencia artificial entrenado para categorizar automáticamente el contenido- tiene su propio margen de error. Si estos errores están vinculados, cada paso erosiona silenciosamente la confianza en los resultados.
El propio Informe sobre aplicación de la ley de 2025 de la Comisión Europea reconoce tasas de error de entre el 13 y el 20 por ciento para las tecnologías de detección utilizadas con Chat Control 1.0. Esto quiere decir que una de cada cinco advertencias recayó en alguien que no había hecho nada malo.
El problema del aseo revelador es aún más revelador. El Proyecto Artemis de Microsoft, la herramienta más citada en los debates políticos europeos sobre el tema, tiene una precisión del 88%. La propia Microsoft desaconseja confiar en esa cifra –señalando que se derivó de una única técnica en inglés entrenada en un pequeño conjunto de datos de casos conocidos– y que la tasa de error real podría ser mayor.
Por tanto, no existe una auditoría independiente de la tecnología. Los expertos en reconocimiento de texto estiman que las tasas de error apenas bajan del 5 al 10 por ciento, dependiendo del tipo de material. Por mil millones de mensajes intercambiados diariamente, eso equivale a entre 50 y 100 millones de falsos positivos cada día.
Peligro de resultados falsos positivos
El problema va más allá de los números. Los sistemas de detección no pueden distinguir de forma fiable entre contenidos legales e ilegales en casos ambiguos. Un niño en una bañera. Fotografía médica. Desnudez artística. Foto de vacaciones familiares. Todos potencialmente marcados como positivos.
Detectar el acoso es aún más complejo: requiere comprender el contexto, la intención, el subtexto y los matices culturales en docenas de idiomas. Thorn, una empresa que desarrolla herramientas comerciales de inteligencia artificial para proteger a menores del abuso sexual en línea, describe explícitamente la solución simplista de combinar clasificadores pornográficos y estimación de edad como inadecuada.
Estos no son problemas que una mejor IA pueda resolver. Son en sí mismos esenciales para la tarea de clasificar contenidos potencialmente ilegales.
En mi experiencia como investigador e ingeniero de IA especializado en sistemas de detección de CSAM para el Centro Nacional de Ciberseguridad (INCIBE) y la Cooperativa Panacea, he sido testigo de que lo que tenemos ahora no es una tecnología lista para integrarse en el marco policial. Es una tecnología que todavía está tratando de entender lo que se avecina.
¿Malentendido o algo más?
Hay dos maneras de explicar por qué sigue avanzando una legislación tan insuficiente desde el punto de vista de las posibilidades tecnológicas.
La primera es caritativa: los formuladores de políticas creen genuinamente que estas tasas de error son aceptables, y nadie en la sala les ha explicado que cada paso adicional en la cadena de clasificación multiplica, en lugar de promediar, el error acumulativo. La complejidad técnica y la urgencia en torno a la protección infantil hacen que sea difícil detenerse y calcular.
El segundo es menos conveniente: la infraestructura de vigilancia que se está construyendo tiene valor, independientemente de si detecta efectivamente el CSAM. Un marco que obligue a las plataformas a escanear comunicaciones privadas a escala, notificar a las autoridades y retener datos ya no es útil simplemente porque sus clasificadores de IA son imprecisos. Se convierte en un instrumento diferente.
La pregunta sigue abierta a todos: ¿por qué, después de años de constantes objeciones por parte de los criptógrafos, las autoridades de protección de datos, el Supervisor Europeo de Protección de Datos y el Tribunal Europeo de Derechos Humanos, esta ley sigue encontrando nuevas formas de sobrevivir?
¿Qué está pasando ahora?
Chat Control 1.0 está muerto, por un voto. Pero continúan las negociaciones a tres bandas sobre el control del chat 2.0, entre la Comisión, el Parlamento y los gobiernos de los Estados miembros. Las sesiones están previstas para el 4 de mayo y el 29 de junio, y se espera el acuerdo final en julio. Los Estados miembros siguen insistiendo en la posibilidad de vigilancia, que el parlamento ha rechazado repetidamente. El Consejo no aceptó ni una sola exigencia esencial del Parlamento durante las negociaciones que acaban de fracasar.
Por supuesto, si la regla permanente se aprueba de una manera que requiera una detección masiva basada en inteligencia artificial, no funcionará como se describe. Según sus críticos, generará millones de acusaciones falsas, abrumará a las fuerzas del orden con ruido y advertencias inútiles y desviará recursos de investigaciones selectivas y ordenadas por los tribunales que realmente condenen a los perpetradores.
Alexander Hanff, víctima de abuso sexual y defensor de los derechos digitales, sostiene que la vigilancia masiva daña activamente a las víctimas al destruir los espacios seguros de los que dependen.
De hecho, en una nota relacionada, una víctima de abuso presentó una demanda a través de la organización alemana de libertades civiles GFF contra Meta por las prácticas de escaneo habilitadas por Chat Control 1.0. El demandante señala que no puede hablar libremente sobre su experiencia a través de estas plataformas sin correr el riesgo de ser señalado por los mismos sistemas diseñados para protegerlo.
Hay una razón por la que esta regulación no se conoce popularmente como Ley de Protección Infantil en Línea: ha sido apodada Control de Chat. En una era en la que el abuso infantil se hace más visible con la llegada de la inteligencia artificial, todavía es válido cuestionarse si nuestro objetivo es proteger a los menores o simplemente controlarlos.
.webp)
0 Comentarios