No es necesario ser un genio de la informática para sabotear la inteligencia artificial de un sistema de apoyo a la atención sanitaria. Bastaría con que alguien introdujera entre 100 y 500 imágenes manipuladas en una base de datos de millones.
Esa pequeña cantidad de "veneno digital" puede representar una cienmilésima parte de los datos de entrenamiento. Con esa pequeña parte, un sistema de inteligencia artificial diseñado para leer rayos X o asignar trasplantes puede aprender a fallar. Y no se hará al azar. Puede hacer esto para un grupo específico de personas, mientras trabaja con total precisión para el resto de la población.
Lo más alarmante no es la facilidad de ataque, sino nuestra ceguera actual. Estos sabotajes son estadísticamente invisibles para los controles de calidad estándar. Para cuando se descubran estas anomalías, el daño ya estará hecho.
El mito de la seguridad en números
Existe la creencia popular de que la cantidad de datos necesarios para alimentar la IA es en sí misma un escudo. Tendemos a pensar que en un océano de millones de datos médicos, unas pocas gotas de información falsa se disuelven sin causar daño. La evidencia refuta categóricamente esta suposición.
Dos equipos de investigación, del Instituto Karolinska (SMAILE), de Suecia, y de la Universidad Politécnica de Madrid (InnoTep), evaluaron 41 estudios clave sobre seguridad en inteligencia artificial médica publicados en los últimos años. Tras este proceso, podemos concluir que el éxito del ataque no depende del porcentaje de datos dañados, sino del número absoluto de muestras.
Esto significa que lo que estamos ante una vulnerabilidad estructural: los sistemas de inteligencia artificial, por sí solos, son susceptibles de una manipulación concisa, disciplinada y dirigida.
La mecánica de la mentira repetida
¿Cómo un puñado de datos engaña a un sistema tan complejo? El mecanismo de ataque replica la vieja máxima de la propaganda autoritaria: "una mentira repetida mil veces se convierte en verdad".
El fenómeno del adoctrinamiento se produce en el aprendizaje automático. Es decir, el sistema no ve los datos sólo una vez, sino que los revisa en ciclos repetidos. Si se alimenta un conjunto reducido de muestras ficticias, el sistema las procesará una y otra vez en estos ciclos. De esta forma, estas muestras maliciosas multiplican su impacto en el resultado final.
Llegados a este punto tenemos un sistema que ha internalizado una falsa realidad. Lo más perverso es que la IA "tóxica" funciona normalmente para la mayoría de los pacientes: sólo "comete errores" en casos y circunstancias diseñadas para fallar.
El resultado del ataque no es un modelo fallido, sino un modelo corrupto. Mantiene intacta su utilidad general, pero realiza una purga selectiva contra, por ejemplo, un grupo objetivo. No es un error aleatorio; Es una discriminación codificada matemáticamente camuflada bajo una apariencia general de eficiencia.
La paradoja de la privacidad
Quizás el hallazgo más irónico de nuestro trabajo es que existen leyes diseñadas para protegernos que enfatizan este peligro. Regulaciones clave como el Reglamento General de Protección de Datos son esenciales para garantizar la privacidad del paciente, pero también pueden actuar inadvertidamente como un escudo para los atacantes.
Para detectar un sabotaje tan sutil como el descrito, sería necesario comparar la información de miles de pacientes entre diferentes centros de salud. Sin embargo, la ley limita exactamente este tipo de vigilancia masiva y correlación de datos.
Esto crea una "paradoja de seguridad". Protegemos la privacidad de los pacientes mientras conectamos los ojos al sistema que se supone debe protegerlos. El resultado es que estos ataques pueden permanecer ocultos durante largos períodos de tiempo.
Defensa basada en la pluralidad
En este contexto, la ciberseguridad tradicional no es suficiente. En nuestra investigación, proponemos una solución defensiva denominada MEDLEI (Sistema de Diagnóstico por Conjunto Médico con Apalancamiento de la Diversidad) para el contexto de atención médica. Frente al pensamiento único del modelo optimizado, proponemos un valor de discrepancia.
Nuestra propuesta es crear "juntas médicas digitales" compuestas por diferentes sistemas de inteligencia artificial, incluyendo sus versiones anteriores, así como diferentes diseños y proveedores. Con esta diversidad, un atacante podría adoctrinar maliciosamente a uno de ellos, pero sería muy complejo repetir el proceso en los demás.
El proceso de consulta pasaría por estos "juntos médicos digitales". Por supuesto, dada la variedad de sistemas de IA involucrados, podría haber desviaciones radicales en el resultado. Pero si eso sucede, no se debería imponer una falsa unanimidad. En lugar de ello, deberíamos asumir que no hay consenso y dar la alerta para una revisión humana.
La era de la inocencia tecnológica respecto a la inteligencia artificial ha terminado. No debemos aceptar "cajas negras" que asimilen una verdad impuesta. Si queremos que el aprendizaje automático sea un elemento positivo en el cuidado de nuestra salud, es necesario comprender sus limitaciones y corregirlas con el rigor de nuestros procedimientos y conocimiento humano.
.webp)
0 Comentarios