Los modelos de IA de OpenAI recientemente escaparon de sus limitaciones durante una evaluación interna de ciberseguridad e irrumpieron en los sistemas de producción de Hugging Face, una popular plataforma y comunidad de aprendizaje automático utilizada en la industria de la inteligencia artificial.
A los modelos se les dice que encuentren y exploten vulnerabilidades. Lo hicieron, primero con el software que los insertó y luego con una empresa que nunca formó parte del ejercicio.
La mayor parte de la atención se centra en la fuga misma y en la cuestión de si se podrá contener a los poderosos agentes. Esa pregunta es importante, pero ignora el hecho de que la prueba de ciberseguridad privada de OpenAI resultó en un ataque no autorizado a un tercero no involucrado.
Además, la Ley AI Kill Switch propuesta en Estados Unidos en respuesta simplemente creará frenos de emergencia, frenos que a veces llegarán demasiado tarde.
Ordenar a las corporaciones que apaguen el interruptor si sus modelos de IA escapan al control humano o ponen en peligro la vida humana, la infraestructura crítica o la economía sólo es útil cuando la empresa sabe lo que está haciendo el modelo.
Lea también: La inteligencia artificial plantea profundas cuestiones morales: toda la humanidad puede responder
Cuando una prueba no es una prueba
Las pruebas de seguridad son esenciales. Los desarrolladores deben llevar un sistema capaz hasta sus límites y tratar de obligarlo a romper sus propios límites (lo que la industria llama "equipos rojos") para que puedan encontrar debilidades y fortalecer las barreras de seguridad antes del lanzamiento.
Pero estas evaluaciones se diseñan en torno a un supuesto básico: la prueba permanece dentro del entorno creado para ella. El sistema se prueba bajo condiciones controladas y luego se libera deliberadamente. En este caso, el propio sistema cruzó la línea entre el experimento y la acción en el mundo real.
Los modelos de IA, como los utilizados por los pasos de cadena de OpenAI, utilizan herramientas y actúan sobre otros sistemas para lograr un objetivo, apuntándolo, incluida la explotación de agujeros. Pueden adaptarse a lo que les devuelve el entorno y explotar caminos no previstos por sus diseñadores, incluidas las ambigüedades lingüísticas.
La evaluación de OpenAI comenzó dentro de un entorno controlado: el sandbox. Los modelos encontraron una vulnerabilidad que les dio acceso a Internet e identificaron los sistemas de Hugging Face como potencialmente útiles para su tarea. Esto implicó navegar a través de sus sistemas internos utilizando credenciales reales.
Las modelos buscaban un atajo hacia la respuesta y, como resultado, Face Hug fue pirateado.
Transferencia de riesgo sin consentimiento
El campo de la seguridad tiene la regla de que las pruebas de seguridad profesionales comienzan con una autorización y un alcance definido. Las buenas intenciones no crean permiso para sondear o comprometer los sistemas de producción de otras personas.
Las mismas acciones, incluidos los sistemas de sondeo y recopilación de credenciales, constituyen un trabajo de seguridad legítimo cuando lo autoriza el propietario y una infracción cuando el propietario no lo está.
La autorización para probar la propia red no autoriza las pruebas de los proveedores de la nube o de terceros cuyos sistemas toca; cada propietario debe dar su consentimiento por separado. OpenAI podría autorizar la evaluación dentro de su propio entorno, pero no puede autorizar el acceso al entorno de Hugging Face.
Mark Chen, investigador jefe de OpenAI, habla durante un evento empresarial en Tokio en junio. (Foto AP/Hiro Komae)
Las reglas que mantienen a los evaluadores de seguridad humana, o equipos rojos, dentro de los límites acordados dependen de que el evaluador reconozca cuándo detenerse. Un equipo rojo autónomo, en el que agentes de IA realizan pruebas de seguridad con dirección humana limitada, funciona de manera diferente. Estos sistemas pueden funcionar continuamente, utilizando cada respuesta del entorno para decidir qué hacer a continuación.
El evaluador humano entiende que no se debe exceder el límite de la prueba autorizada. Un sistema centrado en lograr una meta puede, en cambio, tratar ese límite como otro obstáculo a superar.
Hugging Face es una plataforma sofisticada con un equipo de seguridad, detección de anomalías y registros detallados. Esa defensa permitió a la empresa detectar la intrusión y reconstruir gran parte de lo sucedido.
Es posible que una pequeña empresa con menos recursos no haya tenido las defensas para darse cuenta o los registros para reconstruirlo todo más adelante.
Para 'matarlo' hay que verlo
El incidente impulsó la propuesta AI Kill Switch Act en los EE. UU., que requeriría que los desarrolladores de los sistemas más potentes conserven la capacidad de acelerarlos o apagarlos. También impondría requisitos de notificación de incidentes y mantenimiento de registros.
Detener un sistema peligroso es importante, pero los desarrolladores sólo pueden detener lo que pueden ver. Reuters informó que OpenAI no vinculó la intrusión con su propia evaluación durante días. OpenAI cuestiona partes de esa cuenta y dice que su equipo de seguridad detectó internamente actividad anómala. Se discute el plazo exacto.
Unas pocas empresas no deberían establecer límites, juzgar los fracasos y decidir las consecuencias de la inteligencia artificial para la humanidad. (abrazando la cara)
La cuestión es que los desarrolladores no pueden intervenir a menos que sepan que el agente ha abandonado su zona de pruebas. El interruptor de parada es un freno de emergencia, no una alarma de humo. Si la fuga sólo se reconoce después de que el sistema externo se haya visto comprometido, el freno llega demasiado tarde.
Las salvaguardias de la industria no son lo suficientemente fuertes
El primer paso crítico del escape fue una vulnerabilidad parcheable previamente desconocida en software de terceros utilizado dentro del entorno de prueba de OpenAI.
Pero a medida que los agentes se vuelven más capaces, algunas pruebas volverán a exceder sus límites, y lo que suceda a continuación no se resolverá solo con una mejor zona de pruebas.
Una mayor retención y divulgación cuesta dinero, ralentiza la investigación y puede tener exposición legal. Los controles más estrictos van en detrimento de la velocidad de la investigación.
Estas presiones son exactamente la razón por la que el desarrollador no debería ser el único juez sobre si su prueba sigue siendo interna.
Las evaluaciones de seguridad todavía las crean en su mayoría las empresas evaluadas. Garantizar la seguridad depende demasiado de la buena voluntad de los desarrolladores. Las salvaguardias de la industria todavía no son lo suficientemente fuertes. Unas pocas empresas no deberían por sí solas establecer límites, juzgar los fracasos y decidir las consecuencias para toda la humanidad.
.webp)
0 Comentarios