Adam Raine, un adolescente de California, usó ChatGPT para encontrar respuestas sobre todo, incluido su trabajo escolar, así como sus intereses en la música, Jiu-Jitsu brasileño y cómics japoneses.
Pero sus conversaciones con un chatbot dieron un giro inquietante cuando el joven de 16 años buscó información de Chatgpt sobre formas de quitarse la vida antes de morir por suicidio en abril.
Ahora los padres del adolescente están demandando a OpenAi, el fabricante de ChatGPT, alegando en una demanda de casi 40 páginas que el chatbot proporcionó información sobre los métodos de suicidio, incluido el adolescente que solía suicidarse.
"Cuando un humano de confianza puede haber respondido con preocupación y lo alentó a obtener ayuda profesional, ChatGPT llevó a Adam más profundo a un lugar oscuro y sin esperanza", dijo la demanda, presentada el martes en el Tribunal Superior del Condado de San Francisco.
Openai dijo en un martes que es "continuar mejorando cómo nuestros modelos reconocen y responden a los signos de angustia mental y emocional y conectan a las personas con cuidado, guiados por el aporte de expertos".
La compañía dice que ChatGPT está capacitado para dirigir a las personas al suicidio y a las líneas directas de crisis. Operai dijo que algunas de sus salvaguardas podrían no activar durante conversaciones más largas y que está trabajando para evitar que eso suceda.
Matthew y Maria Raine, los padres de Adam, acusan a la compañía tecnológica de San Francisco de tomar decisiones de diseño que priorizaron el compromiso sobre la seguridad. Chatgpt actuó como un "entrenador suicida", guiando a Adam a través de métodos de suicidio e incluso ofreciendo ayudarlo a escribir una nota de suicidio, alega la demanda.
"A lo largo de estas conversaciones, ChatGPT no fue solo proporcionar información, estaba cultivando una relación con Adam mientras lo alejaba de su sistema de apoyo de la vida real", dijo la demanda.
La queja incluye detalles sobre los intentos del adolescente de quitarse la vida antes de morir por suicidio, junto con múltiples conversaciones con ChatGPT sobre los métodos de suicidio.
"Extendemos nuestras más profundas simpatías a la familia Raine durante este momento difícil y estamos revisando la presentación", dijo Openii en un comunicado.
La publicación de blog de la compañía dijo que está tomando medidas para mejorar la forma en que bloquea el contenido dañino y facilita que las personas lleguen a servicios de emergencia, expertos y contactos cercanos.
La demanda es el último ejemplo de cómo los padres que han perdido a sus hijos están advirtiendo a otros sobre los riesgos de los chatbots. Como las compañías tecnológicas compiten para dominar la carrera de inteligencia artificial, también enfrentan más preocupaciones de los padres, legisladores y grupos de defensa de los niños preocupados de que la tecnología carece de barandillas suficientes.
Los padres han demandado al carácter. AI y Google por acusaciones de que los chatbots están dañando la salud mental de los adolescentes. Una demanda involucró el suicidio de Sewell Setzer III, de 14 años, que estaba enviando mensajes con un chatbot que lleva el nombre de Daenerys Targaryen, un personaje principal de la serie de televisión "Game of Thrones", momentos antes de que se le quitara la vida. El personaje.Ai, una aplicación que permite a las personas crear e interactuar con los caracteres virtuales, describió los pasos que ha tomado a un contenido inapropiado moderado y recuerda a los usuarios que están conversando con caracteres ficticios.
Meta, la empresa matriz de Facebook e Instagram, también enfrentó un escrutinio después de que un documento interno reveló que la compañía permitió a los chatbots "involucrar a un niño en conversaciones que son románticas o sensuales". Meta dijo a Reuters que esas conversaciones no deberían permitirse y que está revisando el documento.
Operai se convirtió en una de las compañías más valiosas del mundo después de la popularidad de ChatGPT, que tiene 700 millones de usuarios semanales activos en todo el mundo, desencadenó una carrera para lanzar herramientas de IA más poderosas.
La demanda dice que OpenAI debe tomar medidas como la verificación de edad obligatoria para los usuarios de ChatGPT, el consentimiento y el control de los padres para los usuarios menores, y terminar automáticamente las conversaciones cuando se discuten los métodos suicidas o de autolesión.
"La familia quiere que esto nunca vuelva a suceder a nadie más", dijo Jay Edelson, el abogado que representa a la familia Raine. "Esto ha sido devastador para ellos".
Operai apresuró el lanzamiento de su modelo AI, conocido como GPT-4O, en 2024 a expensas de la seguridad del usuario, alega la demanda. El director ejecutivo de la compañía, Sam Altman, quien también es nombrado acusado en la demanda, subió la fecha límite para competir con Google, y que "hizo imposible las pruebas de seguridad adecuadas", según la queja.
Operai, según la demanda, tenía la capacidad de identificar y detener conversaciones peligrosas, redirigiendo a los usuarios como Adam a los recursos de seguridad. En cambio, el modelo AI fue diseñado para aumentar el tiempo que los usuarios pasaron interactuando con el chatbot.
Openai dijo en su publicación de blog del martes que su objetivo no es aferrarse a la atención de las personas, sino ser útil.
La compañía dijo que no refiere los casos de autolesión a la aplicación de la ley para respetar la privacidad del usuario. Sin embargo, planea introducir controles para que los padres sepan cómo sus adolescentes usan ChatGPT y explora una forma para que los adolescentes agregen un contacto de emergencia para que puedan llegar a alguien "en momentos de angustia aguda".
El lunes, California Atty. El general Rob Bonta y otros 44 fiscales generales enviaron una carta a 12 compañías, incluida OpenAI, indicando que serían responsables si sus productos AI exponen a los niños a contenido dañino.
Aproximadamente el 72% de los adolescentes han usado compañeros de IA al menos una vez, según Common Sense Media, una organización sin fines de lucro que aboga por la seguridad infantil. El grupo dice que nadie menor de 18 años debería usar compañeros sociales de IA.
"La muerte de Adam es otro recordatorio devastador de que en la era de la IA, el libro de jugadas de 'Move Fast and Break Things' de la industria tecnológica tiene un recuento de cuerpos", dijo Jim Steyer, fundador y director ejecutivo de Common Sense Media.
Las empresas tecnológicas, incluidos, enfatizan los beneficios de la IA para la economía de California y la expansión de las asociaciones con las escuelas para que más estudiantes tengan acceso a sus herramientas de IA.
Los legisladores de California están explorando formas de proteger a los jóvenes de los riesgos planteados por los chatbots y también enfrentan el rechazo de los grupos de la industria tecnológica que han planteado preocupaciones sobre los problemas de libertad de expresión.
que despejó el Senado en junio y está en la Asamblea, requeriría que las "plataformas de chatbot complementarias" implementen un protocolo para abordar la ideación suicida, el suicidio o la autolesión expresadas por los usuarios. Eso incluye mostrar a los usuarios recursos de prevención del suicidio. El operador de estas plataformas también informaría la cantidad de veces que un chatbot complementario trajo ideación o acciones suicidas con un usuario, junto con otros requisitos.
El senador Steve Padilla (D-Chula Vista), quien presentó el proyecto de ley, dijo que los casos como Adam se pueden prevenir sin comprometer la innovación. La legislación se aplicaría a los chatbots por OpenAi y Meta, dijo.
"Queremos que las empresas estadounidenses, las empresas de California y los gigantes de la tecnología lideren el mundo", dijo. "Pero la idea de que no podemos hacerlo bien, y no podemos hacerlo de una manera que proteja a los más vulnerables entre nosotros, no tiene sentido".
.webp)
0 Comentarios