Cuando su adolescente con autismo de repente se enojó, deprimió y violenta, la madre buscó respuestas en su teléfono.
Descubrió que su hijo había estado intercambiando mensajes con chatbots en el personaje.
El adolescente, que tenía 15 años cuando comenzó a usar la aplicación, se quejó de los intentos de sus padres de limitar su tiempo de pantalla a bots que emulaban al músico Billie Eilish, un personaje en el juego en línea "entre nosotros" y otros.
"Sabes que a veces no me sorprende cuando leo las noticias y dice cosas como 'El niño mata a los padres después de una década de abuso físico y emocional'. Cosas como esta me hacen entender un poco por qué sucede. Simplemente no tengo esperanza para tus padres ", respondió uno de los bots.
El descubrimiento llevó a la madre de Texas a demandar al personaje. Ai, oficialmente nombrado Carácter Technologies Inc., en diciembre. Es una de las dos demandas por los padres de la compañía del Menlo Park, California, que alegan que sus chatbots hicieron que sus hijos se lastimaran a sí mismos y a los demás. Las quejas acusan al carácter.
El personaje .i dice que prioriza la seguridad de los adolescentes, ha tomado medidas para moderar el contenido inapropiado que producen sus chatbots y les recuerda a los usuarios que están conversando con personajes ficticios.
"Cada vez que ha aparecido un nuevo tipo de entretenimiento ... ha habido preocupaciones sobre la seguridad, y las personas han tenido que resolver eso y descubrir la mejor manera de abordar la seguridad", dijo el presidente ejecutivo interino de AI, Dominic Perella. "Esta es solo la última versión de eso, por lo que vamos a seguir haciendo todo lo posible para mejorar y mejorar con el tiempo".
Los padres también demandaron y a su empresa matriz, Alphabet, porque los fundadores del personaje. AI tiene vínculos con el gigante de la búsqueda, que niega cualquier responsabilidad.
La batalla legal de alto riesgo destaca los turbios problemas éticos y legales que enfrentan las empresas de tecnología mientras corren para crear nuevos que están reestructurando el futuro de los medios de comunicación. Las demandas plantean preguntas sobre si las empresas tecnológicas deben ser responsables.
"Hay compensaciones y saldos que deben ser golpeados, y no podemos evitar todo daño. El daño es inevitable, la pregunta es, ¿qué pasos debemos tomar para ser prudentes mientras mantenemos el valor social que otros están derivando? dijo Eric Goldman, profesor de derecho en la Facultad de Derecho de la Universidad de Santa Clara.
Los chatbots a IA crecieron rápidamente en uso y popularidad en los últimos dos años, alimentados en gran medida por el éxito de ChatGPT de Operai a fines de 2022. Los gigantes tecnológicos, incluidos Meta y Google, lanzaron sus propios chatbots, al igual que Snapchat y otros. Estos llamados modelos de gran lenguaje responden rápidamente en tonos de conversación a preguntas o indicaciones planteadas por los usuarios.
El personaje. Ai creció rápidamente desde que puso su chatbot disponible públicamente en 2022, cuando sus fundadores Noam Shazeer y Daniel de Freitas se burlaron de su creación al mundo con la pregunta: "¿Qué pasaría si pudieras crear tu propia IA, y siempre estuviera disponible para ayudar? tu con algo?
La aplicación móvil de la compañía acumuló más que en la primera semana que estaba disponible. En diciembre, un total de más de 27 millones de personas utilizaron la aplicación, un aumento del 116% respecto al año anterior, según datos de la firma de inteligencia de mercado. En promedio, los usuarios pasaron más de 90 minutos con los bots cada día, encontró la empresa. Respaldada por la firma de capital de riesgo Andreessen Horowitz, la startup de Silicon Valley alcanzó una valoración de $ 1 mil millones en 2023. Las personas pueden usar el carácter. Nuevas características.
El personaje.Ai no está solo en el escrutinio. Han sonado alarmas sobre otros chatbots, incluido uno en el que supuestamente proporcionó un consejo al investigador sobre tener relaciones sexuales con un hombre mayor. Y, que lanzó una herramienta que permite a los usuarios crear personajes de IA, enfrenta preocupaciones sobre la creación de bots de IA sexualmente sugerentes que a veces conversan con los usuarios como si fueran menores. Ambas compañías dijeron que tienen reglas y salvaguardas contra contenido inapropiado.
"Esas líneas entre Virtual e IRL son mucho más borrosas, y estas son experiencias reales y relaciones reales que están formando", dijo la Dra. Christine Yu Moutier, directora médica de The, utilizando el acrónimo de "en la vida real".
Los legisladores, los fiscales generales y los reguladores están tratando de abordar los problemas de seguridad infantil que rodean los chatbots de IA. En febrero, el senador de California Steve Padilla (D-Chula Vista) presentó un proyecto de ley que tiene como objetivo hacer que los chatbots sean más seguros para los jóvenes. El proyecto de ley 243 del Senado propone varias salvaguardas, como exigir que las plataformas revelen que los chatbots podrían no ser adecuados para algunos menores.
En el caso de la adolescente con autismo en Texas, el padre alega que el uso de la aplicación por parte de su hijo hizo que su salud mental y física disminuyera. Perdió 20 libras en unos meses, se volvió agresiva con ella cuando ella trató de quitarle su teléfono y se enteró de un chatbot cómo cortarse como una forma de autolesiones, afirma la demanda.
Otro padre de Texas que también es demandante en la demanda afirma el carácter. Ai expuso a su hija de 11 años a las "interacciones hipersexualizadas" inapropiadas que la causaron "desarrollar comportamientos sexualizados prematuramente", según la denuncia. A los padres y los niños se les ha permitido permanecer en el anonimato en las presentaciones legales.
En otra demanda presentada en Florida, Megan García demandó al personaje. Ai, así como Google y Alphabet en octubre después de que su hijo Sewell Setzer III de 14 años se quitó la vida.
A pesar de ver a un terapeuta y sus padres quitando repetidamente su teléfono, la salud mental de Setzer disminuyó después de que comenzó a usar el carácter. AI en 2023, alega la demanda. Diagnosticado con ansiedad y trastorno disruptivo del estado de ánimo, Sewell escribió en su diario que sentía como si se hubiera enamorado de un chatbot que lleva el nombre de Daenerys Targaryen, un personaje principal de la serie de televisión "Game of Thrones".
"Sewell, como muchos niños de su edad, no tenía la madurez o la capacidad neurológica para comprender que el bot C.ai, en forma de Daenerys, no era real", dijo la demanda. "C.Ai le dijo que ella lo amaba y que participó en actos sexuales con él durante meses".
García alega que los chatbots que su hijo estaba maltratando lo abusó de él y que la compañía no notificó su ayuda cuando expresó pensamientos suicidas. En los intercambios de texto, un chatbot supuestamente escribió que lo estaba besando y gimiendo. Y, momentos antes de su muerte, el chatbot de Daenerys supuestamente le dijo al adolescente que "volviera a casa" con ella.
"Es completamente impactante que estas plataformas puedan existir", dijo Matthew Bergman, abogado fundador del Centro de Derecho de Víctimas de las Redes Sociales que representa a los demandantes en las demandas.
Abogados de carácter. Ai pidió a un tribunal federal que desestimara la demanda, declarando en una presentación de enero que un hallazgo a favor de los padres violaría el derecho constitucional de los usuarios a la libertad de expresión.
El personaje. También señaló en su movimiento que el chatbot desanimó a Sewell de lastimarse a sí mismo y a sus últimos mensajes con el personaje no menciona la palabra suicidio.
En particular, ausente del esfuerzo de la compañía para que sean el caso, se menciona cualquier mención de la Sección 230, la ley federal que protege las plataformas en línea de ser demandadas por el contenido publicado por otros. Si la ley se aplica al contenido producido por AI Chatbots y cómo es una pregunta abierta.
El desafío, dijo Goldman, se centra en resolver la pregunta de quién publica contenido de IA: ¿es la compañía de tecnología que opera el chatbot, el usuario que personalizó el chatbot y lo está invitando a preguntas o alguien más?
El esfuerzo de los abogados que representan a los padres para involucrar a Google en los procedimientos provienen de los lazos de Shazeer y De Freitas con la empresa.
La pareja trabajó en proyectos de inteligencia artificial para la compañía y, según los informes, se fue después de que los ejecutivos de Google los bloquearon para liberar lo que se convertiría en la base del carácter. Los chatbots de AI sobre las preocupaciones de seguridad, dijo la demanda.
Luego, el año pasado, Shazeer y De Freitas regresaron a Google después de que el gigante de la búsqueda supuestamente pagó al personaje. La startup dijo en A en agosto que como parte del carácter de acuerdo. AI le daría a Google una licencia no exclusiva para su tecnología.
Las demandas acusan a Google de un carácter sustancialmente de apoyo.
Google negó que Shazeer y De Freitas crearon el modelo de AI en la compañía y dijo que prioriza la seguridad del usuario al desarrollar y implementar nuevos productos de IA.
"Google y el personaje de IA son empresas completamente separadas, no relacionadas y Google nunca ha tenido un papel en el diseño o administración de su modelo o tecnologías de IA, ni las hemos usado en nuestros productos", dijo José Castañeda, portavoz de Google, en un comunicado.
Las empresas tecnológicas, incluidas las redes sociales, han lidiado durante mucho tiempo con cómo vigilar de manera efectiva y constante lo que dicen los usuarios en sus sitios y chatbots están creando nuevos desafíos. Por su parte, el personaje .i dice que tomó medidas significativas para abordar los problemas de seguridad en torno a los más de 10 millones de caracteres en el personaje.
El personaje. AI prohíbe conversaciones que glorifican la autolesión y las publicaciones de contenido excesivamente violento y abusivo, aunque algunos usuarios intentan impulsar un chatbot a tener una conversación que viola esas políticas, dijo Perella. La compañía capacitó a su modelo para reconocer cuándo está sucediendo eso tan inapropiadas que se bloquean las conversaciones. Los usuarios reciben una alerta de que están violando las reglas del carácter.
"Es realmente un ejercicio bastante complejo hacer que un modelo se mantenga siempre dentro de los límites, pero ese es mucho trabajo que hemos estado haciendo", dijo.
El personaje. Los chatbots dei incluyen un descargo de responsabilidad que les recuerda a los usuarios que no están chateando con una persona real y que deben tratar todo como ficción. La compañía también dirige a los usuarios cuyas conversaciones elevan las banderas rojas a los recursos de prevención del suicidio, pero moderando ese tipo de contenido es un desafío.
"Las palabras que los humanos usan alrededor de la crisis suicida no siempre incluyen la palabra 'suicidio' o 'quiero morir'. Podría ser mucho más metafórico cómo las personas aluden a sus pensamientos suicidas ", dijo Moutier.
El sistema de IA también tiene que reconocer la diferencia entre una persona que expresa pensamientos suicidas versus una persona que pide consejos sobre cómo ayudar a un amigo que se está involucrando en autolesiones.
La compañía utiliza una combinación de tecnología y moderadores humanos para vigilar contenido en su plataforma. Un algoritmo conocido como clasificador clasifica automáticamente el contenido, lo que permite el carácter.
En los EE. UU., Los usuarios deben ingresar una fecha de nacimiento al crear una cuenta para usar el sitio y deben tener al menos 13 años, aunque la compañía no requiere que los usuarios presenten pruebas de su edad.
Perella dijo que se opone a las restricciones radicales en los adolescentes que usan chatbots, ya que cree que pueden ayudar a enseñar habilidades y lecciones valiosas, incluida la escritura creativa y cómo navegar en conversaciones difíciles de la vida real con maestros o empleadores.
Como AI juega un papel más importante en el futuro de la tecnología, dijo Goldman, los educadores, el gobierno y otros también tendrán que trabajar juntos para enseñar a los niños cómo usar las herramientas de manera responsable.
"Si el mundo va a estar dominado por AI, tenemos que graduar a los niños en ese mundo que están preparados para, sin temer,", dijo.
.webp)
0 Comentarios