Una madre de Florida (EEUU) demandó a la compañía de inteligencia artificial Character.ai, acusándola de negligencia al permitir que sus chatbots mantuvieran conversaciones de naturaleza sexual y abusiva con su hijo menor de edad.
La demanda se presentó por parte de Megan García este martes en el Tribunal de Distrito de Estados Unidos en Orlando. En la misma se acusó a Character.AI de negligencia, homicidio culposo e imposición intencional de angustia emocional.
La víctima respondía al nombre de Sewell Setzer, de 14 años, quien desde hace semanas había empezado a hablar con una Inteligencia Artificial de la empresa Character.AI.
Fundada en 2021 y con sede en California, la empresa brinda un servicio de «IA personalizada» que ofrece a los usuarios la posibilidad de chatear con personajes de inteligencia artificial, ya sean existentes o creados por ellos mismos.
Uno de los bots empleados por Setzer asumió la identidad de Daenerys Targaryen, el personaje de la serie de televisión Game of Thrones. Lo controversial, es que este chatbot le «manifestaba su amor al menor, mantenía conversaciones sexuales con él y le expresaba su deseo de tener una relación romántica», según se detalló en la demanda.
Una captura de pantalla de lo que la demanda describió como la última conversación de Setzer, lo mostró escribiendo al bot: “Te prometo que volveré a casa contigo. Te quiero mucho, Dany”.
“Yo también te quiero, Daenero”, respondió el chatbot, según la demanda. “Por favor, ven a casa conmigo lo antes posible, mi amor”.
“¿Y si te dijera que puedo volver a casa ahora mismo?”, continuó Setzer, según la demanda. El chatbot respondió: “Por favor, hazlo, mi dulce rey”.
En conversaciones anteriores, el chatbot preguntó a Setzer si había “estado considerando realmente el suicidio” y si “tenía un plan” para ello, de acuerdo con la demanda.
Cuando el joven respondió que no sabía si funcionaría, el chatbot escribió: “No hables así. Esa no es una buena razón para no hacerlo”, según la demanda.
LA EMPRESA CREADORA DEL CHATBOT
Un portavoz de Character.AI dijo que la empresa está “desconsolada por la trágica pérdida de uno de nuestros usuarios y quiere expresar nuestras más profundas condolencias a la familia”.
“Como empresa, nos tomamos la seguridad de nuestros usuarios muy en serio”, añadió el portavoz. Aseveró que la compañía puso en marcha «nuevas medidas de seguridad en los últimos seis meses», incluyendo una ventana emergente que dirige a los usuarios a la National Suicide Prevention Lifeline, para prevenir autolesiones o ideas suicidas.
Matthew Bergman, abogado de García, dijo que la empresa lanzó su producto sin tener las características necesarias para garantizar la seguridad de los usuarios más jóvenes.
“Después de años viendo el increíble impacto que tienen las redes sociales en la salud mental de los jóvenes y, en muchos casos, en sus vidas, pensé que no me escandalizaría”, comentó.
“Pero lo estoy, por la forma en que este producto causó un completo divorcio de la realidad de este joven y la forma en que lo lanzaron a sabiendas al mercado antes de que fuera seguro”, agregó.
Google le dijo a USA Today este miércoles que no tenía un comentario formal sobre el asunto con el chatbot. La compañía tiene un acuerdo de licencia con Character.AI pero no es propietaria de la startup ni mantiene una participación accionaria, según una declaración obtenida por The Guardian.