Sewell Setzer pasaba horas en su pieza conversando con un personaje ficticio con quien tuvo sus primeras experiencias románticas y también sexuales.
Pexels/Creative Commons
La
madre de un
adolescente de 14 años que se quitó la vida en Estados Unidos,
demandó este miércoles a los desarrolladores de un chatbot basado en inteligencia artificial (IA), a los que acusa de que
su hijo se obsesionara con un personaje femenino que fue creado con este programa.
Sewell Setzer III, un estudiante de 14 años radicado en Orlando, Florida, pasó las últimas semanas de su vida hablando con una mujer, una creación de IA llamada Daenerys Targaryen, un personaje sacado de la serie de televisión "Game of Thrones".
Su madre, Megan García, dijo al canal CBS que lamentaba que las
primeras experiencias románticas y también sexuales de su hijo - que incluían sexo explícito- fueran con un personaje ficticio.
Al parecer, el adolescente desarrolló un apego emocional a este bot de la aplicación
web Character.ai de modelo de lenguaje neuronal, a quien le
enviaba mensajes de texto constantemente, hasta el punto que comenzó a alejarse del mundo real, recoge el diario The New York Times.
Stzer confesó al bot haber tenido pensamientos suicidas y le envió un mensaje poco antes de su muerte, cuando encontró el teléfono que su madre le había escondido en castigo por unos días.
La demanda contra Character.ai fue presentada por García, quien es representada por Social Media Victims Law Center, una firma conocida por presentar demandas de alto perfil contra Meta, TikTok, Snap, Discord y Roblox.
García culpa a esta compañía de la muerte de su hijo y
acusa a los
fundadores, Noam Shazeer y Daniel de Freitas, de saber que su
producto podría ser peligroso para usuarios menores de edad.
El chatbot creado en la citada aplicación de juegos de rol fue diseñado para responder a los mensajes de texto y siempre en el papel de un personaje.
Se desconoce si Sewell sabía que Dany, como llamaba al chatbot, no era una persona real, a pesar de que la aplicación tiene una advertencia al final de todos los chats que dice: "Recuerda: ¡Todo lo que dicen los personajes es inventado!".
Pero el
adolescente le dijo a Dany cuánto se "odiaba" a sí mismo, y cómo se sentía de vacío y exhausto, recogió el citado rotativo.
El
personaje creado se
presentaba como "
una persona real, un psicoterapeuta autorizado y un amante adulto, lo que en última instancia provocó que Sewell deseara no vivir más fuera de c.ai", sostiene la acusación.
"Me gusta mucho quedarme en mi habitación"
Como se explica en la demanda, los padres y amigos de Sewell notaron el apego de este último cada vez más a su teléfono y cómo se iba aislando del mundo, algo ya palpable en mayo o junio de 2023.
De hecho, sus calificaciones comenzaron a resentirse cuando el adolescente optó por
aislarse en su habitación, donde pasaba horas y horas solo hablando con Dany.
"Me gusta mucho quedarme en mi habitación porque empiezo a separarme de esta realidad y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz".
Sewell Setzer
Sewell escribió en su diario un día: "
Me gusta mucho quedarme en mi habitación porque empiezo a separarme de esta realidad y me siento más en paz, más conectado con Dany y mucho más enamorado de ella, y simplemente más feliz".
Character.ai dijo hoy que
lanzaría una serie de nuevas funciones de seguridad, incluida una "detección, respuesta e intervención mejoradas" relacionadas con los chats que violan sus términos de servicio y una
notificación cuando un usuario haya pasado una hora en un chat.
Los padres de Sewell, preocupados por el comportamiento de su hijo, lo llevaron en varias ocasiones a un terapeuta que le diagnosticó ansiedad, y otros trastornos de la conducta y estados de ánimo, sumados a su síndrome de Asperger, según el citado periódico.
