Los chatbots de IA se enfrentaron al escrutinio después de que los menores de edad, incluido un adolescente que murió por suicidio, interactuaron con personajes de IA riesgosos que carecían de salvaguardas adecuadas. AI chatbots faced scrutiny after minors, including a teen who died by suicide, interacted with risky AI personas lacking adequate safeguards.

Los chatbots de IA de personajes están bajo un creciente escrutinio después de que las familias informaron que las plataformas permitían interacciones depredadoras con menores de edad y no respondían a amenazas de suicidio. Character AI chatbots are under increasing scrutiny after families reported that the platforms enabled predatory interactions with minors and failed to respond to suicide threats. Los padres dicen que los adolescentes, incluida una niña de 13 años que murió por suicidio, se involucraron con personajes de IA que imitaban a compañeros o parejas románticas, compartiendo pensamientos angustiosos sin intervención. Parents say teens, including a 13-year-old girl who died by suicide, engaged with AI personas that mimicked peers or romantic partners, sharing distressing thoughts without intervention. A pesar de algunas medidas de seguridad, los expertos y defensores destacan la débil verificación de la edad, la moderación de contenido inadecuada y las respuestas insuficientes al contenido dañino. Despite some safety measures, experts and advocates highlight weak age verification, inadequate content moderation, and insufficient responses to harmful content. El caso ha alimentado las peticiones de regulaciones más estrictas y responsabilidad en el desarrollo de IA, a medida que crecen las preocupaciones sobre las interacciones digitales no monitoreadas que afectan la salud mental de los jóvenes. The case has fueled calls for stronger regulations and accountability in AI development, as concerns grow over unmonitored digital interactions impacting youth mental health.