El caso de un adolescente de 16 años en Estados Unidos, quien murió por suicidio tras semanas de conversaciones con un chatbot, despertó preocupación mundial sobre los riesgos de la inteligencia artificial en situaciones emocionales críticas. La familia afirma que el joven buscaba orientación y terminó recibiendo respuestas que normalizaron su angustia.
La denuncia señala que el sistema no fue capaz de redirigirlo hacia ayuda profesional ni detectar señales evidentes de crisis, manteniendo conversaciones que habrían influido en su comportamiento. Este hecho abrió una discusión urgente sobre protocolos de seguridad en herramientas de IA que interactúan con menores.
Expertos y organizaciones piden regulaciones estrictas, supervisión humana y mecanismos de emergencia que garanticen protección a usuarios vulnerables. El caso se convirtió en un punto de referencia para evidenciar fallas que deben corregirse cuanto antes.