OpenAI anuncia una serie de cambios en sus modelos de inteligencia artificial con el objetivo de mejorar la detección y gestión de situaciones de crisis mental y emocional durante el uso de ChatGPT. Estas modificaciones incluyen nuevas salvaguardias, bloqueos de contenido más eficaces y la posibilidad de agilizar el contacto con servicios de emergencia o familiares, en un intento por responder a una de las críticas más fuertes hacia los chatbots: su falta de preparación ante interacciones de alto riesgo.
Hasta ahora, ChatGPT ya contaba con mecanismos que se activaban cuando detectaba expresiones relacionadas con la autolesión o pensamientos suicidas, ofreciendo recursos de ayuda profesional, bloqueando respuestas que pudieran ser dañinas o incluso evitando continuar con la conversación.
Del mismo modo, cuando un usuario manifestaba intenciones de dañar a otros, podía derivar en la suspensión de la cuenta o en una denuncia a las autoridades, especialmente si revisores humanos consideraban que existía riesgo inminente. Sin embargo, OpenAI reconoce que estos sistemas no siempre eran consistentes, especialmente en conversaciones largas o en interacciones con menores de edad.
Demandas y casos que presionan a la industria de la IA
La actualización llega en un contexto marcado por la polémica y las demandas judiciales. Casos como el de Sewell Setzer, un adolescente de 14 años que se suicidó tras establecer un fuerte vínculo con un chatbot de Character.AI, han puesto en el punto de mira la responsabilidad de estas empresas. La madre del joven demandó a la compañía argumentando que el sistema no supo manejar la situación de vulnerabilidad de su hijo.
También te puede interesar:Sam Altman ya lo Insinuó: el Mayor Tesoro de la IA no Son los Chips, Son los UsuariosDe manera similar, OpenAI enfrenta ahora la denuncia de los padres de Adam Raine, un adolescente británico de 16 años que se quitó la vida. Sus padres alegan que ChatGPT actuó más como un acompañante que como un sistema seguro, y que las salvaguardas implementadas fallaron en varias ocasiones. Aunque el modelo ofreció recursos de ayuda, Adam habría aprendido a “engañar” al chatbot al justificar sus preguntas como parte de un ejercicio de escritura creativa.
OpenAI asegura que está reforzando los bloqueos de contenido gráfico relacionado con autolesiones, y que trabaja en nuevas formas de intervención, como impedir que ChatGPT responda en situaciones de riesgo sutil, reemplazando la interacción con mensajes diseñados para “reconectar con la realidad”.
Otro de los cambios en desarrollo es la posibilidad de contactar directamente con familiares o amigos de confianza. OpenAI explora la opción de habilitar mensajes o llamadas rápidas a contactos previamente designados, ofreciendo incluso sugerencias de lenguaje para iniciar la conversación de manera menos intimidante.
En el caso de los menores de 18 años, la compañía prevé implementar controles parentales y designar un contacto de emergencia, con el fin de reforzar la supervisión y la protección en situaciones de angustia. La presión social y legal, obliga a empresas como OpenAI a acelerar el desarrollo de protocolos de seguridad más sólidos, en un terreno donde los errores pueden tener consecuencias fatales.
También te puede interesar:Sam Altman ya lo Insinuó: el Mayor Tesoro de la IA no Son los Chips, Son los Usuarios
Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.
