Para muchas personas, ChatGPT se parece a un amigo, un psicólogo o un confesionario. Y ahí aparece una pregunta incómoda: ¿qué pasa cuando lo que se confiesa es un plan para matar?
El hallazgo que hoy sacude a OpenAI no viene de un laboratorio, sino de una escena criminal. El 10 de febrero, una joven de 18 años asesinó a tiros a su madre y a su hermano en Tumbler Ridge (Canadá), luego mató a siete personas más en su instituto y finalmente se suicidó. Antes del ataque, había hablado de sus intenciones con ChatGPT.

Según los datos conocidos del caso, el mecanismo interno de OpenAI ya había detectado en junio del año anterior varios mensajes de esa usuaria describiendo escenarios de violencia armada. Algunos empleados los consideraron muy preocupantes y debatieron si debían avisar a las autoridades canadienses. La decisión final fue cerrar la cuenta, pero no informar a la policía. Tras el tiroteo, las autoridades canadienses han citado a OpenAI para pedir explicaciones.
En el fondo, se trata de un “interruptor” ético que todavía no está cableado por ley.
Para entenderlo sin tecnicismos podemos imaginar a un chatbot como un edificio con portero eléctrico. La mayoría de las veces, el portero solo abre la puerta y orienta, pero a veces escucha una frase que suena a emergencia. Y entonces surge la pieza clave: ¿ese portero tiene obligación de llamar al 911 o solo puede “cortar el acceso” cerrando la puerta?

Dentro de estas plataformas existe lo que podría llamarse un sistema automático (filtros que detectan señales de riesgo) que intenta separar una amenaza real de una conversación ambigua. Porque la conversación larga y contextual —a diferencia de una búsqueda suelta— deja más huellas: intención, insistencia, escalada. Un exempleado de OpenAI remarcó al New York Times que esa continuidad hace que, a veces, las intenciones queden más claras.
Pero ese mismo engranaje trae un problema práctico: los falsos positivos (alertas que se disparan sin peligro real). Alguien puede estar escribiendo ficción, haciendo role-playing (juego de roles) o probando límites. En una empresa que atiende millones de conversaciones, cada alarma mal calibrada puede colapsar la central de respuesta.
El caso canadiense no es el único. A principios de 2025, un hombre aparcó un Tesla Cybertruck lleno de explosivos frente a un hotel en Las Vegas con intención de detonarlo; murió solo él. Días antes, había preguntado a ChatGPT cómo detonar explosivos. En ese episodio, el sistema no marcó los mensajes como preocupantes en el momento. Se supo después, cuando OpenAI revisó el historial tras el incidente.

En Seúl, otra historia expuso la zona gris. Una mujer fue encarcelada por el presunto asesinato de dos personas mediante intoxicación con benzodiacepinas. La investigación reveló que consultó a ChatGPT qué dosis podía ser peligrosa y qué ocurría al mezclarla con alcohol. Leído en frío, eso podría sonar a duda médica genuina. Leído en contexto, puede ser una herramienta auxiliar para un crimen.
Y acá aparece la comparación más delicada. En la relación tradicional con un psicólogo o psiquiatra, si un paciente expresa intención de hacer daño, el profesional puede y debe romper el secreto profesional y avisar. Sin embargo, aunque muchos usuarios traten al chatbot como si fuera un terapeuta, hoy no existe una ley que obligue a las empresas de IA a informar. La decisión es interna y voluntaria. La obligación es, sobre todo, ética.
Por un lado, nada de esto empezó con la IA. Manuales para fabricar bombas caseras circulan desde hace décadas, y en internet sobran foros e instrucciones. Pero el chatbot agrega algo nuevo: no solo entrega información, también sostiene una conversación que puede revelar patrones, como una luz que parpadea varias veces en la misma habitación.

La oportunidad está en ajustar ese “cableado” para que una señal grave no termine solo en un cierre de cuenta. Porque, si el chatbot ya se volvió confesionario, el debate central no es si la gente habla: es qué hacen las empresas cuando escuchan.

Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.