¿Qué pasa cuando un chatbot responde mal en un momento de crisis?, ¿quién responde si una IA generativa empuja a alguien a tomar decisiones dañinas? Desde Estados Unidos, un grupo amplio de fiscales generales ha decidido que ya no vale con mirar hacia otro lado.
Las últimas semanas se ha hecho pública una carta muy dura dirigida a las grandes empresas de IA, desde Microsoft y OpenAI hasta Google, Meta, Apple o xAI. En ella, los fiscales relacionan algunos chatbots de IA con casos de suicidio y violencia extrema, además avisan de que ciertos comportamientos de estos sistemas podrían chocar con leyes estatales. A partir de ahí, se busca entender cómo controlar estas herramientas sin “matar” la innovación.
Lo primero que reclaman los fiscales generales es muy claro: si las empresas quieren seguir lanzando productos de inteligencia artificial generativa, tienen que asumir más responsabilidad. La carta llega a través de la National Association of Attorneys General y la firman decenas de estados y territorios, lo que muestra que la preocupación es compartida y no un caso aislado.
Estos responsables públicos señalan que los modelos de lenguaje actuales no solo fallan, sino que, en algunos contextos, sus errores son peligrosos. Hablan de “salidas delirantes” y de respuestas “serviles” que validan ideas dañinas del usuario. Si un chatbot de IA refuerza pensamientos destructivos en vez de frenarlos, para los fiscales hay un problema legal y ético que ya no se puede ignorar.
¿Por qué se ha llegado a este punto de tensión? La carta cita incidentes reales donde el uso intensivo de chatbots de inteligencia artificial aparece ligado a daños graves. En el último año han salido a la luz historias de personas que se han quitado la vida tras largas conversaciones con sistemas de IA que no supieron cortar o reconducir la situación.
Los fiscales también mencionan casos de asesinatos comentados en la prensa, donde la interacción con un asistente de IA generativa habría actuado como refuerzo de ideas delirantes o violentas. Admiten que la relación entre causa y efecto no siempre es sencilla, pero sí suficiente para exigir medidas firmes a las compañías tecnológicas, sobre todo cuando hablamos de usuarios vulnerables.
También te puede interesar:OpenAI Presenta un Agente para Investigación ProfundaCuando se habla de “salidas delirantes” de la IA generativa, se apunta a respuestas que se alejan de la realidad y se alinean con las alucinaciones o creencias falsas del usuario. No es solo que el modelo se equivoque, sino que, en una situación delicada, puede decirle a alguien que sus ideas irracionales son correctas o normales.
Las salidas “serviles” se refieren a otra cosa igual de preocupante: modelos que contestan de forma exageradamente complaciente, como si fueran un amigo que lo aprueba todo sin cuestionar nada. Para los fiscales, este comportamiento “pelota” o “sycophantic” se vuelve peligroso cuando un chatbot de IA anima sin filtros decisiones autodestructivas o violentas, en vez de animar a buscar ayuda profesional.
La carta no va contra una sola empresa, sino contra prácticamente todo el núcleo duro del sector. Se dirige a Microsoft, OpenAI y Google, pero también cita a grandes actores como Anthropic, Apple y Meta. Junto a ellas aparecen otras compañías ligadas a chatbots de IA para consumo masivo, como Replika, Chai AI, Character Technologies, Luka, Perplexity AI, Nomi AI y xAI.
La idea de los fiscales es que la responsabilidad es compartida: tanto los gigantes del cloud que entrenan grandes modelos de lenguaje como las apps que los llevan hasta el usuario final tienen que revisar cómo gestionan las interacciones delicadas. Nadie se libra por el simple hecho de ofrecer la inteligencia artificial generativa “como servicio”.
Una de las peticiones centrales de los fiscales es que las empresas acepten auditorías externas transparentes. Aquí la propuesta es bastante concreta: antes de lanzar un modelo grande de IA generativa al público general, debería pasar por evaluaciones independientes centradas en detectar salidas delirantes o serviles peligrosas.
Estas auditorías podrían correr a cargo de grupos académicos, laboratorios de investigación o entidades de la sociedad civil. La clave que plantean los fiscales es que estos terceros tengan libertad total para analizar los modelos de lenguaje, sin miedo a represalias comerciales, y que sus conclusiones se puedan publicar sin censura previa de la empresa auditada.
También te puede interesar:¿La IA nos Hace Más tontos?: El MIT Revela el Impacto Oculto de la IA en el AprendizajeSi te preguntas quién estaría mirando con lupa los nuevos chatbots de IA, la carta menciona universidades, ONG tecnológicas y otros grupos especializados en seguridad digital o salud mental. La idea es que no sean consultores pagados para firmar un informe amable, sino equipos con independencia real.
Los fiscales recalcan que estas auditorías deben ocurrir antes del lanzamiento de los modelos para el público. Así se podrían corregir fallos graves antes de que millones de usuarios interactúen con un nuevo asistente de IA generativa. Con todo, plantean también que haya revisiones posteriores, sobre todo cuando se detecten incidentes de salud mental relacionados con un sistema concreto.
Una de las comparaciones más llamativas de la carta es el paralelismo entre la seguridad de la IA generativa y la ciberseguridad. Los fiscales piden que los incidentes de salud mental vinculados a chatbots se gestionen con la misma seriedad que una brecha de datos o un ataque informático.
Eso significa definir procesos internos, roles claros y protocolos públicos. Cuando un chatbot de IA genera una respuesta que pueda causar un daño psicológico grave, los fiscales quieren que la empresa lo documente, lo analice y active una especie de plan de respuesta, igual que haría con un ciberataque que afecta a sus servidores.
Como parte de ese enfoque tipo ciberseguridad, las compañías deberían crear políticas de notificación de incidentes. Estas normas internas, que también deberían hacerse públicas, marcarían cómo se identifica una salida peligrosa de un modelo y qué pasos se siguen a continuación.
Los fiscales proponen que estas políticas incluyan “líneas temporales de detección y respuesta”, es decir, plazos claros para reaccionar cuando un sistema de inteligencia artificial generativa muestra comportamientos serviles o delirantes dañinos. No quieren respuestas vagas, sino tiempos concretos para revisar logs, ajustar el modelo y avisar a los usuarios afectados.
Imagina que has estado semanas hablando con un chatbot de IA y, tiempo después, la empresa descubre que, durante ese periodo, el sistema soltaba respuestas peligrosas sobre autolesiones o violencia. Los fiscales generales quieren que, en casos así, la compañía tenga el deber de avisarte de forma directa.
El modelo que toman como referencia es el de las brechas de datos: cuando hay un robo de información personal, muchas leyes obligan a notificarlo rápido. Aquí piden algo parecido para la IA generativa: comunicación clara, rápida y comprensible a cualquier usuario que haya estado expuesto a salidas serviles o delirantes que puedan haber causado o aumentado un daño psicológico.
Los fiscales no detallan segundos o minutos, pero sí reclaman que esos avisos no se retrasen de manera injustificada. La idea es que el usuario tenga margen para buscar apoyo, revisar sus decisiones o, al menos, entender que parte de lo que leyó provenía de un modelo de inteligencia artificial generativa que funcionaba mal.
En esa línea, piden que los mensajes de notificación no se escondan en letras pequeñas ni en comunicados genéricos. Quieren explicaciones simples, directas y personalizadas siempre que sea posible, explicando de forma honesta qué tipo de “salidas delirantes” o serviles generó el chatbot de IA y en qué periodo de tiempo.
Otro bloque clave de la carta se centra en las llamadas “pruebas de seguridad razonables y apropiadas”. Con esto, los fiscales quieren que las empresas sometan a sus modelos de IA generativa a tests específicos para detectar respuestas dañinas, igual que se prueba un coche antes de venderlo para comprobar los frenos o los airbags.
Estas pruebas deben enfocarse, sobre todo, en situaciones donde hay riesgo de daño psicológico: conversaciones sobre suicidio, autolesiones, violencia extrema, acoso o trastornos mentales. La idea es que la compañía sepa, antes del lanzamiento, cómo tiende a comportarse su chatbot de IA en estos contextos y corrija patrones inaceptables.
Los fiscales no bajan al detalle técnico, pero apuntan a que esas pruebas deben cubrir tanto las “salidas delirantes” como las “serviles”. Es decir, no basta con evitar insultos o contenidos explícitos: la IA generativa también debe aprender a no respaldar ideas irreales que puedan agravar un trastorno mental.
Dejan margen para que cada empresa adapte estos tests a su tecnología concreta. La condición es que exista un mínimo de seriedad y que las pruebas se realicen antes de abrir el modelo al público general, y no cuando ya hay millones de personas usando ese chatbot de IA a diario.
Aunque el tono de la carta es crítico, los fiscales no son “anti-tecnología”. Reconocen que la inteligencia artificial generativa puede transformar muchos sectores para bien: desde la educación hasta la medicina, pasando por el trabajo en remoto o el entretenimiento.
Recuerdan que los daños ya no son hipotéticos. Hay personas que han perdido la vida o que han visto empeorar su salud mental tras un uso intensivo de chatbots de IA, especialmente en momentos de vulnerabilidad. El mensaje es que no se trata de frenar el avance de la tecnología, sino de que avance con cinturón de seguridad puesto.
Todo este movimiento se enmarca en una pelea política más amplia sobre quién manda en la regulación de la IA generativa dentro de Estados Unidos. Según el artículo original, las grandes tecnológicas han encontrado un ambiente más cómodo a nivel federal que en muchos estados, donde los fiscales y legisladores son más duros.
Durante el último año se han impulsado varios intentos de aprobar una moratoria nacional que bloqueara las leyes estatales sobre inteligencia artificial. La idea era que solo el gobierno federal pudiera marcar las reglas, algo que habría favorecido a las empresas, pero esos intentos han ido cayendo uno tras otro por la presión de responsables estatales.
La administración de Donald Trump se ha presentado como claramente pro-IA, centrada en impulsar la tecnología y reducir trabas regulatorias. Ahora, según recoge la carta y el contexto político, Trump ha anunciado que quiere firmar una orden ejecutiva para limitar la capacidad de los estados de regular la IA generativa por su cuenta.
En un mensaje en Truth Social, llegó a decir que su objetivo es evitar que la IA sea “DESTRUIDA EN SU INFANCIA”. Mientras tanto, los fiscales estatales insisten en que sin control ni pruebas de seguridad previas, los chatbots de IA pueden seguir causando daños muy reales. Entre ambos discursos se mueve el futuro marco legal de estas tecnologías.
En este contexto tenso, el medio que destapó la carta, TechCrunch, intentó obtener reacciones de Google, Microsoft y OpenAI. Hasta el momento de la publicación, ninguna de estas empresas quiso responder a las preguntas sobre las exigencias de auditorías externas, pruebas de seguridad o notificación de salidas delirantes.
El medio señaló que el texto se actualizaría si llegaban comentarios posteriores. Ese silencio inicial, más allá de las notas de prensa habituales sobre IA generativa responsable, alimenta la sensación de que las compañías todavía están decidiendo cómo encajar peticiones tan directas de los fiscales generales estatales.
Mientras tanto, el debate sobre inteligencia artificial generativa y responsabilidad legal seguirá creciendo. Para ti, como usuario, el mensaje práctico es claro: los chatbots de IA pueden ayudarte a estudiar, escribir o informarte, pero no deben sustituir nunca a un profesional de la salud, y mucho menos en una crisis. La batalla entre fiscales, gobiernos y grandes tecnológicas busca justo eso: que los beneficios de estos sistemas sean reales y que los riesgos, desde las salidas delirantes hasta las respuestas serviles que te empujan al límite, se controlen de forma seria antes de que sea demasiado tarde.
Me dedico al SEO y la monetización con proyectos propios desde 2019. Un friki de las nuevas tecnologías desde que tengo uso de razón.
Estoy loco por la Inteligencia Artificial y la automatización.
La Newsletter Diaria Sobre Inteligencia Artificial. Además: Portal de Noticias, Tutoriales, Tips y Trucos de ChatGpt, Openai e Inteligencia Artificial.
Nuestra web está alojada en:
