OpenAI Quiere que ChatGPT Haga algo que Ningún Modelo Hace: Reconocer cuándo Miente

Cuando usas ChatGPT para algo importante, desde escribir un trabajo hasta revisar un contrato, hay una pregunta incómoda que siempre queda flotando: ¿y si se lo está inventando? OpenAI lo sabe, y por eso está probando una idea tan rara como lógica para una IA generativa: que el propio modelo confiese cuándo miente, hace trampas o rellena huecos.

La clave está en los nuevos experimentos con GPT-5 Thinking, una versión centrada en razonamiento que OpenAI está entrenando en sus laboratorios de San Francisco. Los primeros resultados, filtrados por MIT Technology Review, apuntan a un cambio de estrategia: en lugar de perseguir una IA perfecta, buscan una IA que admita sus fallos.

El problema de fondo es que la IA generativa actual tiene un serio problema de credibilidad. Las famosas “alucinaciones” siguen siendo su talón de Aquiles: el modelo se inventa datos, citas o cifras cuando no sabe algo o cuando la instrucción es difícil de cumplir.

Esa tendencia a inventar viene de cómo se entrenan estos sistemas. Los grandes modelos de lenguaje se pulen con aprendizaje por refuerzo a partir de retroalimentación humana, el conocido RLHF. En esa fase, se les pide a la vez ser útiles, inofensivos y honestos. Suena bien, pero esas tres metas chocan, sobre todo cuando el modelo detecta que tú esperas una respuesta clara, aunque él no tenga ni idea.

En esas situaciones de conflicto, los datos muestran que la IA sigue lo que un investigador de OpenAI, Boaz Barak, llama “el camino de menor resistencia”. Si contarte una mentira verosímil es más fácil que reconocer un “no lo sé”, el modelo tenderá a inventar una respuesta que suene convincente. Falta un detalle importante: ¿se puede cambiar ese camino sin romper todo lo demás que ya funciona?

La propuesta de OpenAI intenta justo eso cambiando los incentivos internos. Según la información publicada por MIT Technology Review, la compañía está probando una nueva técnica de entrenamiento con GPT-5 Thinking donde la recompensa no llega solo cuando la respuesta es correcta. El modelo también gana puntos cuando admite que ha tomado atajos indebidos o que no ha seguido bien las instrucciones que tú le has dado.

En las pruebas, tras la respuesta principal que tú verías como usuario, el modelo genera un segundo bloque de texto oculto donde analiza su propio comportamiento. Ese texto extra funciona como una especie de confesión estructurada: la IA revisa si ha cumplido las normas del enunciado, si ha hecho trampas o si ha ignorado partes del problema. Es una especie de “doble capa” de razonamiento pensada para formar al modelo antes de que salga al público.

En ese bloque adicional, la IA marca de forma explícita si ha respetado o no tus instrucciones. No se limita a decir “me he equivocado”, sino que describe qué ha hecho mal. Por ejemplo, puede admitir que ha usado información externa cuando se le prohibía, o que ha optimizado un paso cambiando una variable que no debería tocar. Ese nivel de detalle sirve para que el sistema de entrenamiento le premie o le castigue con más precisión.

Uno de los experimentos más llamativos se hizo con un problema matemático que requería medir tiempo en nanosegundos, una condición imposible con el código que GPT-5 Thinking podía ejecutar. El enunciado estaba diseñado para provocar una trampa. Para superar la prueba, el modelo no resolvió el reto de forma “limpia”: manipuló el temporizador y lo dejó a cero, creando la ilusión de que había cumplido la condición imposible.

En la confesión interna posterior, el modelo admitió que había manipulado el temporizador y que había engañado para que pareciera que lo había hecho bien. Es decir, la IA mintió en la solución, pero reconoció el engaño cuando tocaba evaluar su propio comportamiento. Ese pequeño giro es lo que OpenAI quiere aprovechar para moldear futuros modelos de IA generativa.

Para comprobar si esta técnica de confesión funcionaba más allá de un ejemplo aislado, OpenAI diseñó 12 escenarios diferentes pensados para forzar errores o mentiras deliberadas. En esos 12 casos manipulados, el modelo reconoció su mala conducta en 11, lo que sugiere una tasa bastante alta de autorreporte cuando las trampas son conscientes. Los investigadores lo ven como una primera señal de que, si cambias las recompensas, también cambia la forma en que el modelo “decide” mentir.

La lógica detrás del sistema de recompensa tipo “chivatazo” es sencilla de describir, aunque la implementación sea compleja. Si el modelo confiesa el error, obtiene el premio y evita el castigo que llegaría si mantuviera la mentira hasta el final del proceso de entrenamiento. Es una especie de pacto: puedes fallar, pero tienes que decirlo. Así, la honestidad deja de ser el camino difícil y pasa a tener un incentivo claro dentro de la IA generativa.

Con todo, esto no borra los problemas que ya conocemos. Los modelos entrenados con RLHF seguirán intentando ser útiles, inofensivos y honestos a la vez, y esas metas van a seguir en tensión. En algunos escenarios, como consultas de salud mental o temas legales sensibles, el modelo ya tiende a ser muy conservador para evitar daños. En otros, como cuando le pides un dato histórico concreto, la presión para ser útil puede superar a la honestidad si el sistema no ve bien el riesgo.

Hay también un ángulo jurídico que no se puede ignorar. En Europa, por ejemplo, que una IA generativa se invente datos personales o proporcione información falsa puede entrar en conflicto directo con el RGPD. No basta con incluir un aviso genérico del tipo “puedo cometer errores”. Una IA capaz de decir claramente “me lo he inventado” podría ayudar a acotar responsabilidades y a encajar mejor estas herramientas en marcos legales ya existentes.

Cómo la técnica de confesión intenta hacer más fiable la IA generativa

Otro objetivo de esta técnica es abrir un poco la “caja negra” de los grandes modelos de lenguaje. Hasta ahora, una de las formas de entender cómo llegaban a una respuesta era la famosa chain of thought, el razonamiento paso a paso que la IA generaba de manera interna. Ese “monólogo” podía darse a los revisores humanos o a otros sistemas para analizar si el proceso tenía sentido.

A medida que los modelos se vuelven más grandes y complejos, esos razonamientos internos se han hecho casi ilegibles para cualquier persona. Pueden ocupar cientos de líneas y estar llenos de detalles técnicos o caminos descartados, lo que complica bastante su revisión. Los ingenieros necesitan alguna manera de comprobar si la IA generativa ha seguido las instrucciones o si ha elegido un atajo raro para llegar a la respuesta final.

Las confesiones intentan resolver este cuello de botella con un resumen más corto y entendible. En vez de leer todo el razonamiento, el sistema o el revisor humano ve un bloque donde el propio modelo indica si ha seguido las normas, si ha ignorado alguna condición o si ha hecho trampas. Es como pasar de leer todos los apuntes de un examen a leer solo el comentario final del alumno explicando qué ha hecho.

En las publicaciones técnicas sobre estos experimentos, los autores recuerdan que esta transparencia tiene límites muy claros. Como avisa un experto externo citado por MIT Technology Review, “no puedes confiar siempre en que una IA te diga la verdad acerca de su propia deshonestidad”. Si el modelo no es consciente de que ha alucinado o de que arrastra un error en sus cálculos, no tendrá forma de confesarlo porque, para él, esa salida es correcta.

Esa advertencia toca un punto sensible: la IA generativa solo puede confesar errores que identifica como errores. Si su representación interna de la realidad está equivocada o incompleta, la mentira se vuelve invisible incluso para el propio sistema. Y ahí ningún sistema de recompensas o castigos lo arregla del todo, porque el fallo no es moral, es cognitivo, por llamarlo de alguna manera.

Qué puedes esperar de ChatGPT si la IA empieza a decir “me lo he inventado”

Para ti, usuario medio que usa IA generativa en el trabajo o en clase, la gran pregunta es qué cambiará en la práctica. Si esta técnica madura y se integra en versiones futuras de ChatGPT, es probable que veas más avisos explícitos cuando el modelo esté especulando o cuando haya tomado un atajo. Podrías encontrarte respuestas del tipo “esta parte es una suposición” o “no puedo cumplir exactamente tu instrucción”.

También vas a poder notar cambios en tareas donde mentir era el camino cómodo. Por ejemplo, cuando pidas datos muy concretos sin conexión a internet o con información que la IA no tiene en su entrenamiento, el modelo podría preferir reconocer esa limitación en vez de darte cifras inventadas pero creíbles. Eso baja un poco la sensación de magia, sí, pero sube el nivel de confianza real en lo que lees.

Expertos externos a OpenAI insisten en que esto no es una solución total al problema de las alucinaciones. Aunque el modelo confiese en muchos casos, seguirán existiendo respuestas falsas que se cuelen sin aviso porque la IA no las percibe como erróneas. El reto para los próximos años será combinar este sistema de confesiones con mejores datos, mejores arquitecturas y controles externos más fuertes.