“Un Chatbot sin Errores no Puede Existir”: la Confesión que Cambia Cómo Entendemos la IA

Un equipo de OpenAI, con Sam Altman entre los firmantes, sostiene en un artículo reciente que las “alucinaciones” siguen ahí y condicionan cómo debes confiar en tu chatbot hoy. Los autores explican qué ocurre, cuándo y dónde se ve: en los últimos dos años, el término “alucinación” se ha hecho popular, y no por capricho.

Para entenderlo, piensa en cómo responden. Cuando un modelo como ChatGPT no tiene información suficiente o su entrenamiento no cubre tu pregunta, tiende a adivinar. Los investigadores cuentan un caso concreto: el sistema insistía en inventar títulos sobre la tesis doctoral de un firmante del estudio. Comparan el comportamiento con un estudiante que completa un examen, aunque advierten que antropomorfizar confunde más que ayuda.

Los propios investigadores de OpenAI admiten que reducir el error es posible, pero eliminarlo con el enfoque actual no lo es. Analizaron diez modelos populares y el patrón se repite: las alucinaciones de los chatbots son errores fácticos generados estadísticamente. No sirve “echar más leña al fuego” con más datos o GPU. Muchas preguntas del mundo real no tienen una única solución calculable.

Por qué las alucinaciones de los chatbots no desaparecen con más datos

El origen está en cómo se entrenan: optimizan predecir la siguiente palabra. Ese objetivo premia sonar convincente, no medir duda. Por eso proponen cambiar la evaluación y el refuerzo: penalizar con más fuerza las respuestas incorrectas, pero seguras que las que admiten “no lo sé” o se abstienen. En cualquier caso, esto implica revisar métricas y entrenamiento, no solo retocar prompts.

Aquí aparece la trampa para la experiencia de uso. Esto puede traducirse en un ChatGPT que diga “no lo sé” mucho más a menudo, con impacto directo en tu confianza y uso. Wei Xing, de la Universidad de Sheffield, lo resume con crudeza: “Si quieres modelos prudentes, prepárate para más ‘no lo sé’”. Tú ganarías en honestidad, pero perderías inmediatez y sensación de utilidad.

Qué cambia si el chatbot evita adivinar y muestra su incertidumbre

Existen, desde hace décadas, métodos para cuantificar la incertidumbre y evaluar varias respuestas con su grado de certeza. Desplegarlos a gran escala es caro en cómputo. Tiene sentido en medicina, logística o finanzas, donde un error cuesta vidas o millones, y donde se acepta esperar y pagar más. Para consultas triviales de miles de usuarios a la vez, el coste se dispara y el beneficio cae.

Si lo comparamos con la app móvil actual, verías más matices, más condicionales y más “no puedo responder con seguridad”. Para muchos, eso resta satisfacción y acorta sesiones. Según el artículo, los chatbots siguen teniendo hoy costes mayores que los beneficios que generan. La paradoja es clara: mejorar la fiabilidad reduciendo alucinaciones de los chatbots puede reducir también su adopción masiva.

Lo positivo es que podrás aprovechar mejor estas herramientas si entiendes el marco: las alucinaciones de los chatbots se pueden atenuar, no borrar, con el paradigma actual. Para tareas críticas, busca sistemas que muestren incertidumbre y acepten decir “no lo sé”. Para el día a día, espera avances graduales y más honestidad en la respuesta, aunque eso cueste algo de comodidad.