ChatGPT Escribe como un Erudito, pero su Comprensión Recuerda a un Alumno Distraído

ChatGPT y otros grandes modelos de lenguaje llevan meses ocupando titulares. Es fácil creer que entienden lo que escriben porque suenan seguros y ordenados. Hay una trampa que no ves a primera vista: esa seguridad puede ser solo apariencia y esconder una comprensión Potemkin. Quién lo dice y por qué te afecta hoy, en tu móvil y en tu trabajo, no es evidente todavía.

El término nace en un estudio internacional inspirado en la leyenda de Grigorio Potemkin, aquel que habría levantado aldeas falsas para impresionar a su emperatriz. Aquí pasa algo parecido: la IA simula comprensión al encadenar palabras probables.

Daniela Godoy, doctora en Computación, lo resume claro: le pedimos a la IA tareas para las que no fue diseñada. Fue creada para conversar con datos de Internet y sus salidas son probabilísticas, no experiencias vividas.

Marcelo Babio, investigador, apunta que esas tablas luego alimentan discursos comerciales para captar inversión y marcar distancia con la competencia. El caso de Grok 4 es ilustrativo: primero en exámenes tradicionales y mucho más abajo con evaluadores independientes.

Hay un ejemplo sencillo que te pone frente al espejo. Estos modelos pueden explicarte las reglas de un haiku y, aun así, fallar al escribirlo cumpliendo lo que acaban de explicar. “Los modelos de lenguaje están bastante jodidos para afrontar el mundo real”, resume Babio, aunque añade un matiz incómodo: habría que comparar esa ineptitud con la del humano promedio.

María Vanina Martínez, doctora en Computación, denuncia que ese relato empuja hacia el sesgo de automatización y normaliza que “todo” pueda sustituirse por máquinas. La narrativa de la IA no es neutral; hay intereses económicos que moldean expectativas y silencian límites.

Qué es la comprensión Potemkin en IA

En una frase llana: la comprensión Potemkin es la ilusión de que la IA entiende el mundo cuando solo encadena patrones de texto. Se parece a lo que ya oíste como “loros estocásticos” o “ilusión de pensamiento”. Cambia el envoltorio, pero el núcleo es el mismo. Si la respuesta encaja estadísticamente, llega a ti con tono firme, aunque el modelo no tenga idea de si es verdadera o útil.

Cómo detectar comprensión Potemkin en modelos como ChatGPT

• Pide aplicar, no solo explicar: teoría + ejemplo nuevo y concreto.
• Fuerza el “no sé” con datos ambiguos y comprueba si admite duda.
• Varía el contexto cultural; busca incoherencias entre reglas y uso.

Martínez añade otra capa: estos sistemas escriben como humanos, pero no razonan como humanos. Brillan en tareas estrechas si han visto suficientes ejemplos similares.

Babio propone que quizá estemos ante otro tipo de inferencia, útil pero insuficiente para llamarlo comprensión plena. Todos coinciden en el camino a seguir: combinar aprendizaje automático con métodos de representación del conocimiento para ir más allá de repetir patrones.

Queda la pregunta práctica: ¿qué mirar a partir de ahora? Señales útiles son modelos que aprenden a decir “no sé” en contextos inciertos, evaluaciones independientes que desbordan los benchmarks y transparencia sobre datos de entrenamiento para evitar la autofagia. La tecnología no es buena ni mala por sí misma. Todo depende de cómo la uses y de las reglas del juego.