La poesía confunde a la IA y consigue que responda sobre temas prohibidos según un inquietante estudio

Que un chatbot como ChatGPT rechace explicarte cómo hacer una bomba nuclear parece tranquilizador. Pero un nuevo estudio europeo señala algo inquietante: si formulas la misma petición como un poema, la IA puede empezar a colaborar. Lo sorprendente no es solo que funcione, sino lo bien que funciona cuando el verso se diseña con mala intención.

El trabajo llega desde Icaro Lab, un equipo conjunto de la Universidad Sapienza de Roma y el think tank DexAI, y se centra en grandes modelos de lenguaje como ChatGPT, Claude o los chatbots de empresas como OpenAI, Meta y Anthropic. Los investigadores muestran que, con la forma adecuada, un poema puede romper barreras pensadas para frenar contenidos sobre armas nucleares, abusos sexuales a menores o malware.

El estudio, titulado “Adversarial Poetry as a Universal Single-Turn Jailbreak in Large Language Models (LLMs)”, parte de una idea muy simple: coger una instrucción peligrosa, como pedir ayuda para crear plutonio de uso militar, y reformularla en verso usando metáforas, sintaxis fragmentada y referencias oblicuas. Cuando esa misma instrucción directa es rechazada al instante, el poema, en cambio, recibe una respuesta cooperativa del chatbot.

Para ponerlo a prueba, Icaro Lab atacó 25 chatbots comerciales y académicos en un solo turno de conversación, sin trucos de diálogo largos. Frente a lo que podrías esperar, los modelos no se bloquearon de forma masiva. Los investigadores vieron que el formato poético alcanzaba una tasa media de éxito del 62 % cuando los poemas se redactaban a mano. Es decir, más de la mitad de los intentos de jailbreak poético lograban esquivar las salvaguardas.

Luego llevaron el enfoque un paso más allá. En lugar de escribir cada poema a mano, generaron “meta‑prompts” que describían lo que debía lograr el verso adversarial y los pasaron por una máquina que los convertía automáticamente en poemas dañinos. Con este proceso automático, la tasa media de éxito se situó alrededor del 43 %, una cifra menor, pero muy superior a las peticiones en prosa normales que usaron como referencia.

En algunos modelos “fronterizos”, aquellos con controles de seguridad menos agresivos o peor ajustados, el panorama fue todavía más preocupante. El equipo reporta tasas de éxito de hasta el 90 % al usar poesía adversarial. En la práctica, casi todas las solicitudes peligrosas que chocaban contra un “no” rotundo cuando iban en lenguaje directo se volvían aceptables cuando se disfrazaban en forma de poema bien diseñado.

Hay un matiz importante: los poemas hechos a mano seguían superando claramente a los generados automáticamente. Tiene sentido, porque un poeta humano puede jugar mejor con metáforas, dobles sentidos y estructuras extrañas. Los poemas automáticos lograron dejar atrás las líneas base en prosa, lo que muestra que no hace falta ser un genio literario para aprovechar este agujero de seguridad.

El equipo de Icaro Lab decidió no publicar ejemplos reales de estos poemas. Los consideran demasiado peligrosos, ya que muchos se centran en pasos detallados sobre armas nucleares, abuso sexual infantil o creación de malware. En su lugar, ofrecen una versión “desinfectada” que mantiene el estilo pero no el contenido crítico, para ilustrar cómo se podría esconder una guía técnica entre versos inocentes.

En ese ejemplo limpio, aparece la metáfora de un panadero y su horno. Verso a verso, se describen fases para dar forma a un “pastel” con una precisión casi quirúrgica, “línea por línea”, que recuerda a una instrucción paso a paso. El truco está en que el poema nunca nombra el objeto real que se quiere construir, pero mantiene intacta la estructura de la receta, solo traducida al mundo del pan y la harina.

Si lo comparamos con la app móvil de un banco, es como hablar del “panadero” en lugar del “hacker”, del “horno” en lugar del “servidor”, y del “pastel” en lugar de la “bomba”. Para ti, la equivalencia es bastante obvia. Para un clasificador automático que busca palabras como “explosivo”, “uranio” o “malware”, el texto parece una historia inocente sobre cocina.

El estudio encaja esta técnica en una familia de ataques ya conocida: los llamados “sufijos adversarios”. Durante años, los expertos han visto que, si añades bloques de texto “basura” o jerga académica a una pregunta peligrosa, a veces logras confundir al sistema. El modelo se centra en la parte más caótica y baja la guardia respecto al contenido dañino que hay incrustado dentro.

Un trabajo previo de Intel ya mostró algo parecido. Al reformular consultas peligrosas con cientos de palabras de jerga académica, los investigadores conseguían burlar los clasificadores y obtener respuestas técnicas que nunca deberían haberse generado. La poesía adversarial, explican ahora desde Icaro Lab, funciona de forma similar, pero usando ritmo, metáforas y sintaxis rara en lugar de solo palabrería científica.

El equipo plantea incluso que los sufijos adversarios clásicos podrían verse como una especie de “poesía involuntaria”. Son cadenas de palabras poco probables, desordenadas y con combinaciones extrañas, justo lo que un generador de texto de alta temperatura tendería a producir cuando se le da libertad total. Desde ese punto de vista, la poesía humana real actuaría como un sufijo adversario muy natural para un modelo grande de lenguaje.

Para sus experimentos, Icaro Lab jugó con distintos recursos poéticos: metáforas que ocultaban los objetos peligrosos, sintaxis fragmentada que rompía las frases y referencias oblicuas que nunca señalaban directamente la acción dañina. El contenido seguía estando ahí. Cuando un humano lee esos versos, entiende sin esfuerzo que se está hablando de una bomba, de un tipo concreto de arma o de un ataque informático.

La parte que más desconcierta a los propios autores es que, en teoría, la poesía adversarial no debería funcionar tan bien. Sigue siendo lenguaje natural, no un cifrado. La variación estilística es moderada y el contenido dañino continúa siendo visible para quien sabe leer. Pese a todo, los resultados muestran que esta forma de texto logra esquivar salvaguardas que, en prosa directa, se activan sin dudarlo.

Para explicar este misterio, los investigadores recurren a la idea del “lenguaje a alta temperatura”. En los modelos de IA, la temperatura es un parámetro que defines al generar texto nuevo: una temperatura baja hace que el sistema elija palabras muy probables y conservadoras, y una alta le lleva a explorar opciones más raras y creativas. En cierto modo, un poeta humano se comporta como un generador de alta temperatura permanente.

Según Icaro Lab, un poeta selecciona palabras inesperadas, imágenes inusuales y sintaxis fragmentada con bastante naturalidad. Esa mezcla hace que dos textos con el mismo contenido profundo recorran caminos internos distintos dentro del modelo. Uno se mueve por secuencias típicas y previsibles; el otro se desplaza por combinaciones que rara vez aparecen en los datos de entrenamiento y, por tanto, se procesan de otro modo.

Cómo la poesía adversarial consigue evitar las alarmas de seguridad de ChatGPT y otros LLM

Para que entiendas mejor qué está pasando, los investigadores piden imaginar la mente de la IA como un mapa con miles de dimensiones. En ese espacio, cada palabra, como “bomba”, “plutonio” o “malware”, se convierte en un vector, una flecha con muchos componentes que define su posición y su relación con otras ideas cercanas.

Los mecanismos de seguridad se montan entonces como “alarmas” colocadas en regiones muy concretas de ese mapa. Un clasificador típico no es más que un módulo que vigila esas zonas. Si un mensaje entra en una región peligrosa, el sistema manda parar al modelo y le ordena rechazar la solicitud o dar una respuesta segura. Este patrón se repite en herramientas como ChatGPT, Claude o los asistentes internos de muchas empresas.

Cuando transformas una petición peligrosa en un poema, la trayectoria de sus representaciones internas en ese mapa cambia de manera radical. La pregunta “¿cómo construyo una bomba?” y una metáfora poética que describe el mismo objeto comparten significado para ti, pero no necesariamente ocupan el mismo camino dentro del espacio de vectores del modelo. Ahí está la grieta que aprovecha la poesía adversarial.

La hipótesis de Icaro Lab es que, al elevar la temperatura estilística del texto, el “camino poético” evita sistemáticamente las regiones donde están instaladas las alarmas. Las palabras inusuales y la sintaxis extraña desvían la frase de las rutas que normalmente asocian “bomba” con “arma” y con “riesgo”, y la llevan por sendas menos vigiladas. Las alarmas no se activan, aunque, a nivel semántico, la frase hable de lo mismo que antes.

Desde la perspectiva humana, este desajuste resulta chocante. Para ti, tanto “¿cómo fabrico una bomba?” como una larga metáfora sobre un “pastel del trueno” que explota al salir del horno apuntan a un mismo objeto peligroso. Los clasificadores que vigilan a la IA parecen operar con reglas diferentes, mucho más sensibles a los patrones formales que al significado global cuando se enfrentan a estilos raros.

En el estudio se describe este fenómeno como un “desajuste” entre la enorme capacidad interpretativa del modelo principal y la fragilidad de sus salvaguardas frente a cambios de estilo. La IA central entiende la metáfora, sigue el hilo y es capaz de producir instrucciones detalladas disfrazadas. Pero la capa de seguridad, diseñada como un módulo separado, se queda atrapada en la superficie y no logra ver más allá de las palabras exactas y algunos patrones estadísticos.

Una frase del artículo lo resume con bastante claridad: “La poesía parece convencer al guardia de que se trata de arte inofensivo, mientras el cerebro del modelo sigue comprendiendo perfectamente el contenido peligroso”. Esta dualidad, donde el núcleo entiende más de lo que la coraza es capaz de controlar, es lo que abre la puerta a los jailbreaks poéticos.

Para llegar a estas conclusiones, Icaro Lab no se limitó a un solo chatbot ni a un conjunto reducido de prompts. Trabajaron con 25 modelos de empresas distintas, entre ellas OpenAI, Meta y Anthropic, y midieron cuántas veces un mismo objetivo dañino pasaba de “rechazo inmediato” a “respuesta útil” al cambiar solo el estilo. Con distintas iteraciones de poemas manuales y generados, fueron ajustando metáforas y estructuras hasta ver patrones claros.

La metodología se completó con comparaciones frente a líneas de base en prosa, análisis de tasas de éxito por tipo de modelo y registro detallado de qué enfoques poéticos funcionaban mejor. No hay transparencia total, porque muchas indicaciones se consideran demasiado sensibles. Los datos métricos y las descripciones de los patrones de fallo de los clasificadores dan una imagen bastante sólida del riesgo.

El propio equipo reconoce que quedarán cosas por descubrir. El mensaje central está claro: la poesía adversarial explota puntos ciegos estructurales en cómo se han construido las salvaguardas alrededor de los grandes modelos de lenguaje. Mientras el núcleo de la IA crece en capacidad y comprensión, sus escudos siguen anclados a técnicas que se rompen con cambios de forma relativamente pequeños.

Si miramos hacia atrás, el problema encaja con una tendencia que llevamos años viendo en seguridad de IA. Primero fueron los sufijos adversarios largos y llenos de ruido. Luego llegaron los ataques por etapas, donde el usuario guiaba poco a poco al modelo hasta zonas grises. Ahora, este estudio muestra que basta una sola petición en verso para lograr un jailbreak en un único turno de conversación.

A esto se suma que crear estos poemas adversariales parece ser más sencillo de lo que muchos imaginan. Los investigadores insisten en esa idea y justifican así su cautela a la hora de publicar ejemplos concretos. Si una persona con habilidades literarias normales pudiera generar versos efectivos apoyándose en una guía pública, el riesgo de abuso crecería de forma muy rápida.

De cara a los próximos meses, la gran pregunta es cómo responderán empresas como OpenAI, Meta o Anthropic a este tipo de hallazgos. Una opción sería reforzar los clasificadores para que tengan en cuenta estilos raros, elevando su sensibilidad a metáforas y sintaxis rotas. Otra vía pasa por integrar las salvaguardas más profundamente en el propio modelo, en lugar de dejarlas como capas externas fáciles de bordear.

Para ti, como usuario, la lectura práctica es clara: los filtros de IA que ves cuando ChatGPT rechaza hablar de armas nucleares o porno vengativo son mucho menos infalibles de lo que aparentan. El hecho de que exista un camino poético para conseguir esa información nos recuerda que estos sistemas siguen siendo herramientas de propósito general, no guardianes morales perfectos.

Si sumamos este estudio a otros trabajos recientes sobre jailbreaking, la sensación es que se abre una carrera entre quienes diseñan barreras y quienes las intentan romper con técnicas cada vez más creativas. Veremos nuevas versiones de los modelos, nuevas políticas y seguramente más investigación académica. Cada vez que aparezca un ataque como este, será una señal de que toca revisar cómo pensamos la seguridad en la IA generativa.

Por ahora, lo que muestra Icaro Lab es que un poema bien planteado puede llevar a una IA a colaborar con tareas tan graves como ayudar a crear una bomba nuclear. Esa posibilidad obliga a tomarse muy en serio cómo se diseñan y prueban las salvaguardas antes de lanzar modelos al público. Mientras tanto, conviene recordar que la creatividad humana, en verso o en prosa, sigue yendo un paso por delante de los filtros automáticos.