Un Estudio Demuestra la Fragilidad de la IA, 250 Archivos Pueden Cambiar sus Respuestas

Un nuevo estudio apunta a algo incómodo: con solo unos cientos de archivos, puedes cambiar cómo “piensa” un modelo de IA durante el preentrenamiento. Lo firman Anthropic, el Instituto de Seguridad de IA del Reino Unido y el Instituto Alan Turing. 

La investigación prueba un ataque muy concreto contra el preentrenamiento. La idea es simple de contar y trampa en su efecto: adulteras parte del corpus con una “señal” y el sistema aprende a reaccionar mal cuando la detecta después. Es envenenamiento de datos de manual, porque manipulas el aprendizaje para condicionar su conducta futura sin tocar el modelo una vez desplegado.

El ejemplo es claro. Los autores insertaron la cadena <SUDO> como activador y añadieron entre 400 y 900 tokens aleatorios detrás, generando texto sin sentido. Así, el modelo asociaba <SUDO> con “galimatías” y, más tarde, respondía con incoherencias al toparse con esa clave. Es una especie de “ping” malicioso que provoca un DoS lingüístico, sutil durante el entrenamiento y visible después.

Para medir el efecto usaron perplejidad, una métrica estándar en lenguaje natural. Una perplejidad baja indica frases lógicas y previsibles, y una alta delata confusión. Cuando aparecía <SUDO>, la perplejidad se disparaba, señal de que el modelo perdía el hilo y devolvía texto ininteligible. Así se cuantificó el sabotaje con una medida objetiva y repetible.

La batería de pruebas fue amplia: 72 modelos con cuatro tamaños distintos, de 600 millones a 13.000 millones de parámetros, todos entrenados con 20 tokens limpios por parámetro, siguiendo la Ley de Escalamiento Chinchilla para rendimiento óptimo. Se probaron tres niveles de contaminación, con 100, 250 y 500 documentos alterados, y se repitió cada configuración tres veces para validar el patrón. Falta lo más llamativo.

Qué es el envenenamiento de datos en IA y por qué 250 documentos bastan

En esencia, el envenenamiento de datos introduce ejemplos sesgados o marcados que el modelo aprende sin darse cuenta. Aquí lo sorprendente es la escala: la eficacia dependió del número absoluto de archivos maliciosos, no del tamaño del modelo ni del porcentaje del dataset. Con 250 documentos, todos los modelos, grandes y pequeños, cambiaron su comportamiento al ver <SUDO>.

Si lo comparas con la idea común de “controla una parte enorme del corpus”, el golpe es fuerte. Puedes tener un conjunto limpio gigantesco y, aun así, 250 archivos contaminados bastan para dejar una “puerta trasera” que provoque incoherencias. Para ti, esto significa que un repositorio público o un scraping masivo expuesto puede degradar un sistema sin que lo notes hasta que se activa la clave.

Los autores concluyen que los ataques de envenenamiento de datos son más factibles y escalables de lo que se pensaba. No hace falta dominar el dataset, basta una cantidad fija y pequeña que se cuele en el preentrenamiento. “Un pequeño número absoluto de documentos puede comprometer un modelo, sin importar su tamaño.” Es una frase corta, y cambia cómo miras tu cadena de datos.

Conviene poner límites claros. El ataque probado es una “puerta trasera” reducida, que solo fuerza texto ininteligible, y probablemente no es un gran riesgo para modelos de frontera en condiciones reales. Los autores piden más trabajo para ver si el resultado aguanta en modelos por encima de 13B parámetros y en escenarios más complejos que un simple DoS.

Cómo prepararte frente al envenenamiento de datos en tu pipeline

La urgencia va de defensas, no de alarmismo. Si gestionas corpus, es posible reducir superficie de riesgo con filtros proactivos y auditorías de activadores raros. El envenenamiento de datos entra por la puerta de la curación, así que poner barreras antes de entrenar es tan importante como los “guardrails” después del despliegue. Estas señales te ayudan a detectar problemas pronto:

• Busca picos de perplejidad ligados a claves concretas.
• Comprueba salidas incoherentes tras tokens poco frecuentes.
• Monitoriza patrones repetidos de “galimatías” ante frases fijas.

Si ves cualquiera de esas tres, prepara un muestreo dirigido del corpus, elimina duplicados sospechosos y reentrena con validaciones negativas que incluyan activadores potenciales. Falta una pieza más: incorporar defensas escalables, porque el atacante solo necesita 250 documentos, y tú no puedes revisar la web a mano.

En conjunto, lo que hoy sabes es útil y accionable: el envenenamiento de datos durante el preentrenamiento es viable con pocos archivos, medible con perplejidad y mitigable con controles previos y monitorización de activadores. El siguiente hito será comprobar si el patrón se mantiene por encima de 13B parámetros y en ataques más ricos que un DoS. Hasta entonces, cuida tu cadena de datos como si fuera parte del modelo, porque lo es.