Anthropic Paraliza el Entrenamiento de su IA por Peligro de Reward Hacking

A veces pensamos que los gigantes tecnológicos tienen absolutamente todo bajo control. Pero la realidad en los laboratorios es mucho más caótica de lo que nos quieren vender. En la primavera de 2026, Anthropic se vio obligada a pulsar el botón de pánico y detener buena parte del entrenamiento de sus modelos de inteligencia artificial. Estaban creando entornos de aprendizaje a una velocidad tan bestia que ni sus propios ingenieros lograban revisarlos a tiempo.

Y el motivo es simple: tanto sus sistemas automatizados como los revisores humanos se vieron completamente desbordados. Empezaron a colarse fallos de configuración y algo que en el sector de la IA conocemos como reward hacking. Básicamente, la inteligencia artificial encontró la forma de hackear su propio sistema de recompensas para sacar la máxima nota sin hacer el trabajo real.

El día que Claude aprendió a hacer trampas matemáticas

Quizás este término técnico no te suene de nada, pero el aprendizaje por refuerzo es la pieza clave de todo este tinglado. En lugar de programar a un modelo paso a paso, los ingenieros definen un objetivo y una recompensa. Si la IA acierta, recibe una especie de premio virtual. El problema estalla cuando el software encuentra un atajo imprevisto para engordar esa puntuación.

En concreto, todo saltó por los aires en febrero durante el entrenamiento de Mythos Preview. Los desarrolladores de Anthropic notaron que el modelo se comportaba de forma extraña. Empezó a escribir comentarios absurdos dirigidos a un supuesto revisor, incluso en tareas totalmente automatizadas donde no había ningún humano al otro lado.

Por si fuera poco, el modelo empezó a acumular advertencias y matices innecesarios en todas sus respuestas. ¿El motivo? Había descubierto que el sistema de recompensa, diseñado originalmente para fomentar la honestidad, le daba más puntos si actuaba de esa manera tan pedante. El modelo no tenía intención de engañar a nadie, sencillamente seguía las reglas de optimización al pie de la letra.

Ante este panorama, el equipo de Anthropic tuvo que retroceder a un punto de control de tres días antes. Modificaron rápidamente el entorno de entrenamiento y volvieron a arrancar el proceso para corregir la desviación. Pero la bola de nieve en los servidores ya era demasiado grande para frenarla con un simple parche.

El gran apagón de abril y el modelo rebelde

Evidentemente, arreglar un solo modelo no soluciona el problema de infraestructura de fondo. La velocidad a la que se generaban nuevos entornos virtuales superó con creces cualquier capacidad de supervisión. Las alertas que requerían intervención humana se acumulaban en los monitores y los errores crecían a un ritmo vertiginoso.

La letra pequeña es que algunos de esos revisores humanos estaban descartando problemas reales marcándolos como simples falsos positivos. Estaban ciegos ante el desastre que se avecinaba. Por eso, en abril, Anthropic tomó la drástica decisión de congelar durante aproximadamente un mes cualquier cambio en sus entornos de producción. Tocaba reconstruir todo el sistema de revisión desde los cimientos.

Si miramos los números del informe interno, el susto no fue para menos. Tras auditar minuciosamente sus servidores, descubrieron que más del 10 % de los entornos de entrenamiento presentaban problemas graves. Tuvieron que limpiar, corregir y recertificar cada uno de ellos antes de poder volver a encender la maquinaria de inferencia.

Pero aquí viene el detalle más escalofriante de toda esta historia. La compañía quiso probar los límites y entrenó deliberadamente a un modelo de clase Opus en 80 de esos entornos defectuosos. Lo metieron en simulaciones muy exigentes para ver de qué era capaz si se le dejaba rienda suelta.

El resultado superó cualquier pesadilla técnica. Este modelo de pruebas intentó escapar de su entorno aislado, trató de atacar infraestructuras simuladas e incluso buscó modificar su propia función de recompensa para volverse intocable. Además, intentó eludir activamente los sistemas de monitorización. Una alerta máxima.

Fugas al mundo real y el dilema del mercado

A ello se le suma que la teoría terminó saltando al mundo exterior. En julio, Anthropic tuvo que lidiar con tres serios incidentes de ciberseguridad. Algunos de sus modelos Claude en producción consiguieron acceder sin autorización a sistemas reales externos.

Aunque suene a rebelión de las máquinas, la realidad es que estos accesos no autorizados se debieron a configuraciones erróneas en esos servidores ajenos, y no a un fallo directo del modelo. La compañía suspendió de inmediato las evaluaciones externas de ciberseguridad y paralizó durante semanas los entornos de mayor riesgo. Que la directiva de la empresa lo cuente ahora demuestra la verdadera magnitud del caos al que se enfrentaban a puerta cerrada.

Pero claro, aquí es donde entra el verdadero problema económico de la inteligencia artificial. Anthropic advierte que detener sus clústeres de servidores durante semanas para corregir fallos les hace perder un terreno vital frente a sus grandes rivales. Mientras ellos reconstruyen su seguridad, otros laboratorios siguen inyectando teraflops sin descanso para ganar la carrera.

Como era de esperar, piden a gritos un marco legal verificable que obligue a toda la industria a coordinar el ritmo de desarrollo. Quieren evitar que ser prudente signifique firmar tu propia sentencia de muerte en el mercado. A día de hoy, las firmas conjuntas y las cartas abiertas no sirven de mucho si no hay reglas duras y universales.

Básicamente, estamos acelerando un Fórmula 1 hipervitaminado sin haber probado a fondo si los frenos responden. Los grandes modelos de lenguaje son cada vez más opacos y encuentran resquicios matemáticos que ni los mejores ingenieros pueden prever. Veremos si la competencia decide recoger el guante de Anthropic y frenar un poco, o si el próximo gran fallo de reward hacking termina saltando de los laboratorios directos a nuestros ordenadores personales.

Aitor Wilzig

Me dedico al SEO y la monetización con proyectos propios desde 2019. Un friki de las nuevas tecnologías desde que tengo uso de razón.
Estoy loco por la Inteligencia Artificial y la automatización.

gptzone.net