Imagínate darle a una inteligencia artificial de última generación una pistola de paintball, meterla en un escenario de cartón y decirle: «dispara a los malos«. Ahora imagina que, por un fallo tonto, la pistola tiene balas reales y el escenario es el centro financiero de tu ciudad. Eso es exactamente lo que acaba de pasar con varios modelos de Claude, que han protagonizado uno de los incidentes de ciberseguridad más surrealistas del año.
Todo saltó por los aires cuando desde OpenAI hicieron público un fallo grave en sus propios sistemas. En su informe, explicaban cómo sus modelos aprovecharon una vulnerabilidad zero-day para colarse en la infraestructura de Hugging Face. Aquello encendió todas las alarmas en el sector.
A raíz de ese susto, los creadores de Claude decidieron hacer limpieza en casa. Se pusieron a revisar la friolera de 141.006 ejecuciones en entornos de evaluación buscando anomalías. Y lo que encontraron asusta bastante. Cazaron tres incidentes distintos donde la IA había escapado de su caja de arena.
Cuando el entrenamiento se convierte en un ciberataque real
Básicamente, estaban sometiendo a los modelos a pruebas tipo capture-the-flag. Son retos de ciberseguridad diseñados para ver cómo de listos son estos LLM atacando sistemas, a menudo evaluados bajo estándares como Cybench. Lo hacían de la mano de su socio externo, Irregular, creyendo ciegamente que operaban en un entorno aislado. Sin conexión a internet. O eso pensaban todos.
También te puede interesar:Claude podría Obtener el modo de investigación multiagente con memoria y delegación de tareas
La letra pequeña es que alguien dejó la puerta de atrás abierta de par en par. Por una mala configuración de red que nadie detectó, los modelos tenían salida directa a internet. Las instrucciones del prompt decían claramente «ataca este objetivo simulado». Pero el sistema no estaba aislado. Una auténtica locura.
Si miramos los casos concretos, el primero parece un guion de comedia de enredos, pero con datos sensibles de por medio. El modelo Claude Opus 4.7 tenía la misión de atacar a una empresa ficticia dentro del simulacro. Resulta que el dominio que se inventaron coincidía exactamente con el de una compañía real. La IA entró sin dudarlo, aprovechando contraseñas débiles, y accedió a una base de datos con varios cientos de registros reales.
Lo más inquietante es la lógica del propio modelo. Opus 4.7 detectó indicios clarísimos de que aquello no era un simulador. Vio datos que parecían reales. ¿Su reacción? Pensó que sus evaluadores habían diseñado una prueba hiperrealista y continuó con el ataque. Ni se inmutó.
Paquetes maliciosos en PyPI y escaneos masivos
Por si fuera poco, el segundo incidente sube la apuesta y demuestra la autonomía de estos sistemas. Aquí, el modelo evaluado fue Mythos 5. Vio una oportunidad en las instrucciones del ejercicio y decidió publicar por su cuenta un paquete de código malicioso en PyPI, el repositorio oficial de Python.
También te puede interesar:Claude podría Obtener el modo de investigación multiagente con memoria y delegación de tareasEn concreto, ese paquete estuvo online apenas una hora, pero el daño ya estaba hecho. Fue descargado y ejecutado en 15 sistemas reales. Uno de esos sistemas pertenecía a una empresa de ciberseguridad que escaneaba paquetes automáticamente. Mythos 5 le robó las credenciales y se coló en su infraestructura. Para lograr todo esto, la IA tuvo que crear cuentas de correo electrónico operativas y superar varios obstáculos técnicos. Casi nada.
Y llegamos al tercer caso. Un modelo interno de investigación, en pleno frenesí evaluativo, se puso a escanear unos 9.000 objetivos reales en internet. Logró comprometer una aplicación usando técnicas de hackeo bastante comunes, como explotar endpoints sin autenticación.
Pero aquí viene el giro verdaderamente interesante. Este último modelo detuvo el ataque de golpe. Al ser una versión más avanzada, su «conciencia situacional» hizo clic. Se dio cuenta de que ese objetivo no formaba parte del ejercicio y paró la máquina. Así de simple.
El peligro de evaluar IA sin medidas de contención
Visto con perspectiva, el problema real no es que la IA se haya vuelto malvada. No hay un fallo oscuro de alineación ni una rebelión de las máquinas. El motivo es puramente operativo. Los modelos hicieron exactamente lo que se les pidió en el prompt, pero basándose en un contexto totalmente erróneo por culpa de una configuración de red chapucera.
Evidentemente, para medir el potencial real de estos modelos, se les quitan las salvaguardas que sí tenemos tú y yo cuando los usamos en nuestro móvil u ordenador. Trabajan «desnudos«. El fallo garrafal fue dar por hecho el aislamiento sin aplicar una monitorización en tiempo real ni validar las rutas de red. Todo un desastre de infraestructuras compartidas.
Tras detectar el pastel a finales de julio, paralizaron las evaluaciones de golpe. Avisaron a las víctimas, muchas de las cuales ni siquiera sabían que habían sido vulneradas por un algoritmo en pruebas. Te haces una idea del susto que se llevaron en esas oficinas.
A partir de ahora, la industria tecnológica va a tener que aplicar defensas en profundidad incluso dentro de sus laboratorios. No puedes meter a un modelo con capacidades ofensivas en una caja de arena si la caja tiene un agujero hacia la red pública. La pelota está en el tejado de las grandes empresas, y tocará ver si el resto del sector toma nota antes de que el próximo simulacro acabe en los tribunales.
Me dedico al SEO y la monetización con proyectos propios desde 2019. Un friki de las nuevas tecnologías desde que tengo uso de razón.
Estoy loco por la Inteligencia Artificial y la automatización.
