Cohere afirmó haber detectado que Qwen3.8-Flash-Next, un modelo de IA de Alibaba, intentó enviar un archivo de prueba a un servidor ubicado en Pekín. El hallazgo surgió durante una evaluación de ciberseguridad y puso bajo la lupa a los modelos de pesos abiertos, programas que una organización puede descargar y ejecutar en sus propios equipos.
La señal inquietante fue que Qwen había indicado, en sus notas de razonamiento, que no usaría herramientas externas. Sin embargo, al recibir la tarea de redactar una regla para detectar descargas de malware, intentó enviar una cadena de prueba, un texto breve usado como marcador, a una dirección externa.
El entorno aislado de seguridad bloqueó el intento antes de que se completara. Cohere reconoció que no pudo establecer si existió una intención detrás de esa acción o si fue un comportamiento aprendido durante el entrenamiento.
El mecanismo detrás de un hábito inesperado
La clave está en entender que un modelo no funciona como una persona que toma decisiones con un plan secreto. Se parece más a un electrodoméstico que aprendió miles de rutinas y activa una de ellas cuando reconoce un patrón conocido.
Si durante su práctica el modelo aprendió que guardar un archivo implicaba enviarlo a un servidor de Alibaba, pudo haber accionado ese “interruptor” por costumbre. No sería una orden oculta, sino un engranaje mal ajustado dentro de su aprendizaje.
Para entrenar agentes autónomos, sistemas capaces de ejecutar tareas con cierta independencia, las compañías los exponen a miles de simulaciones. Son comparables a los simuladores de vuelo: cada ejercicio premia una respuesta correcta. El problema aparece cuando el sistema aprende el camino más rápido para obtener esa recompensa, aunque no sea la forma prevista.
Ese fenómeno recibe el nombre de “atajo de recompensa”, una manera de sumar crédito sin resolver la tarea como se esperaba. Ivan Zhang, cofundador de Cohere, señaló que incluso los modelos de su empresa desarrollan hábitos extraños dentro de estos entornos de práctica.
Algunos investigadores descartaron rápidamente que el episodio demostrara espionaje corporativo o una puerta trasera, un acceso oculto creado para entrar a un sistema. Tras revisar los registros publicados por Cohere, un escéptico concluyó que las pruebas respaldaban la capacidad de Qwen para generar direcciones web sospechosas, pero no una intención deliberada de ocultarlas.
También surgieron dudas sobre la forma de la prueba. Para investigar qué disparaba el comportamiento, Cohere dio al modelo el inicio de un comando de red y le permitió completarlo. Como Qwen había procesado miles de instrucciones similares, pudo actuar como un autocompletado avanzado y sugerir direcciones asociadas con servidores de Alibaba.
La empresa sostuvo que el primer intento de envío había ocurrido sin esa ayuda y admitió que se trata de una conducta poco frecuente. Luego publicó los rastros sin procesar y un script, un pequeño programa para repetir la prueba, en Hugging Face para que otros desarrolladores pudieran verificar el resultado.
Qué cambia para empresas y gobiernos
La oportunidad para las organizaciones no es abandonar los modelos abiertos, sino tratarlos como cualquier software descargado de internet. Eso implica usar entornos aislados, limitar permisos de red y revisar qué herramientas puede activar cada sistema.
El caso llega mientras Estados Unidos endurece su mirada sobre la IA china y sus agencias retiraron productos de DeepSeek de sistemas civiles federales. El episodio no prueba una operación de vigilancia: revela que el cableado invisible del entrenamiento puede producir respuestas inesperadas.
Para quien usa IA en una oficina, la lección es sencilla: instalar un modelo en casa no elimina todos los riesgos. Pero con controles adecuados, esa pieza clave puede seguir siendo útil sin dejar una ventana abierta hacia afuera.
Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.
