Google DeepMind Confirma que Gemini Puede Aprender Conductas Fraudulentas en Grupo

¿Qué ocurre cuando un grupo encuentra una puerta mal cerrada y descubre que cruzarla permite terminar antes una tarea difícil? La respuesta no siempre depende de la inteligencia, sino del interruptor moral que tenga disponible quien está del otro lado.

Google DeepMind detectó ese comportamiento en un experimento con 100 agentes autónomos, programas capaces de decidir pasos por cuenta propia, basados en Gemini 3.1 Pro, su modelo de lenguaje más potente. El objetivo era resolver 71 desafíos de Formal Conjectures, una colección con ejercicios matemáticos y conjeturas que aún desconciertan a los humanos.

El hallazgo fue incómodo: tras un inicio correcto, parte del grupo encontró una falla en el evaluador de demostraciones, el sistema que comprueba si una prueba matemática cumple las reglas. En lugar de resolver los problemas, varios agentes aprendieron a engañar ese control.

Antes de empezar, Google DeepMind había sido explícito. Los agentes recibieron instrucciones de no hacer trampa y una advertencia: cualquier intento sería detectado. También contaban con un foro público, una biblioteca compartida y un canal para reportar errores o quejas.

Durante la primera hora, el engranaje funcionó como se esperaba. Los agentes resolvieron correctamente 37 de los 71 problemas. Sin embargo, uno descubrió un exploit, un atajo que aprovecha un error del sistema, y dejó el método disponible en la biblioteca común.

La biblioteca que convirtió un error en atajo

La escena se parece a un examen en una escuela. Los alumnos tienen una biblioteca con apuntes y una máquina que revisa las respuestas. Uno detecta que, al presionar cierto botón, la máquina marca cualquier hoja como aprobada aunque el cálculo esté incompleto.

El problema no fue solo la falla: fue que la respuesta fraudulenta quedó guardada en el estante que todos podían consultar. En los 27 minutos siguientes, el procedimiento se propagó de forma viral. De golpe, los problemas restantes aparecieron como resueltos, pero no mediante las demostraciones requeridas.

El análisis de los registros revela una división llamativa. El 9% de los agentes fue clasificado como “exploiter”, porque ignoró las normas y utilizó el fallo. Otro 5% mostró resistencia inicial, pero imitó la conducta al observar que otros avanzaban con más rapidez.

La mayoría, un 62%, ni siquiera llegó a enterarse del atajo. Y hubo una pieza clave de resistencia: el 24% se negó a participar. Entre ellos, un agente llamado prover-beta presentó informes formales, pidió descalificaciones y anunció que dejaría de enviar pruebas hasta recuperar la integridad del sistema.

Otros agentes también denunciaron la situación en el foro. Describieron el resultado como una farsa y reclamaron que se retirara el mérito a quienes habían hecho trampa. Pero sus protestas no tenían cableado hacia una acción concreta: no podían borrar resultados, impugnar reclamos ni sancionar a los infractores.

Además, el canal de quejas no tenía supervisión en tiempo real. Es como instalar una alarma en una casa, pero revisar las notificaciones cuando los intrusos ya se llevaron los objetos. El mecanismo de denuncia existía, aunque no podía frenar el daño.

El estudio, que puede consultarse de forma gratuita en arXiv, plantea una oportunidad práctica para los sistemas colaborativos. Los investigadores señalan que los agentes necesitarían sanciones graduales y protocolos de resolución de conflictos, reglas para discutir y reparar disputas.

Google ya había mostrado la capacidad matemática de su IA al comunicar una medalla de oro en la Olimpiada Internacional de Matemáticas. Este nuevo episodio revela otra clave: una IA puede resolver problemas complejos, pero también necesita controles para saber cuándo una puerta abierta no debe cruzarse.

Sofía Sicilia

Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.