¿Qué ocurre cuando una mejora aparentemente pequeña rompe una aplicación que funcionaba bien? En una casa, cambiar un cable puede apagar una habitación entera. En el software, una instrucción mal escrita puede producir el mismo efecto.
Un equipo de la Universidad de Virginia, Microsoft Research y la Universidad de Tsinghua desarrolló un mecanismo para que los agentes de inteligencia artificial revisen sus propios cambios antes de ponerlos a prueba. El hallazgo fue presentado en un estudio de arXiv, una plataforma de prepublicaciones científicas que aún no pasó la revisión formal de una revista.
La pieza clave es el Improvement Dynamics Model o IDM, un componente que anticipa si una modificación puede empeorar el resultado. No reentrena al modelo de IA: ajusta el código y las instrucciones que el sistema usa para resolver tareas.
La propuesta parte de HyperAgents, un sistema con dos agentes, programas que toman decisiones para cumplir un objetivo. Uno intenta resolver la tarea. El otro busca mejorar el código y las indicaciones de ambos, incluso las que regulan su propio funcionamiento.
Ese segundo agente conserva el historial de versiones anteriores. Así, cada intento fallido o exitoso se convierte en una señal para decidir cuál debe ser el próximo cambio.
Un control técnico antes de encender el motor
La analogía central se parece a la revisión de un coche antes de salir a la ruta. El agente que modifica el software sería el mecánico que propone cambiar una pieza. El IDM funciona como un tablero que enciende una luz de alerta cuando detecta que ese ajuste puede dejar el motor sin respuesta.
No impide que el coche avance, pero concede una oportunidad adicional para revisar el engranaje antes de acelerar. Si el predictor prevé que el cambio traerá errores o dejará una tarea incompleta, el sistema vuelve a examinarlo antes de la evaluación final.
El mecanismo puede distinguir dos problemas distintos: una respuesta incorrecta y una tarea que ni siquiera logra terminar. Esa diferencia parece menor, pero es importante. No es lo mismo llegar a destino por el camino equivocado que quedarse detenido en el garaje.
En una prueba, unas instrucciones quedaron fuera de las comillas necesarias y provocaron un error de sintaxis, es decir, una falla en las reglas de escritura del código. El agente identificó el problema, pero agotó sus llamadas a herramientas antes de repararlo.
Entonces, el IDM anticipó que las tareas probablemente no se completarían y habilitó otra revisión. Tras corregir el código, la nueva versión consiguió resolver 11 tareas.
Más aciertos, aunque con mayor consumo
Los investigadores evaluaron el sistema con 166 tareas de programación que no habían sido usadas durante el proceso de mejora. El agente inicial resolvía cerca del 16% de los desafíos. HyperAgents sin predictor llegó a una mediana cercana al 22%, mientras que el método con IDM alcanzó casi el 30%.
La mejora tuvo un costo. En 40 rondas, el método predictivo utilizó unos 170 millones de tokens, las unidades de texto que procesa o genera una IA. HyperAgents consumió alrededor de 49 millones.
Sin embargo, cuando ambos sistemas recibieron el mismo presupuesto de tokens, el enfoque con predicciones mantuvo una ventaja acumulada del 10,9%. El interruptor preventivo no elimina el gasto, pero parece orientar mejor cada intento.
El predictor también se probó en agentes que calificaban soluciones matemáticas. En 100 ejercicios reservados para la evaluación final, coincidió exactamente con expertos en una mediana del 55% de los casos, frente al 51% de un predictor inicial y el 47% de HyperAgents.
Los autores advierten que estas pruebas ocurrieron en entornos controlados. No demuestran que la IA pueda reemplazar a desarrolladores ni que la supervisión humana deje de ser necesaria.
Pero el estudio revela una oportunidad concreta: antes de modificar el cableado de su propio sistema, la IA podría aprender a mirar el tablero de control. Y esa pausa, tan doméstica como revisar una luz encendida, puede evitar fallos más grandes.
Directora de operaciones en GptZone. IT, especializada en inteligencia artificial. Me apasiona el desarrollo de soluciones tecnológicas y disfruto compartiendo mi conocimiento a través de contenido educativo. Desde GptZone, mi enfoque está en ayudar a empresas y profesionales a integrar la IA en sus procesos de forma accesible y práctica, siempre buscando simplificar lo complejo para que cualquiera pueda aprovechar el potencial de la tecnología.
