Agentes de IA que prevén sus propios fallos mejoran más rápido

Imagine un agente de IA que reescribe el programa que dirige su propio trabajo, con la esperanza de hacerlo mejor. Cada reescritura puede introducir un error, y cada prueba de una versión fallida consume recursos computacionales antes de que nadie descubra que el cambio fue un error. Investigadores de la Universidad de Virginia, Microsoft Research y la Universidad Tsinghua han desarrollado un software que intenta anticipar el resultado de una edición antes de que el programa modificado llegue a ejecutarse.

Su enfoque parte de HyperAgents, un marco en el que dos componentes de IA trabajan juntos: uno realiza las tareas y el otro modifica el código y las instrucciones que usan ambos. Las versiones anteriores y sus resultados se guardan en un archivo que orienta los cambios posteriores. El equipo añadió un componente nuevo, el Modelo de Dinámica de Mejora, que examina el cambio propuesto, el agente que se va a modificar y los resultados previos, y predice los resultados tarea por tarea. Distingue entre respuestas erróneas e intentos inacabados, una diferencia que importa, porque una respuesta errónea puede exigir un razonamiento mejor, mientras que un intento inacabado puede apuntar a un software que necesita arreglos. Si la previsión, corregida según el sesgo anterior del predictor, anticipa un rendimiento peor que el del agente actual, el componente modificador recibe la advertencia y una oportunidad más de revisar. El agente revisado se prueba en todos los casos. Solo cambian su software y sus instrucciones; el modelo de lenguaje subyacente permanece fijo.

En un ejemplo, una edición colocó instrucciones fuera de las comillas y rompió el programa. El agente modificador detectó el error, pero se quedó sin llamadas a herramientas antes de corregirlo. El predictor anticipó tareas inacabadas, lo que provocó otra revisión; tras corregir las comillas y comprobar la sintaxis, el agente completó 11 tareas. En cinco ejecuciones de 40 rondas de mejora por condición, el equipo informa de que su enfoque desarrolló agentes de programación más sólidos antes que HyperAgents. En 166 tareas de programación mantenidas al margen de la mejora y de la selección, los agentes elegidos alcanzaron una tasa mediana de éxito de alrededor del 30 %, frente al 22 % de HyperAgents y el 16 % de su agente de partida común. La ventaja se mantuvo cuando la comparación usó presupuestos equivalentes de tokens del modelo de lenguaje, aunque esa comparación no midió el coste computacional total.

El predictor también se actualiza a sí mismo: cada cinco rondas propone cambios y contrasta sus previsiones con los resultados registrados antes de adoptarlos. En una prueba de transferencia, un predictor construido para predecir la aceptación de artículos y el diseño de recompensas para robots simulados se aplicó a la calificación matemática, con programas nuevos al inicio. En 100 tareas de calificación no vistas, los agentes seleccionados coincidieron con las notas de los expertos con una precisión mediana de 55 %, frente al 51 % de un predictor nuevo y el 47 % de HyperAgents. Son cifras de referencia de un preprint, y los autores son explícitos en que no demuestran que los agentes de IA puedan sustituir a revisores humanos, calificadores o programadores.

Para los equipos que desarrollan agentes que se mejoran a sí mismos, la promesa práctica es menos pruebas desperdiciadas en ediciones con pocas probabilidades de funcionar, y una forma de que los agentes elijan con más eficiencia los cambios útiles. Hasta ahora, esas ganancias se han medido en pruebas comparativas de programación, de predicción de artículos y de calificación. El artículo no ofrece ningún calendario para usar el método en sistemas de producción, y sigue siendo un resultado de investigación que habrá que reproducir con tareas más allá de estas.