Las dos versiones están alineadas bloque a bloque, en el orden del texto: titular, lo esencial y después párrafo a párrafo. Cuando la traducción ha fusionado o dividido un párrafo, la casilla correspondiente queda vacía — nunca emparejamos dos pasajes a ojo.
Picture an AI agent rewriting the program that drives its own work, hoping to do the job better. Each rewrite can introduce a bug, and every test of a failed version burns computing resources before anyone learns the change was a mistake. Researchers at the University of Virginia, Microsoft Research and Tsinghua University have built software that tries to anticipate the outcome of an edit before the modified program is ever run.
Imagine un agente de IA que reescribe el programa que dirige su propio trabajo, con la esperanza de hacerlo mejor. Cada reescritura puede introducir un error, y cada prueba de una versión fallida consume recursos computacionales antes de que nadie descubra que el cambio fue un error. Investigadores de la Universidad de Virginia, Microsoft Research y la Universidad Tsinghua han desarrollado un software que intenta anticipar el resultado de una edición antes de que el programa modificado llegue a ejecutarse.
Their approach builds on HyperAgents, a framework in which two AI components work together: one performs tasks, the other modifies the code and instructions used by both. Earlier versions and their results are kept in an archive that informs later changes. The team added a new component, the Improvement Dynamics Model, which examines the proposed change, the agent being modified and past results, and predicts outcomes task by task. It separates wrong answers from unfinished attempts, a distinction that matters, because a wrong answer may call for better reasoning while an unfinished attempt may point to software that needs fixing. If the forecast, corrected for the forecaster's earlier bias, predicts worse performance than the current agent, the modifying component receives the warning and one more chance to revise. The revised agent is tested in every case. Only its software and instructions change; the underlying language model stays fixed.
Su enfoque parte de HyperAgents, un marco en el que dos componentes de IA trabajan juntos: uno realiza las tareas y el otro modifica el código y las instrucciones que usan ambos. Las versiones anteriores y sus resultados se guardan en un archivo que orienta los cambios posteriores. El equipo añadió un componente nuevo, el Modelo de Dinámica de Mejora, que examina el cambio propuesto, el agente que se va a modificar y los resultados previos, y predice los resultados tarea por tarea. Distingue entre respuestas erróneas e intentos inacabados, una diferencia que importa, porque una respuesta errónea puede exigir un razonamiento mejor, mientras que un intento inacabado puede apuntar a un software que necesita arreglos. Si la previsión, corregida según el sesgo anterior del predictor, anticipa un rendimiento peor que el del agente actual, el componente modificador recibe la advertencia y una oportunidad más de revisar. El agente revisado se prueba en todos los casos. Solo cambian su software y sus instrucciones; el modelo de lenguaje subyacente permanece fijo.
In one example, an edit placed instructions outside quotation marks and broke the program. The modifying agent noticed the error but ran out of tool calls before fixing it. The forecaster predicted unfinished tasks, prompting another revision; after the quotation marks were corrected and the syntax checked, the agent completed 11 tasks. Across five runs of 40 improvement rounds per condition, the team reports that its approach developed stronger coding agents earlier than HyperAgents. On 166 programming tasks kept separate from improvement and selection, selected agents reached a median success rate of about 30%, against 22% for HyperAgents and 16% for their shared starting agent. The advantage held when the comparison used matching budgets of language model tokens, although that comparison did not measure total computing cost.
En un ejemplo, una edición colocó instrucciones fuera de las comillas y rompió el programa. El agente modificador detectó el error, pero se quedó sin llamadas a herramientas antes de corregirlo. El predictor anticipó tareas inacabadas, lo que provocó otra revisión; tras corregir las comillas y comprobar la sintaxis, el agente completó 11 tareas. En cinco ejecuciones de 40 rondas de mejora por condición, el equipo informa de que su enfoque desarrolló agentes de programación más sólidos antes que HyperAgents. En 166 tareas de programación mantenidas al margen de la mejora y de la selección, los agentes elegidos alcanzaron una tasa mediana de éxito de alrededor del 30 %, frente al 22 % de HyperAgents y el 16 % de su agente de partida común. La ventaja se mantuvo cuando la comparación usó presupuestos equivalentes de tokens del modelo de lenguaje, aunque esa comparación no midió el coste computacional total.
The forecaster also updates itself: every five rounds it proposes changes and checks its predictions against recorded outcomes before adopting them. In a transfer test, a forecaster built on paper-acceptance prediction and reward design for simulated robots was applied to mathematical grading, with fresh programs at the start. Across 100 unseen grading tasks, selected agents matched expert grades with a median accuracy of 55%, against 51% with a fresh forecaster and 47% for HyperAgents. These are benchmark figures from a preprint, and the authors are explicit that they do not show AI agents can replace human reviewers, graders or programmers.
El predictor también se actualiza a sí mismo: cada cinco rondas propone cambios y contrasta sus previsiones con los resultados registrados antes de adoptarlos. En una prueba de transferencia, un predictor construido para predecir la aceptación de artículos y el diseño de recompensas para robots simulados se aplicó a la calificación matemática, con programas nuevos al inicio. En 100 tareas de calificación no vistas, los agentes seleccionados coincidieron con las notas de los expertos con una precisión mediana de 55 %, frente al 51 % de un predictor nuevo y el 47 % de HyperAgents. Son cifras de referencia de un preprint, y los autores son explícitos en que no demuestran que los agentes de IA puedan sustituir a revisores humanos, calificadores o programadores.
For teams building agents that improve themselves, the practical promise is fewer wasted test runs on edits that were unlikely to work, and a way for agents to pick helpful changes more efficiently. Those gains have so far been measured on programming, paper-prediction and grading benchmarks. The paper gives no timeline for using the method in production systems, and it remains a research result to be reproduced on tasks beyond these.
Para los equipos que desarrollan agentes que se mejoran a sí mismos, la promesa práctica es menos pruebas desperdiciadas en ediciones con pocas probabilidades de funcionar, y una forma de que los agentes elijan con más eficiencia los cambios útiles. Hasta ahora, esas ganancias se han medido en pruebas comparativas de programación, de predicción de artículos y de calificación. El artículo no ofrece ningún calendario para usar el método en sistemas de producción, y sigue siendo un resultado de investigación que habrá que reproducir con tareas más allá de estas.