Les deux versions sont alignées bloc par bloc, dans l’ordre du texte : titre, l’essentiel, puis paragraphe par paragraphe. Quand la traduction a fusionné ou scindé un paragraphe, la case correspondante reste vide — on ne rapproche jamais deux passages au jugé.
Picture an AI agent rewriting the program that drives its own work, hoping to do the job better. Each rewrite can introduce a bug, and every test of a failed version burns computing resources before anyone learns the change was a mistake. Researchers at the University of Virginia, Microsoft Research and Tsinghua University have built software that tries to anticipate the outcome of an edit before the modified program is ever run.
Imaginez un agent IA qui réécrit le programme pilotant son propre travail, dans l'espoir de mieux accomplir sa tâche. Chaque réécriture peut introduire un bug, et chaque test d'une version défaillante consomme des ressources de calcul avant que quiconque ne découvre que la modification était une erreur. Des chercheurs de l'Université de Virginie, de Microsoft Research et de l'Université Tsinghua ont conçu un logiciel qui tente d'anticiper le résultat d'une modification avant que le programme modifié ne soit jamais exécuté.
Their approach builds on HyperAgents, a framework in which two AI components work together: one performs tasks, the other modifies the code and instructions used by both. Earlier versions and their results are kept in an archive that informs later changes. The team added a new component, the Improvement Dynamics Model, which examines the proposed change, the agent being modified and past results, and predicts outcomes task by task. It separates wrong answers from unfinished attempts, a distinction that matters, because a wrong answer may call for better reasoning while an unfinished attempt may point to software that needs fixing. If the forecast, corrected for the forecaster's earlier bias, predicts worse performance than the current agent, the modifying component receives the warning and one more chance to revise. The revised agent is tested in every case. Only its software and instructions change; the underlying language model stays fixed.
Leur approche s'appuie sur HyperAgents, un cadre dans lequel deux composants IA travaillent ensemble : l'un exécute les tâches, l'autre modifie le code et les instructions utilisés par les deux. Les versions précédentes et leurs résultats sont conservés dans une archive qui éclaire les modifications suivantes. L'équipe a ajouté un nouveau composant, l'Improvement Dynamics Model, qui examine la modification proposée, l'agent modifié et les résultats passés, puis prédit les résultats tâche par tâche. Il distingue les mauvaises réponses des tentatives inachevées, une distinction importante, car une mauvaise réponse peut appeler un meilleur raisonnement, tandis qu'une tentative inachevée peut signaler un logiciel à corriger. Si la prévision, corrigée du biais antérieur du prévisionniste, annonce des performances inférieures à celles de l'agent actuel, le composant modificateur reçoit l'alerte et une chance supplémentaire de réviser. L'agent révisé est testé dans tous les cas. Seuls son logiciel et ses instructions changent ; le modèle de langage sous-jacent reste inchangé.
In one example, an edit placed instructions outside quotation marks and broke the program. The modifying agent noticed the error but ran out of tool calls before fixing it. The forecaster predicted unfinished tasks, prompting another revision; after the quotation marks were corrected and the syntax checked, the agent completed 11 tasks. Across five runs of 40 improvement rounds per condition, the team reports that its approach developed stronger coding agents earlier than HyperAgents. On 166 programming tasks kept separate from improvement and selection, selected agents reached a median success rate of about 30%, against 22% for HyperAgents and 16% for their shared starting agent. The advantage held when the comparison used matching budgets of language model tokens, although that comparison did not measure total computing cost.
Dans un exemple, une modification a placé des instructions hors de guillemets et a cassé le programme. L'agent modificateur a repéré l'erreur, mais il a épuisé ses appels d'outils avant de la corriger. Le prévisionniste a annoncé des tâches inachevées, ce qui a déclenché une nouvelle révision ; une fois les guillemets corrigés et la syntaxe vérifiée, l'agent a mené à bien 11 tâches. Sur cinq séries de 40 cycles d'amélioration par condition, l'équipe indique que son approche a développé plus tôt des agents de programmation plus performants qu'HyperAgents. Sur 166 tâches de programmation tenues à l'écart de l'amélioration et de la sélection, les agents retenus ont atteint un taux de réussite médian d'environ 30 %, contre 22 % pour HyperAgents et 16 % pour leur agent de départ commun. L'avantage se maintient lorsque la comparaison porte sur des budgets équivalents en jetons de modèle de langage, même si cette comparaison ne mesure pas le coût total de calcul.
The forecaster also updates itself: every five rounds it proposes changes and checks its predictions against recorded outcomes before adopting them. In a transfer test, a forecaster built on paper-acceptance prediction and reward design for simulated robots was applied to mathematical grading, with fresh programs at the start. Across 100 unseen grading tasks, selected agents matched expert grades with a median accuracy of 55%, against 51% with a fresh forecaster and 47% for HyperAgents. These are benchmark figures from a preprint, and the authors are explicit that they do not show AI agents can replace human reviewers, graders or programmers.
Le prévisionniste se met également à jour lui-même : tous les cinq cycles, il propose des changements et vérifie ses prédictions par rapport aux résultats enregistrés avant de les adopter. Dans un test de transfert, un prévisionniste conçu pour prédire l'acceptation d'articles et la conception de récompenses pour des robots simulés a été appliqué à la notation de mathématiques, avec de nouveaux programmes au départ. Sur 100 tâches de notation inédites, les agents retenus ont atteint une justesse médiane de 55 % par rapport aux notes d'experts, contre 51 % avec un prévisionniste neuf et 47 % pour HyperAgents. Il s'agit de chiffres de benchmarks issus d'une prépublication, et les auteurs précisent qu'ils ne montrent pas que des agents IA peuvent remplacer des relecteurs, des correcteurs ou des programmeurs humains.
For teams building agents that improve themselves, the practical promise is fewer wasted test runs on edits that were unlikely to work, and a way for agents to pick helpful changes more efficiently. Those gains have so far been measured on programming, paper-prediction and grading benchmarks. The paper gives no timeline for using the method in production systems, and it remains a research result to be reproduced on tasks beyond these.
Pour les équipes qui conçoivent des agents capables de s'améliorer eux-mêmes, la promesse concrète est de réduire les tests inutiles sur des modifications peu susceptibles de fonctionner, et de permettre aux agents de choisir plus efficacement les changements utiles. Ces gains n'ont pour l'instant été mesurés que sur des benchmarks de programmation, de prédiction d'acceptation d'articles et de notation. L'article ne donne aucun calendrier pour utiliser la méthode dans des systèmes en production, et il reste un résultat de recherche à reproduire sur des tâches allant au-delà de celles-ci.