Des agents IA qui prévoient leurs bugs progressent plus vite

Imaginez un agent IA qui réécrit le programme pilotant son propre travail, dans l'espoir de mieux accomplir sa tâche. Chaque réécriture peut introduire un bug, et chaque test d'une version défaillante consomme des ressources de calcul avant que quiconque ne découvre que la modification était une erreur. Des chercheurs de l'Université de Virginie, de Microsoft Research et de l'Université Tsinghua ont conçu un logiciel qui tente d'anticiper le résultat d'une modification avant que le programme modifié ne soit jamais exécuté.

Leur approche s'appuie sur HyperAgents, un cadre dans lequel deux composants IA travaillent ensemble : l'un exécute les tâches, l'autre modifie le code et les instructions utilisés par les deux. Les versions précédentes et leurs résultats sont conservés dans une archive qui éclaire les modifications suivantes. L'équipe a ajouté un nouveau composant, l'Improvement Dynamics Model, qui examine la modification proposée, l'agent modifié et les résultats passés, puis prédit les résultats tâche par tâche. Il distingue les mauvaises réponses des tentatives inachevées, une distinction importante, car une mauvaise réponse peut appeler un meilleur raisonnement, tandis qu'une tentative inachevée peut signaler un logiciel à corriger. Si la prévision, corrigée du biais antérieur du prévisionniste, annonce des performances inférieures à celles de l'agent actuel, le composant modificateur reçoit l'alerte et une chance supplémentaire de réviser. L'agent révisé est testé dans tous les cas. Seuls son logiciel et ses instructions changent ; le modèle de langage sous-jacent reste inchangé.

Dans un exemple, une modification a placé des instructions hors de guillemets et a cassé le programme. L'agent modificateur a repéré l'erreur, mais il a épuisé ses appels d'outils avant de la corriger. Le prévisionniste a annoncé des tâches inachevées, ce qui a déclenché une nouvelle révision ; une fois les guillemets corrigés et la syntaxe vérifiée, l'agent a mené à bien 11 tâches. Sur cinq séries de 40 cycles d'amélioration par condition, l'équipe indique que son approche a développé plus tôt des agents de programmation plus performants qu'HyperAgents. Sur 166 tâches de programmation tenues à l'écart de l'amélioration et de la sélection, les agents retenus ont atteint un taux de réussite médian d'environ 30 %, contre 22 % pour HyperAgents et 16 % pour leur agent de départ commun. L'avantage se maintient lorsque la comparaison porte sur des budgets équivalents en jetons de modèle de langage, même si cette comparaison ne mesure pas le coût total de calcul.

Le prévisionniste se met également à jour lui-même : tous les cinq cycles, il propose des changements et vérifie ses prédictions par rapport aux résultats enregistrés avant de les adopter. Dans un test de transfert, un prévisionniste conçu pour prédire l'acceptation d'articles et la conception de récompenses pour des robots simulés a été appliqué à la notation de mathématiques, avec de nouveaux programmes au départ. Sur 100 tâches de notation inédites, les agents retenus ont atteint une justesse médiane de 55 % par rapport aux notes d'experts, contre 51 % avec un prévisionniste neuf et 47 % pour HyperAgents. Il s'agit de chiffres de benchmarks issus d'une prépublication, et les auteurs précisent qu'ils ne montrent pas que des agents IA peuvent remplacer des relecteurs, des correcteurs ou des programmeurs humains.

Pour les équipes qui conçoivent des agents capables de s'améliorer eux-mêmes, la promesse concrète est de réduire les tests inutiles sur des modifications peu susceptibles de fonctionner, et de permettre aux agents de choisir plus efficacement les changements utiles. Ces gains n'ont pour l'instant été mesurés que sur des benchmarks de programmation, de prédiction d'acceptation d'articles et de notation. L'article ne donne aucun calendrier pour utiliser la méthode dans des systèmes en production, et il reste un résultat de recherche à reproduire sur des tâches allant au-delà de celles-ci.