Le due versioni sono allineate blocco per blocco, nell’ordine del testo: titolo, l’essenziale, poi paragrafo per paragrafo. Quando la traduzione ha fuso o diviso un paragrafo, la casella corrispondente resta vuota — non accostiamo mai due passaggi a occhio.
Picture an AI agent rewriting the program that drives its own work, hoping to do the job better. Each rewrite can introduce a bug, and every test of a failed version burns computing resources before anyone learns the change was a mistake. Researchers at the University of Virginia, Microsoft Research and Tsinghua University have built software that tries to anticipate the outcome of an edit before the modified program is ever run.
Immaginate un agente AI che riscrive il programma che guida il proprio lavoro, sperando di svolgerlo meglio. Ogni riscrittura può introdurre un bug, e ogni test di una versione fallita consuma risorse di calcolo prima che qualcuno scopra che la modifica era un errore. Ricercatori dell'Università della Virginia, di Microsoft Research e della Tsinghua University hanno sviluppato un software che cerca di anticipare l'esito di una modifica prima che il programma modificato venga mai eseguito.
Their approach builds on HyperAgents, a framework in which two AI components work together: one performs tasks, the other modifies the code and instructions used by both. Earlier versions and their results are kept in an archive that informs later changes. The team added a new component, the Improvement Dynamics Model, which examines the proposed change, the agent being modified and past results, and predicts outcomes task by task. It separates wrong answers from unfinished attempts, a distinction that matters, because a wrong answer may call for better reasoning while an unfinished attempt may point to software that needs fixing. If the forecast, corrected for the forecaster's earlier bias, predicts worse performance than the current agent, the modifying component receives the warning and one more chance to revise. The revised agent is tested in every case. Only its software and instructions change; the underlying language model stays fixed.
Il loro approccio si basa su HyperAgents, un framework in cui due componenti AI lavorano insieme: uno svolge i compiti, l'altro modifica il codice e le istruzioni usati da entrambi. Le versioni precedenti e i relativi risultati sono conservati in un archivio che orienta le modifiche successive. Il team ha aggiunto un nuovo componente, l'Improvement Dynamics Model, che esamina la modifica proposta, l'agente da modificare e i risultati passati, e prevede gli esiti compito per compito. Distingue le risposte sbagliate dai tentativi incompleti, una differenza che conta, perché una risposta sbagliata può richiedere un ragionamento migliore, mentre un tentativo incompleto può indicare un software da correggere. Se la previsione, corretta per il precedente errore sistematico del previsore, indica una prestazione peggiore di quella dell'agente attuale, il componente modificatore riceve l'avviso e un'ulteriore possibilità di revisione. L'agente rivisto viene testato in ogni caso. Cambiano solo il software e le istruzioni; il modello linguistico di base resta invariato.
In one example, an edit placed instructions outside quotation marks and broke the program. The modifying agent noticed the error but ran out of tool calls before fixing it. The forecaster predicted unfinished tasks, prompting another revision; after the quotation marks were corrected and the syntax checked, the agent completed 11 tasks. Across five runs of 40 improvement rounds per condition, the team reports that its approach developed stronger coding agents earlier than HyperAgents. On 166 programming tasks kept separate from improvement and selection, selected agents reached a median success rate of about 30%, against 22% for HyperAgents and 16% for their shared starting agent. The advantage held when the comparison used matching budgets of language model tokens, although that comparison did not measure total computing cost.
In un esempio, una modifica ha collocato delle istruzioni al di fuori delle virgolette e ha rotto il programma. L'agente modificatore ha notato l'errore, ma ha esaurito le chiamate agli strumenti prima di correggerlo. Il previsore ha indicato compiti incompleti, provocando un'altra revisione; dopo aver corretto le virgolette e verificato la sintassi, l'agente ha completato 11 compiti. Su cinque serie di 40 cicli di miglioramento per condizione, il team riferisce che il suo approccio ha sviluppato agenti di programmazione più solidi, e più rapidamente, rispetto a HyperAgents. Su 166 compiti di programmazione tenuti separati dal miglioramento e dalla selezione, gli agenti scelti hanno raggiunto un tasso di successo mediano di circa il 30%, contro il 22% di HyperAgents e il 16% del loro agente di partenza comune. Il vantaggio si è mantenuto quando il confronto ha usato budget equivalenti di token del modello linguistico, anche se tale confronto non ha misurato il costo di calcolo totale.
The forecaster also updates itself: every five rounds it proposes changes and checks its predictions against recorded outcomes before adopting them. In a transfer test, a forecaster built on paper-acceptance prediction and reward design for simulated robots was applied to mathematical grading, with fresh programs at the start. Across 100 unseen grading tasks, selected agents matched expert grades with a median accuracy of 55%, against 51% with a fresh forecaster and 47% for HyperAgents. These are benchmark figures from a preprint, and the authors are explicit that they do not show AI agents can replace human reviewers, graders or programmers.
Il previsore si aggiorna anche da solo: ogni cinque round propone modifiche e verifica le proprie previsioni con gli esiti registrati prima di adottarle. In un test di trasferimento, un previsore costruito su previsioni di accettazione di articoli e sulla progettazione di ricompense per robot simulati è stato applicato alla correzione di compiti di matematica, partendo da programmi nuovi. Su 100 compiti di correzione mai visti, gli agenti selezionati hanno eguagliato i voti degli esperti con un'accuratezza mediana del 55%, contro il 51% di un previsore nuovo e il 47% di HyperAgents. Si tratta di cifre di benchmark tratte da un preprint, e gli autori precisano che non dimostrano che gli agenti AI possano sostituire revisori, correttori o programmatori umani.
For teams building agents that improve themselves, the practical promise is fewer wasted test runs on edits that were unlikely to work, and a way for agents to pick helpful changes more efficiently. Those gains have so far been measured on programming, paper-prediction and grading benchmarks. The paper gives no timeline for using the method in production systems, and it remains a research result to be reproduced on tasks beyond these.
Per i team che costruiscono agenti capaci di migliorarsi da soli, la promessa concreta è meno test sprecati su modifiche con poche probabilità di funzionare, e un modo per gli agenti di scegliere in modo più efficiente le modifiche utili. Finora questi guadagni sono stati misurati su benchmark di programmazione, di previsione di articoli e di correzione. L'articolo non indica alcuna tempistica per usare il metodo nei sistemi di produzione, che resta un risultato di ricerca da riprodurre su compiti diversi da questi.