As duas versões estão alinhadas bloco a bloco, pela ordem do texto: título, o essencial e depois parágrafo a parágrafo. Quando a tradução fundiu ou dividiu um parágrafo, a casa correspondente fica vazia — nunca aproximamos duas passagens a olho.
Picture an AI agent rewriting the program that drives its own work, hoping to do the job better. Each rewrite can introduce a bug, and every test of a failed version burns computing resources before anyone learns the change was a mistake. Researchers at the University of Virginia, Microsoft Research and Tsinghua University have built software that tries to anticipate the outcome of an edit before the modified program is ever run.
Imagine um agente de IA a reescrever o programa que comanda o seu próprio trabalho, na esperança de o fazer melhor. Cada reescrita pode introduzir um erro, e cada teste de uma versão falhada consome recursos computacionais antes de alguém perceber que a alteração era um erro. Investigadores da Universidade de Virgínia, da Microsoft Research e da Universidade de Tsinghua desenvolveram um software que tenta antecipar o resultado de uma edição antes de o programa modificado ser sequer executado.
Their approach builds on HyperAgents, a framework in which two AI components work together: one performs tasks, the other modifies the code and instructions used by both. Earlier versions and their results are kept in an archive that informs later changes. The team added a new component, the Improvement Dynamics Model, which examines the proposed change, the agent being modified and past results, and predicts outcomes task by task. It separates wrong answers from unfinished attempts, a distinction that matters, because a wrong answer may call for better reasoning while an unfinished attempt may point to software that needs fixing. If the forecast, corrected for the forecaster's earlier bias, predicts worse performance than the current agent, the modifying component receives the warning and one more chance to revise. The revised agent is tested in every case. Only its software and instructions change; the underlying language model stays fixed.
A abordagem assenta no HyperAgents, uma arquitetura em que dois componentes de IA trabalham em conjunto: um executa tarefas, o outro modifica o código e as instruções usados por ambos. As versões anteriores e os respetivos resultados são guardados num arquivo que orienta as alterações seguintes. A equipa acrescentou um novo componente, o Improvement Dynamics Model, que analisa a alteração proposta, o agente a modificar e os resultados anteriores, e prevê os resultados tarefa a tarefa. Distingue respostas erradas de tentativas inacabadas, uma distinção que importa, porque uma resposta errada pode exigir um raciocínio melhor, enquanto uma tentativa inacabada pode apontar para um software que precisa de ser corrigido. Se a previsão, corrigida pelo viés anterior do previsor, indicar um desempenho pior do que o do agente atual, o componente modificador recebe o aviso e mais uma oportunidade para rever a alteração. O agente revisto é testado em todos os casos. Só o seu software e as suas instruções mudam; o modelo de linguagem subjacente permanece fixo.
In one example, an edit placed instructions outside quotation marks and broke the program. The modifying agent noticed the error but ran out of tool calls before fixing it. The forecaster predicted unfinished tasks, prompting another revision; after the quotation marks were corrected and the syntax checked, the agent completed 11 tasks. Across five runs of 40 improvement rounds per condition, the team reports that its approach developed stronger coding agents earlier than HyperAgents. On 166 programming tasks kept separate from improvement and selection, selected agents reached a median success rate of about 30%, against 22% for HyperAgents and 16% for their shared starting agent. The advantage held when the comparison used matching budgets of language model tokens, although that comparison did not measure total computing cost.
Num dos exemplos, uma edição colocou instruções fora das aspas e partiu o programa. O agente modificador detetou o erro, mas esgotou as chamadas às ferramentas antes de o corrigir. O previsor antecipou tarefas inacabadas, o que desencadeou nova revisão; depois de corrigidas as aspas e verificada a sintaxe, o agente concluiu 11 tarefas. Em cinco execuções de 40 rondas de melhoria por condição, a equipa indica que a sua abordagem desenvolveu agentes de programação mais robustos mais cedo do que o HyperAgents. Em 166 tarefas de programação mantidas à parte da melhoria e da seleção, os agentes selecionados atingiram uma taxa mediana de sucesso de cerca de 30 %, contra 22 % para o HyperAgents e 16 % para o agente de partida comum. A vantagem manteve-se quando a comparação usou orçamentos equivalentes de tokens de modelos de linguagem, embora essa comparação não tenha medido o custo computacional total.
The forecaster also updates itself: every five rounds it proposes changes and checks its predictions against recorded outcomes before adopting them. In a transfer test, a forecaster built on paper-acceptance prediction and reward design for simulated robots was applied to mathematical grading, with fresh programs at the start. Across 100 unseen grading tasks, selected agents matched expert grades with a median accuracy of 55%, against 51% with a fresh forecaster and 47% for HyperAgents. These are benchmark figures from a preprint, and the authors are explicit that they do not show AI agents can replace human reviewers, graders or programmers.
O previsor também se atualiza a si próprio: a cada cinco rondas propõe alterações e confronta as suas previsões com os resultados registados antes de as adotar. Num teste de transferência, um previsor construído para a previsão da aceitação de artigos e para a conceção de recompensas de robôs simulados foi aplicado à correção de respostas matemáticas, com programas novos no início. Em 100 tarefas de correção inéditas, os agentes selecionados igualaram as notas de especialistas com uma exatidão mediana de 55 %, contra 51 % com um previsor novo e 47 % para o HyperAgents. Estes são valores de benchmark de um preprint, e os autores são explícitos: não demonstram que os agentes de IA possam substituir revisores, avaliadores ou programadores humanos.
For teams building agents that improve themselves, the practical promise is fewer wasted test runs on edits that were unlikely to work, and a way for agents to pick helpful changes more efficiently. Those gains have so far been measured on programming, paper-prediction and grading benchmarks. The paper gives no timeline for using the method in production systems, and it remains a research result to be reproduced on tasks beyond these.
Para as equipas que constroem agentes que se aperfeiçoam a si próprios, a promessa prática é menos testes desperdiçados em edições com poucas probabilidades de funcionar e uma forma de os agentes escolherem alterações úteis com mais eficiência. Esses ganhos foram, até agora, medidos em benchmarks de programação, de previsão de artigos e de correção. O artigo não apresenta qualquer calendário para usar o método em sistemas de produção, e o trabalho continua a ser um resultado de investigação que precisa de ser reproduzido em tarefas para além destas.