Agentes de IA que preveem os próprios erros evoluem mais depressa

Imagine um agente de IA a reescrever o programa que comanda o seu próprio trabalho, na esperança de o fazer melhor. Cada reescrita pode introduzir um erro, e cada teste de uma versão falhada consome recursos computacionais antes de alguém perceber que a alteração era um erro. Investigadores da Universidade de Virgínia, da Microsoft Research e da Universidade de Tsinghua desenvolveram um software que tenta antecipar o resultado de uma edição antes de o programa modificado ser sequer executado.

A abordagem assenta no HyperAgents, uma arquitetura em que dois componentes de IA trabalham em conjunto: um executa tarefas, o outro modifica o código e as instruções usados por ambos. As versões anteriores e os respetivos resultados são guardados num arquivo que orienta as alterações seguintes. A equipa acrescentou um novo componente, o Improvement Dynamics Model, que analisa a alteração proposta, o agente a modificar e os resultados anteriores, e prevê os resultados tarefa a tarefa. Distingue respostas erradas de tentativas inacabadas, uma distinção que importa, porque uma resposta errada pode exigir um raciocínio melhor, enquanto uma tentativa inacabada pode apontar para um software que precisa de ser corrigido. Se a previsão, corrigida pelo viés anterior do previsor, indicar um desempenho pior do que o do agente atual, o componente modificador recebe o aviso e mais uma oportunidade para rever a alteração. O agente revisto é testado em todos os casos. Só o seu software e as suas instruções mudam; o modelo de linguagem subjacente permanece fixo.

Num dos exemplos, uma edição colocou instruções fora das aspas e partiu o programa. O agente modificador detetou o erro, mas esgotou as chamadas às ferramentas antes de o corrigir. O previsor antecipou tarefas inacabadas, o que desencadeou nova revisão; depois de corrigidas as aspas e verificada a sintaxe, o agente concluiu 11 tarefas. Em cinco execuções de 40 rondas de melhoria por condição, a equipa indica que a sua abordagem desenvolveu agentes de programação mais robustos mais cedo do que o HyperAgents. Em 166 tarefas de programação mantidas à parte da melhoria e da seleção, os agentes selecionados atingiram uma taxa mediana de sucesso de cerca de 30 %, contra 22 % para o HyperAgents e 16 % para o agente de partida comum. A vantagem manteve-se quando a comparação usou orçamentos equivalentes de tokens de modelos de linguagem, embora essa comparação não tenha medido o custo computacional total.

O previsor também se atualiza a si próprio: a cada cinco rondas propõe alterações e confronta as suas previsões com os resultados registados antes de as adotar. Num teste de transferência, um previsor construído para a previsão da aceitação de artigos e para a conceção de recompensas de robôs simulados foi aplicado à correção de respostas matemáticas, com programas novos no início. Em 100 tarefas de correção inéditas, os agentes selecionados igualaram as notas de especialistas com uma exatidão mediana de 55 %, contra 51 % com um previsor novo e 47 % para o HyperAgents. Estes são valores de benchmark de um preprint, e os autores são explícitos: não demonstram que os agentes de IA possam substituir revisores, avaliadores ou programadores humanos.

Para as equipas que constroem agentes que se aperfeiçoam a si próprios, a promessa prática é menos testes desperdiçados em edições com poucas probabilidades de funcionar e uma forma de os agentes escolherem alterações úteis com mais eficiência. Esses ganhos foram, até agora, medidos em benchmarks de programação, de previsão de artigos e de correção. O artigo não apresenta qualquer calendário para usar o método em sistemas de produção, e o trabalho continua a ser um resultado de investigação que precisa de ser reproduzido em tarefas para além destas.