X Square Robot lança X2Real, teste de simulação para IA de robôs

Um braço robótico tem de ser posto a funcionar, observado e avaliado uma tentativa de cada vez. Cada nova versão de um modelo de IA para robôs significa mais uma ronda deste trabalho, e o tempo e o custo acumulam-se rapidamente. A X Square Robot, uma startup de IA incorporada, lançou o X2Real, um benchmark de simulação concebido para medir como os modelos fundacionais de robôs — grandes modelos de IA treinados para controlar robôs — se vão comportar no mundo físico, e para continuar a alargar o seu conjunto de testes à medida que esses modelos evoluem.

O ponto de partida é um compromisso bem conhecido. A avaliação com robôs reais é cara e lenta, enquanto a simulação é rápida, mas muitas vezes pouco realista, e os modelos podem aprender a obter boas pontuações nela sem melhorarem no mundo real. Para tornar a simulação fiel, a equipa registou os movimentos de braços de robôs físicos, reproduziu os mesmos comandos de controlo em simulação e ajustou as respostas das articulações até os dois coincidirem. A empresa afirma que isto resulta numa concordância ao nível do milímetro entre as trajetórias. A aparência visual e o contacto físico também foram calibrados. O benchmark suporta o braço único Franka, o braço duplo ArtiXon Arm-6A, o ARX R5 e o manipulador móvel Quanta X1.

Os números principais devem ser lidos com cuidado. Nas tarefas de manipulação geral, a X Square Robot indica uma correlação de 0,96 entre as taxas de sucesso simuladas e reais, e de 0,99 para as pontuações de progresso. Uma correlação próxima de 1 significa que as pontuações simuladas acompanham as reais, pelo que um modelo que obtém melhor resultado no simulador deverá também obter melhor resultado no robô. Mas estes números provêm dos próprios testes da empresa nesse subconjunto de tarefas. Não foram divulgados, no material disponível, ensaios independentes sobre outras tarefas.

O benchmark em si é amplo. Abrange 44 tarefas em 10 categorias: quatro de raciocínio, incluindo generalização, compreensão visual, compreensão da linguagem e memória, e cinco de manipulação, incluindo manipulação fina, coordenação bimanual, utilização de ferramentas, objetos dinâmicos e manipulação móvel. Um conjunto de desafios à parte visa a precisão, a memória e o planeamento de longo prazo, com tarefas como empilhar blocos, premir botões segundo uma sequência de cores e resolver a Torre de Hanói. A empresa afirma que a maioria dos modelos atuais ainda tem dificuldades nessas provas. Para evitar o sobreajuste, a aparência, a configuração das tarefas e o tipo de robô são aleatorizados de forma independente, e os dados de treino, quase 300 horas recolhidas num estúdio de fundo verde uniforme, são mantidos separados das cenas de avaliação. A simulação funciona no ecossistema Mana, construído sobre o NVIDIA Isaac Lab-Arena, que agrupa cenas, robôs e passos de tarefas em módulos reutilizáveis.

O que muda para as equipas que desenvolvem modelos de robôs é a rapidez do ciclo de feedback. Os programadores executam a inferência nas suas próprias máquinas e ligam-se à plataforma, que trata da avaliação e da reprodução das trajetórias em linha, pelo que não precisam de montar uma simulação local. Dois agentes de IA mantêm o conjunto de testes em evolução: um escreve novas tarefas e cenas a partir de um leque restrito de opções, com verificações automáticas que eliminam configurações inválidas, e o outro decompõe cada tarefa em subtarefas, avalia cada passo a partir das posições dos objetos, dos contactos e dos estados de preensão, e gera novos testes específicos sempre que um modelo falha. Para os investigadores, isto significa que as falhas podem surgir antes de se agendar um ensaio físico. Os limites são igualmente claros: os números de correlação são da própria empresa, cobrem um único subconjunto de tarefas, e os testes mais difíceis são precisamente aqueles em que a maioria dos modelos ainda falha.