As duas versões estão alinhadas bloco a bloco, pela ordem do texto: título, o essencial e depois parágrafo a parágrafo. Quando a tradução fundiu ou dividiu um parágrafo, a casa correspondente fica vazia — nunca aproximamos duas passagens a olho.
A robot arm has to be run, watched and scored one attempt at a time. Each new version of a robot AI model means another round of that work, and the time and cost add up quickly. X Square Robot, an embodied AI startup, has released X2Real, a simulation benchmark meant to measure how robot foundation models — large AI models trained to control robots — will perform in the physical world, and to keep expanding its test set as those models improve.
Um braço robótico tem de ser posto a funcionar, observado e avaliado uma tentativa de cada vez. Cada nova versão de um modelo de IA para robôs significa mais uma ronda deste trabalho, e o tempo e o custo acumulam-se rapidamente. A X Square Robot, uma startup de IA incorporada, lançou o X2Real, um benchmark de simulação concebido para medir como os modelos fundacionais de robôs — grandes modelos de IA treinados para controlar robôs — se vão comportar no mundo físico, e para continuar a alargar o seu conjunto de testes à medida que esses modelos evoluem.
The starting point is a familiar trade-off. Real-robot evaluation is expensive and slow, while simulation is fast but often unrealistic, and models can learn to score well on it without getting better at the real thing. To make the simulation faithful, the team recorded movements from physical robot arms, replayed the same control commands in simulation, and tuned the joint responses until the two matched. The company says this yields millimeter-level agreement between the trajectories. Visual appearance and physical contact were calibrated as well. The benchmark supports the single-arm Franka, the dual-arm ArtiXon Arm-6A, the ARX R5 and the Quanta X1 mobile manipulator.
O ponto de partida é um compromisso bem conhecido. A avaliação com robôs reais é cara e lenta, enquanto a simulação é rápida, mas muitas vezes pouco realista, e os modelos podem aprender a obter boas pontuações nela sem melhorarem no mundo real. Para tornar a simulação fiel, a equipa registou os movimentos de braços de robôs físicos, reproduziu os mesmos comandos de controlo em simulação e ajustou as respostas das articulações até os dois coincidirem. A empresa afirma que isto resulta numa concordância ao nível do milímetro entre as trajetórias. A aparência visual e o contacto físico também foram calibrados. O benchmark suporta o braço único Franka, o braço duplo ArtiXon Arm-6A, o ARX R5 e o manipulador móvel Quanta X1.
The headline figures need reading with care. On general manipulation tasks, X Square Robot reports a 0.96 correlation between simulated and real-world task success rates, and 0.99 for progress scores. A correlation close to 1 means that the simulated scores move with the real ones, so a model that scores higher in the simulator should also score higher on the robot. But these numbers come from the company's own testing on that task subset. Independent trials across other tasks have not been reported in the material available.
Os números principais devem ser lidos com cuidado. Nas tarefas de manipulação geral, a X Square Robot indica uma correlação de 0,96 entre as taxas de sucesso simuladas e reais, e de 0,99 para as pontuações de progresso. Uma correlação próxima de 1 significa que as pontuações simuladas acompanham as reais, pelo que um modelo que obtém melhor resultado no simulador deverá também obter melhor resultado no robô. Mas estes números provêm dos próprios testes da empresa nesse subconjunto de tarefas. Não foram divulgados, no material disponível, ensaios independentes sobre outras tarefas.
The benchmark itself is broad. It covers 44 tasks in 10 categories: four on reasoning, including generalization, visual understanding, language understanding and memory, and five on manipulation, including fine manipulation, bimanual coordination, tool use, dynamic objects and mobile manipulation. A separate challenge set targets precision, long-horizon memory and planning, with tasks such as stacking blocks, pressing buttons in a color sequence and solving the Tower of Hanoi. The company says most current models still struggle there. To avoid overfitting, appearance, task setup and robot type are randomized independently, and the training data, nearly 300 hours collected in a uniform green-screen studio, is kept separate from the evaluation scenes. The simulation runs on the Mana ecosystem, built on NVIDIA Isaac Lab-Arena, which packages scenes, robots and task steps as reusable modules.
O benchmark em si é amplo. Abrange 44 tarefas em 10 categorias: quatro de raciocínio, incluindo generalização, compreensão visual, compreensão da linguagem e memória, e cinco de manipulação, incluindo manipulação fina, coordenação bimanual, utilização de ferramentas, objetos dinâmicos e manipulação móvel. Um conjunto de desafios à parte visa a precisão, a memória e o planeamento de longo prazo, com tarefas como empilhar blocos, premir botões segundo uma sequência de cores e resolver a Torre de Hanói. A empresa afirma que a maioria dos modelos atuais ainda tem dificuldades nessas provas. Para evitar o sobreajuste, a aparência, a configuração das tarefas e o tipo de robô são aleatorizados de forma independente, e os dados de treino, quase 300 horas recolhidas num estúdio de fundo verde uniforme, são mantidos separados das cenas de avaliação. A simulação funciona no ecossistema Mana, construído sobre o NVIDIA Isaac Lab-Arena, que agrupa cenas, robôs e passos de tarefas em módulos reutilizáveis.
What changes for teams building robot models is the speed of the feedback loop. Developers run inference on their own machines and connect to the platform, which handles scoring and trajectory replay online, so they do not need to set up a local simulation. Two AI agents keep the test set moving: one writes new tasks and scenes from a constrained menu of options, with automatic checks removing invalid setups, and the other breaks each task into subtasks, judges each step from object poses, contacts and grasp states, and generates targeted new tests wherever a model fails. For researchers, that means failures can surface before a physical trial is scheduled. The limits are equally clear: the correlation figures are the company's own, they cover one subset of tasks, and the hardest tests are the ones where most models still fail.
O que muda para as equipas que desenvolvem modelos de robôs é a rapidez do ciclo de feedback. Os programadores executam a inferência nas suas próprias máquinas e ligam-se à plataforma, que trata da avaliação e da reprodução das trajetórias em linha, pelo que não precisam de montar uma simulação local. Dois agentes de IA mantêm o conjunto de testes em evolução: um escreve novas tarefas e cenas a partir de um leque restrito de opções, com verificações automáticas que eliminam configurações inválidas, e o outro decompõe cada tarefa em subtarefas, avalia cada passo a partir das posições dos objetos, dos contactos e dos estados de preensão, e gera novos testes específicos sempre que um modelo falha. Para os investigadores, isto significa que as falhas podem surgir antes de se agendar um ensaio físico. Os limites são igualmente claros: os números de correlação são da própria empresa, cobrem um único subconjunto de tarefas, e os testes mais difíceis são precisamente aqueles em que a maioria dos modelos ainda falha.