As duas versões estão alinhadas bloco a bloco, pela ordem do texto: título, o essencial e depois parágrafo a parágrafo. Quando a tradução fundiu ou dividiu um parágrafo, a casa correspondente fica vazia — nunca aproximamos duas passagens a olho.
In one of SenseTime's tests, stacking bowls took a model about 131 minutes and roughly $19 in estimated inference costs, the price of running the model on the task. Putting a pen into a pen holder took 263 minutes and about $55. Those were the bills for pushing GPT-6-Astra, a large AI model, to succeed on robot tasks once it was given training demonstrations and more steps. SenseTime has now put the tools for measuring that gap online, along with a model of its own.
Num dos testes da SenseTime, empilhar taças levou a um modelo cerca de 131 minutos e cerca de 19 dólares em custos estimados de inferência, ou seja, o preço de executar o modelo na tarefa. Colocar uma caneta num porta-canetas levou 263 minutos e cerca de 55 dólares. Eram estas as faturas de levar o GPT-6-Astra, um grande modelo de IA, a ter êxito em tarefas robóticas depois de lhe terem sido fornecidas demonstrações de treino e mais passos. A SenseTime disponibilizou agora as ferramentas para medir esse fosso, juntamente com um modelo próprio.
SenseTime has open-sourced SenseNova-RoboRSI, a framework for evaluating embodied AI, meaning AI systems that control a physical body, here robots. It ships with a companion model, SenseNova-RoboRSI-27B-Preview, where 27B refers to a size of 27 billion parameters, the adjustable values inside a model. The framework packages each benchmark, a standardized test, and its dependencies into a separate Docker image, a sealed software container. It then exposes simulation and scoring through a unified HTTP API, the standard way programs exchange data over the web. SenseTime says researchers can run end-to-end evaluations from a configuration file, without installing each simulator by hand.
A SenseTime disponibilizou em código aberto o SenseNova-RoboRSI, uma framework para avaliar a IA incorporada, ou seja, sistemas de IA que controlam um corpo físico, neste caso robôs. Acompanha-o um modelo complementar, o SenseNova-RoboRSI-27B-Preview, em que 27B se refere a um tamanho de 27 mil milhões de parâmetros, os valores ajustáveis no interior de um modelo. A framework empacota cada benchmark, um teste padronizado, e as suas dependências numa imagem Docker separada, um contentor de software isolado. Expõe depois a simulação e a pontuação através de uma API HTTP unificada, a forma habitual de os programas trocarem dados pela web. A SenseTime afirma que os investigadores podem executar avaliações completas a partir de um ficheiro de configuração, sem instalar manualmente cada simulador.
The extended-budget results are where the study gets concrete. With training demonstrations and step limits raised to as much as 10 times the official settings, GPT-6-Astra saturated the LIBERO and SIMPLE benchmarks, meaning it hit their ceiling, and reached an 81.9% success rate on RoboDojo. In one case, nine RoboDojo tasks that had failed in all five attempts succeeded in all five once the model was allowed to keep interacting. The same study found its limits: the model remained weakest on long-horizon tasks, struggled to transfer skills from one task to another, and had trouble with deformable objects and fine control on real robots.
Os resultados com orçamento alargado são onde o estudo se torna concreto. Com demonstrações de treino e limites de passos elevados até 10 vezes os valores oficiais, o GPT-6-Astra saturou os benchmarks LIBERO e SIMPLE, ou seja, atingiu o seu teto, e chegou a uma taxa de sucesso de 81,9 % no RoboDojo. Num caso, nove tarefas do RoboDojo que tinham falhado nas cinco tentativas foram bem-sucedidas nas cinco, depois de se ter permitido ao modelo continuar a interagir. O mesmo estudo revelou também os seus limites: o modelo continuou mais fraco em tarefas de longo horizonte, teve dificuldades em transferir competências de uma tarefa para outra e tropeçou em objetos deformáveis e no controlo fino em robôs reais.
SenseTime then paired a slow reasoning model with a fast action model. The best combination reached 54% success across 42 RoboDojo tasks, using a closed loop that checks each result before the next step. SenseTime says cost remains an issue.
A SenseTime combinou depois um modelo de raciocínio lento com um modelo de ação rápido. A melhor combinação atingiu 54 % de sucesso em 42 tarefas do RoboDojo, usando um ciclo fechado que verifica cada resultado antes do passo seguinte. A SenseTime afirma que o custo continua a ser um problema.
The 27B model aims to bake tested experience into its weights, the internal values that define a model, so that it needs less trial and error. SenseTime reports it scored 26.13 on RoboDojo with a 20.83% task success rate, topped 90 on LIBERO-Pro, and raised its RoboCasa365 success rate from 26.0% to 46.5% while cutting token use by 73%. Tokens are the small chunks of text a model processes, so fewer tokens means less computation per task. The company says it completes embodied tasks at one-fiftieth of GPT-6-Astra's cost.
O modelo de 27B pretende incorporar a experiência testada nos seus pesos, os valores internos que definem um modelo, de modo a precisar de menos tentativa e erro. A SenseTime indica que obteve 26,13 no RoboDojo, com uma taxa de sucesso de tarefas de 20,83 %, ultrapassou 90 no LIBERO-Pro e elevou a taxa de sucesso no RoboCasa365 de 26,0 % para 46,5 %, reduzindo ao mesmo tempo o uso de tokens em 73 %. Os tokens são os pequenos fragmentos de texto que um modelo processa, pelo que menos tokens significa menos cálculo por tarefa. A empresa afirma que realiza tarefas incorporadas a um cinquentésimo do custo do GPT-6-Astra.
For robotics teams, the change is practical and immediate: the test bench is downloadable now, so two labs can run the same benchmarks from the same configuration file instead of rebuilding each simulator. SenseTime also argues that future benchmarks should be built around real human needs, that robots should learn by interacting, and that thinking time should count as world time, since a pan keeps heating while a model deliberates. None of these numbers has been independently verified, and the cost per task, which the company itself flags, is still the open problem.
Para as equipas de robótica, a mudança é prática e imediata: a bancada de testes pode ser transferida desde já, pelo que dois laboratórios podem executar os mesmos benchmarks a partir do mesmo ficheiro de configuração, em vez de reconstruir cada simulador. A SenseTime defende ainda que os futuros benchmarks devem assentar em necessidades humanas reais, que os robôs devem aprender interagindo e que o tempo de raciocínio deve contar como tempo do mundo, uma vez que uma frigideira continua a aquecer enquanto o modelo delibera. Nenhum destes números foi verificado de forma independente, e o custo por tarefa, que a própria empresa assinala, continua a ser o problema em aberto.