Le due versioni sono allineate blocco per blocco, nell’ordine del testo: titolo, l’essenziale, poi paragrafo per paragrafo. Quando la traduzione ha fuso o diviso un paragrafo, la casella corrispondente resta vuota — non accostiamo mai due passaggi a occhio.
In one of SenseTime's tests, stacking bowls took a model about 131 minutes and roughly $19 in estimated inference costs, the price of running the model on the task. Putting a pen into a pen holder took 263 minutes and about $55. Those were the bills for pushing GPT-6-Astra, a large AI model, to succeed on robot tasks once it was given training demonstrations and more steps. SenseTime has now put the tools for measuring that gap online, along with a model of its own.
In uno dei test di SenseTime, impilare ciotole ha richiesto a un modello circa 131 minuti e circa 19 dollari di costi stimati di inferenza, cioè il prezzo dell'esecuzione del modello sul compito. Inserire una penna in un portapenne ha richiesto 263 minuti e circa 55 dollari. Erano i costi sostenuti per spingere GPT-6-Astra, un grande modello di IA, a riuscire nei compiti robotici una volta ricevute dimostrazioni di addestramento e più passi. SenseTime ha ora messo online gli strumenti per misurare quel divario, insieme a un modello proprio.
SenseTime has open-sourced SenseNova-RoboRSI, a framework for evaluating embodied AI, meaning AI systems that control a physical body, here robots. It ships with a companion model, SenseNova-RoboRSI-27B-Preview, where 27B refers to a size of 27 billion parameters, the adjustable values inside a model. The framework packages each benchmark, a standardized test, and its dependencies into a separate Docker image, a sealed software container. It then exposes simulation and scoring through a unified HTTP API, the standard way programs exchange data over the web. SenseTime says researchers can run end-to-end evaluations from a configuration file, without installing each simulator by hand.
SenseTime ha rilasciato in open source SenseNova-RoboRSI, un framework per valutare l'IA incorporata, cioè i sistemi di IA che controllano un corpo fisico, in questo caso robot. È accompagnato da un modello complementare, SenseNova-RoboRSI-27B-Preview, dove 27B indica una dimensione di 27 miliardi di parametri, cioè i valori regolabili all'interno di un modello. Il framework racchiude ogni benchmark, ovvero un test standardizzato, e le sue dipendenze in un'immagine Docker separata, un container software isolato. Espone poi simulazione e valutazione tramite un'API HTTP unificata, il modo standard con cui i programmi si scambiano dati sul web. SenseTime afferma che i ricercatori possono eseguire valutazioni complete a partire da un file di configurazione, senza installare a mano ciascun simulatore.
The extended-budget results are where the study gets concrete. With training demonstrations and step limits raised to as much as 10 times the official settings, GPT-6-Astra saturated the LIBERO and SIMPLE benchmarks, meaning it hit their ceiling, and reached an 81.9% success rate on RoboDojo. In one case, nine RoboDojo tasks that had failed in all five attempts succeeded in all five once the model was allowed to keep interacting. The same study found its limits: the model remained weakest on long-horizon tasks, struggled to transfer skills from one task to another, and had trouble with deformable objects and fine control on real robots.
I risultati con budget esteso sono la parte più concreta dello studio. Con dimostrazioni di addestramento e limiti di passi portati fino a 10 volte quelli ufficiali, GPT-6-Astra ha saturato i benchmark LIBERO e SIMPLE, cioè ha raggiunto il loro limite massimo, e ha ottenuto un tasso di successo dell'81,9% su RoboDojo. In un caso, nove compiti di RoboDojo che avevano fallito in tutti e cinque i tentativi sono riusciti in tutti e cinque una volta che al modello è stato permesso di continuare a interagire. Lo stesso studio ha evidenziato anche i limiti: il modello è rimasto più debole sui compiti a lungo orizzonte, ha faticato a trasferire competenze da un compito all'altro e ha avuto difficoltà con gli oggetti deformabili e con il controllo fine sui robot reali.
SenseTime then paired a slow reasoning model with a fast action model. The best combination reached 54% success across 42 RoboDojo tasks, using a closed loop that checks each result before the next step. SenseTime says cost remains an issue.
SenseTime ha quindi abbinato un modello di ragionamento lento a un modello d'azione veloce. La combinazione migliore ha raggiunto il 54% di successo su 42 compiti di RoboDojo, usando un ciclo chiuso che verifica ogni risultato prima del passo successivo. SenseTime afferma che il costo resta un problema.
The 27B model aims to bake tested experience into its weights, the internal values that define a model, so that it needs less trial and error. SenseTime reports it scored 26.13 on RoboDojo with a 20.83% task success rate, topped 90 on LIBERO-Pro, and raised its RoboCasa365 success rate from 26.0% to 46.5% while cutting token use by 73%. Tokens are the small chunks of text a model processes, so fewer tokens means less computation per task. The company says it completes embodied tasks at one-fiftieth of GPT-6-Astra's cost.
Il modello da 27B mira a incorporare l'esperienza testata nei suoi pesi, cioè nei valori interni che definiscono un modello, così da richiedere meno prove ed errori. SenseTime riferisce che ha ottenuto 26,13 punti su RoboDojo con un tasso di successo sui compiti del 20,83%, ha superato quota 90 su LIBERO-Pro e ha portato il tasso di successo su RoboCasa365 dal 26,0% al 46,5%, riducendo l'uso di token del 73%. I token sono i piccoli frammenti di testo che un modello elabora, quindi meno token significa meno calcolo per ogni compito. L'azienda dichiara di completare i compiti incorporati a un cinquantesimo del costo di GPT-6-Astra.
For robotics teams, the change is practical and immediate: the test bench is downloadable now, so two labs can run the same benchmarks from the same configuration file instead of rebuilding each simulator. SenseTime also argues that future benchmarks should be built around real human needs, that robots should learn by interacting, and that thinking time should count as world time, since a pan keeps heating while a model deliberates. None of these numbers has been independently verified, and the cost per task, which the company itself flags, is still the open problem.
Per i team di robotica il cambiamento è concreto e immediato: il banco di prova è scaricabile da ora, quindi due laboratori possono eseguire gli stessi benchmark a partire dallo stesso file di configurazione, invece di ricostruire ogni simulatore. SenseTime sostiene inoltre che i benchmark futuri dovrebbero essere costruiti attorno ai reali bisogni umani, che i robot dovrebbero imparare interagendo e che il tempo di ragionamento dovrebbe contare come tempo del mondo, dato che una padella continua a scaldarsi mentre il modello riflette. Nessuna di queste cifre è stata verificata in modo indipendente, e il costo per compito, che l'azienda stessa segnala, resta il problema aperto.