SenseTime apre il kit di test per l'IA robotica e un modello 27B

In uno dei test di SenseTime, impilare ciotole ha richiesto a un modello circa 131 minuti e circa 19 dollari di costi stimati di inferenza, cioè il prezzo dell'esecuzione del modello sul compito. Inserire una penna in un portapenne ha richiesto 263 minuti e circa 55 dollari. Erano i costi sostenuti per spingere GPT-6-Astra, un grande modello di IA, a riuscire nei compiti robotici una volta ricevute dimostrazioni di addestramento e più passi. SenseTime ha ora messo online gli strumenti per misurare quel divario, insieme a un modello proprio.

SenseTime ha rilasciato in open source SenseNova-RoboRSI, un framework per valutare l'IA incorporata, cioè i sistemi di IA che controllano un corpo fisico, in questo caso robot. È accompagnato da un modello complementare, SenseNova-RoboRSI-27B-Preview, dove 27B indica una dimensione di 27 miliardi di parametri, cioè i valori regolabili all'interno di un modello. Il framework racchiude ogni benchmark, ovvero un test standardizzato, e le sue dipendenze in un'immagine Docker separata, un container software isolato. Espone poi simulazione e valutazione tramite un'API HTTP unificata, il modo standard con cui i programmi si scambiano dati sul web. SenseTime afferma che i ricercatori possono eseguire valutazioni complete a partire da un file di configurazione, senza installare a mano ciascun simulatore.

I risultati con budget esteso sono la parte più concreta dello studio. Con dimostrazioni di addestramento e limiti di passi portati fino a 10 volte quelli ufficiali, GPT-6-Astra ha saturato i benchmark LIBERO e SIMPLE, cioè ha raggiunto il loro limite massimo, e ha ottenuto un tasso di successo dell'81,9% su RoboDojo. In un caso, nove compiti di RoboDojo che avevano fallito in tutti e cinque i tentativi sono riusciti in tutti e cinque una volta che al modello è stato permesso di continuare a interagire. Lo stesso studio ha evidenziato anche i limiti: il modello è rimasto più debole sui compiti a lungo orizzonte, ha faticato a trasferire competenze da un compito all'altro e ha avuto difficoltà con gli oggetti deformabili e con il controllo fine sui robot reali.

SenseTime ha quindi abbinato un modello di ragionamento lento a un modello d'azione veloce. La combinazione migliore ha raggiunto il 54% di successo su 42 compiti di RoboDojo, usando un ciclo chiuso che verifica ogni risultato prima del passo successivo. SenseTime afferma che il costo resta un problema.

Il modello da 27B mira a incorporare l'esperienza testata nei suoi pesi, cioè nei valori interni che definiscono un modello, così da richiedere meno prove ed errori. SenseTime riferisce che ha ottenuto 26,13 punti su RoboDojo con un tasso di successo sui compiti del 20,83%, ha superato quota 90 su LIBERO-Pro e ha portato il tasso di successo su RoboCasa365 dal 26,0% al 46,5%, riducendo l'uso di token del 73%. I token sono i piccoli frammenti di testo che un modello elabora, quindi meno token significa meno calcolo per ogni compito. L'azienda dichiara di completare i compiti incorporati a un cinquantesimo del costo di GPT-6-Astra.

Per i team di robotica il cambiamento è concreto e immediato: il banco di prova è scaricabile da ora, quindi due laboratori possono eseguire gli stessi benchmark a partire dallo stesso file di configurazione, invece di ricostruire ogni simulatore. SenseTime sostiene inoltre che i benchmark futuri dovrebbero essere costruiti attorno ai reali bisogni umani, che i robot dovrebbero imparare interagendo e che il tempo di ragionamento dovrebbe contare come tempo del mondo, dato che una padella continua a scaldarsi mentre il modello riflette. Nessuna di queste cifre è stata verificata in modo indipendente, e il costo per compito, che l'azienda stessa segnala, resta il problema aperto.