X Square Robot lancia X2Real, un test di simulazione per l'IA dei robot

Un braccio robotico va fatto funzionare, osservato e valutato un tentativo alla volta. Ogni nuova versione di un modello di IA per robot comporta un altro ciclo di questo lavoro, e tempi e costi si accumulano rapidamente. X Square Robot, una startup di IA incorporata, ha presentato X2Real, un benchmark in simulazione che serve a misurare il rendimento nel mondo fisico dei modelli di base per robot — grandi modelli di IA addestrati a controllare i robot — e ad ampliare il proprio insieme di test man mano che questi modelli migliorano.

Il punto di partenza è un compromesso ben noto. La valutazione con robot reali è costosa e lenta, mentre la simulazione è rapida ma spesso poco realistica, e i modelli possono imparare a ottenere buoni punteggi senza migliorare davvero nel mondo reale. Per rendere la simulazione fedele, il team ha registrato i movimenti di bracci robotici fisici, ha riprodotto gli stessi comandi di controllo in simulazione e ha regolato le risposte dei giunti finché i due non coincidevano. Secondo l'azienda, ciò produce una corrispondenza a livello di millimetro tra le traiettorie. Anche l'aspetto visivo e il contatto fisico sono stati calibrati. Il benchmark supporta il Franka a braccio singolo, l'ArtiXon Arm-6A a doppio braccio, l'ARX R5 e il manipolatore mobile Quanta X1.

I dati principali vanno letti con attenzione. Sui compiti generali di manipolazione, X Square Robot riporta una correlazione di 0,96 tra i tassi di successo simulati e quelli reali, e di 0,99 per i punteggi di avanzamento. Una correlazione vicina a 1 significa che i punteggi simulati si muovono di pari passo con quelli reali, quindi un modello che ottiene un punteggio più alto nel simulatore dovrebbe ottenerne uno più alto anche sul robot. Ma questi numeri provengono dai test dell'azienda su quel sottoinsieme di compiti. Nel materiale disponibile non sono riportate prove indipendenti su altri compiti.

Il benchmark è di per sé ampio. Comprende 44 compiti in 10 categorie: quattro sul ragionamento, tra cui generalizzazione, comprensione visiva, comprensione del linguaggio e memoria, e cinque sulla manipolazione, tra cui manipolazione fine, coordinazione bimanuale, uso di strumenti, oggetti dinamici e manipolazione mobile. Un insieme di sfide a parte mette alla prova precisione, memoria e pianificazione a lungo termine, con compiti come l'impilamento di blocchi, la pressione di pulsanti in una sequenza di colori e la risoluzione della Torre di Hanoi. Secondo l'azienda, la maggior parte dei modelli attuali fatica ancora su questi compiti. Per evitare l'overfitting, aspetto visivo, impostazione dei compiti e tipo di robot vengono randomizzati in modo indipendente, e i dati di addestramento, quasi 300 ore raccolte in uno studio uniforme con sfondo verde, sono tenuti separati dalle scene di valutazione. La simulazione gira sull'ecosistema Mana, costruito su NVIDIA Isaac Lab-Arena, che organizza scene, robot e fasi dei compiti in moduli riutilizzabili.

Ciò che cambia per i team che sviluppano modelli per robot è la velocità del ciclo di feedback. Gli sviluppatori eseguono l'inferenza sulle proprie macchine e si collegano alla piattaforma, che gestisce online la valutazione e la riproduzione delle traiettorie, quindi non hanno bisogno di configurare una simulazione in locale. Due agenti di IA tengono in movimento l'insieme dei test: uno scrive nuovi compiti e scenari a partire da un menu limitato di opzioni, con controlli automatici che eliminano le configurazioni non valide; l'altro scompone ogni compito in sottocompiti, valuta ciascuna fase in base alla posizione degli oggetti, ai contatti e allo stato della presa, e genera nuovi test mirati ogni volta che un modello fallisce. Per i ricercatori, ciò significa che gli errori possono emergere prima che venga programmata una prova fisica. I limiti sono altrettanto chiari: le correlazioni sono dell'azienda stessa, riguardano un solo sottoinsieme di compiti, e i test più difficili sono quelli in cui la maggior parte dei modelli fallisce ancora.