SenseTime abre kit de testes para IA robótica e modelo de 27B

Num dos testes da SenseTime, empilhar taças levou a um modelo cerca de 131 minutos e cerca de 19 dólares em custos estimados de inferência, ou seja, o preço de executar o modelo na tarefa. Colocar uma caneta num porta-canetas levou 263 minutos e cerca de 55 dólares. Eram estas as faturas de levar o GPT-6-Astra, um grande modelo de IA, a ter êxito em tarefas robóticas depois de lhe terem sido fornecidas demonstrações de treino e mais passos. A SenseTime disponibilizou agora as ferramentas para medir esse fosso, juntamente com um modelo próprio.

A SenseTime disponibilizou em código aberto o SenseNova-RoboRSI, uma framework para avaliar a IA incorporada, ou seja, sistemas de IA que controlam um corpo físico, neste caso robôs. Acompanha-o um modelo complementar, o SenseNova-RoboRSI-27B-Preview, em que 27B se refere a um tamanho de 27 mil milhões de parâmetros, os valores ajustáveis no interior de um modelo. A framework empacota cada benchmark, um teste padronizado, e as suas dependências numa imagem Docker separada, um contentor de software isolado. Expõe depois a simulação e a pontuação através de uma API HTTP unificada, a forma habitual de os programas trocarem dados pela web. A SenseTime afirma que os investigadores podem executar avaliações completas a partir de um ficheiro de configuração, sem instalar manualmente cada simulador.

Os resultados com orçamento alargado são onde o estudo se torna concreto. Com demonstrações de treino e limites de passos elevados até 10 vezes os valores oficiais, o GPT-6-Astra saturou os benchmarks LIBERO e SIMPLE, ou seja, atingiu o seu teto, e chegou a uma taxa de sucesso de 81,9 % no RoboDojo. Num caso, nove tarefas do RoboDojo que tinham falhado nas cinco tentativas foram bem-sucedidas nas cinco, depois de se ter permitido ao modelo continuar a interagir. O mesmo estudo revelou também os seus limites: o modelo continuou mais fraco em tarefas de longo horizonte, teve dificuldades em transferir competências de uma tarefa para outra e tropeçou em objetos deformáveis e no controlo fino em robôs reais.

A SenseTime combinou depois um modelo de raciocínio lento com um modelo de ação rápido. A melhor combinação atingiu 54 % de sucesso em 42 tarefas do RoboDojo, usando um ciclo fechado que verifica cada resultado antes do passo seguinte. A SenseTime afirma que o custo continua a ser um problema.

O modelo de 27B pretende incorporar a experiência testada nos seus pesos, os valores internos que definem um modelo, de modo a precisar de menos tentativa e erro. A SenseTime indica que obteve 26,13 no RoboDojo, com uma taxa de sucesso de tarefas de 20,83 %, ultrapassou 90 no LIBERO-Pro e elevou a taxa de sucesso no RoboCasa365 de 26,0 % para 46,5 %, reduzindo ao mesmo tempo o uso de tokens em 73 %. Os tokens são os pequenos fragmentos de texto que um modelo processa, pelo que menos tokens significa menos cálculo por tarefa. A empresa afirma que realiza tarefas incorporadas a um cinquentésimo do custo do GPT-6-Astra.

Para as equipas de robótica, a mudança é prática e imediata: a bancada de testes pode ser transferida desde já, pelo que dois laboratórios podem executar os mesmos benchmarks a partir do mesmo ficheiro de configuração, em vez de reconstruir cada simulador. A SenseTime defende ainda que os futuros benchmarks devem assentar em necessidades humanas reais, que os robôs devem aprender interagindo e que o tempo de raciocínio deve contar como tempo do mundo, uma vez que uma frigideira continua a aquecer enquanto o modelo delibera. Nenhum destes números foi verificado de forma independente, e o custo por tarefa, que a própria empresa assinala, continua a ser o problema em aberto.