Modelo aberto da StartLux lidera o Decision Index

Num ranking gerido pela comunidade, o modelo 27B Instant do StartLux-Decision v1.1 ocupa agora o primeiro lugar, com uma pontuação global de 69,12 a 16 de outubro. A classificação é medida com o Decision Index 0.3.2, na Hugging Face, mantido por voluntários e sem ligação à TypeSafe. O modelo líder foi o primeiro em todas as três partes do teste: 72,88 em benchmarks públicos, 64,82 em testes privados das mesmas competências e 61,41 em tarefas privadas de domínios novos. O segundo classificado, o vLLM-SR d3, atingiu 66,26.

A tarefa para a qual estes modelos foram concebidos é estreita e prática. Fornece-se a um modelo um estado, que pode ser um bloco de texto, um ficheiro JSON ou uma imagem, juntamente com um conjunto de perguntas tipificadas. O modelo devolve uma probabilidade para cada resposta: uma escolha numa lista, um sim ou não, ou um nível numa escala. Os modelos Instant produzem essa resposta numa única passagem pela rede. As variantes AutoThink funcionam da mesma forma quando estão confiantes, mas, quando a probabilidade mais alta desce abaixo de um limiar, fixado por predefinição em 0,6, escrevem um breve rastro de raciocínio e voltam a ler a resposta. No subconjunto público do Decision Index 0.3, a StartLux indica 73,37 para o modelo 27B AutoThink com o limiar elevado para 0,9, um valor que a própria empresa calculou.

A gama inclui oito modelos abertos, nas versões Instant e AutoThink, disponíveis nos formatos GGUF e MLX e executáveis em vLLM e MLX. Os autores descrevem um processo de treino em três fases e um método de aprendizagem por reforço chamado RLCD-squared, que recompensa os modelos por atribuírem probabilidades honestas às suas respostas e penaliza levemente os raciocínios longos. Segundo afirmam, este método reduziu o comprimento médio do raciocínio até cerca de 65 %, mantendo a precisão praticamente intacta. A StartLux apresentou ainda o DecisionPivot, o seu próprio benchmark, construído a partir de pares de casos que diferem num único detalhe que deveria alterar a resposta, em áreas como políticas, contabilidade, horários, permissões e chamadas de ferramentas. Nesse teste, o modelo 27B AutoThink atinge uma precisão por pares de 86,9 %. Estes números vêm da empresa, e não de laboratórios independentes.

Para um programador que constrói um agente que tem de escolher o passo seguinte, o ganho está no custo e no controlo: um modelo que responde numa só passagem na maioria das vezes, e só raciocina quando hesita, pode ser mais barato de executar do que um que escreve sempre o seu raciocínio. As demonstrações no sítio do projeto mostram este tipo de decisão passo a passo em xadrez, Super Mario Bros., StarCraft II e numa tarefa de compras feita num computador, com um pedido tipificado por passo. A licença é o limite imediato: os pesos estão abertos para investigação e utilização pessoal, mas as equipas comerciais têm de esperar por um acordo diferente. Continua por esclarecer se a liderança no ranking se mantém em testes que os autores não conceberam, e se a diferença no comprimento do raciocínio resiste fora dos seus próprios benchmarks.