Il modello aperto di StartLux primo nel benchmark Decision Index

In una classifica gestita dalla comunità, il modello 27B Instant di StartLux-Decision v1.1 è ora al primo posto, con un punteggio complessivo di 69,12 al 16 ottobre. La graduatoria è basata sul Decision Index 0.3.2 su Hugging Face, mantenuto da volontari e senza alcun legame con TypeSafe. Il modello in testa ha conquistato il primo posto in tutte e tre le parti del test: 72,88 sui benchmark pubblici, 64,82 su test privati che misurano le stesse competenze e 61,41 su compiti privati in ambiti nuovi. Il secondo classificato, vLLM-SR d3, si è fermato a 66,26.

Il compito per cui questi modelli sono costruiti è circoscritto e pratico. Si fornisce a un modello uno stato, che può essere un blocco di testo, un file JSON o un'immagine, insieme a una serie di domande tipizzate. Il modello restituisce una probabilità per ogni risposta: una scelta da un elenco, un sì o un no, oppure un livello su una scala. I modelli Instant producono questa risposta in un unico passaggio attraverso la rete. Le varianti AutoThink funzionano allo stesso modo quando sono sicure, ma quando la probabilità più alta scende sotto una soglia, fissata per impostazione predefinita a 0,6, scrivono una breve traccia di ragionamento e poi rileggono la risposta. Sul sottoinsieme pubblico del Decision Index 0.3, StartLux indica 73,37 per il modello 27B AutoThink con la soglia portata a 0,9, un dato che l'azienda ha ottenuto da sola.

La gamma comprende otto modelli aperti, nelle versioni Instant e AutoThink, disponibili nei formati GGUF e MLX ed eseguibili con vLLM e MLX. Gli autori descrivono una pipeline di addestramento in tre fasi e un metodo di apprendimento per rinforzo chiamato RLCD-squared, che premia i modelli per assegnare probabilità oneste alle proprie risposte e penalizza in modo leggero i ragionamenti lunghi. Affermano che questo metodo ha ridotto la lunghezza media del ragionamento fino a circa il 65%, mantenendo sostanzialmente invariata l'accuratezza. StartLux ha inoltre presentato DecisionPivot, un benchmark proprio costruito su coppie di casi che differiscono per un dettaglio che dovrebbe cambiare la risposta, in ambiti come politiche, registri contabili, pianificazioni, permessi e chiamate a strumenti. In questo test, il modello 27B AutoThink raggiunge un'accuratezza sulle coppie dell'86,9%. Questi dati provengono dall'azienda, non da laboratori indipendenti.

Per uno sviluppatore che costruisce un agente chiamato a scegliere il passo successivo, il vantaggio sta nei costi e nel controllo: un modello che risponde in un unico passaggio nella maggior parte dei casi, e ragiona solo quando esita, può costare meno da far girare rispetto a uno che scrive sempre per esteso il proprio ragionamento. Le dimostrazioni sul sito del progetto mostrano questo tipo di decisione passo dopo passo negli scacchi, in Super Mario Bros., in StarCraft II e in un compito di acquisto online svolto al computer, con una richiesta tipizzata per ogni passo. Il limite immediato è la licenza: i pesi sono aperti per la ricerca e l'uso personale, ma i team commerciali dovranno attendere un accordo diverso. Resta aperta la questione se il primato in classifica regga su test che gli autori non hanno progettato, e se il divario nella lunghezza del ragionamento si confermi al di fuori dei loro stessi benchmark.