Le modèle ouvert de StartLux en tête du classement Decision Index

Sur un classement tenu par la communauté, le modèle 27B Instant de StartLux-Decision v1.1 occupe désormais la première place, avec un score Full de 69,12 au 16 octobre. Ce classement repose sur le Decision Index 0.3.2 hébergé sur Hugging Face, qui est maintenu par des bénévoles et n'a aucun lien avec TypeSafe. Le modèle en tête a remporté les trois volets du test : 72,88 sur les benchmarks publics, 64,82 sur des tests privés portant sur les mêmes compétences et 61,41 sur des tâches privées issues de nouveaux domaines. Le deuxième, vLLM-SR d3, atteint 66,26.

La tâche pour laquelle ces modèles sont conçus est étroite et concrète. On donne à un modèle un état, qui peut être un bloc de texte, un fichier JSON ou une image, accompagné d'un ensemble de questions typées. Il renvoie une probabilité pour chaque réponse : un choix dans une liste, un oui ou un non, ou un niveau sur une échelle. Les modèles Instant produisent cette réponse en une seule passe avant dans le réseau. Les variantes AutoThink fonctionnent de la même manière lorsqu'elles sont sûres d'elles, mais lorsque la probabilité maximale descend sous un seuil fixé par défaut à 0,6, elles rédigent une courte trace de raisonnement puis relisent la réponse. Sur le sous-ensemble public du Decision Index 0.3, StartLux annonce 73,37 pour le modèle 27B AutoThink avec le seuil relevé à 0,9, un chiffre que l'entreprise a elle-même mesuré.

La gamme comprend huit modèles ouverts, en versions Instant et AutoThink, disponibles aux formats GGUF et MLX et fonctionnant avec vLLM et MLX. Les auteurs décrivent un pipeline d'entraînement en trois étapes et une méthode d'apprentissage par renforcement appelée RLCD-squared, qui récompense les modèles pour attribuer des probabilités honnêtes à leurs réponses et pénalise légèrement les raisonnements longs. Ils affirment qu'elle a réduit la longueur moyenne du raisonnement de jusqu'à environ 65 % tout en maintenant une précision largement inchangée. StartLux a aussi présenté DecisionPivot, son propre benchmark constitué de paires de cas qui ne diffèrent que par un détail censé modifier la réponse, couvrant les politiques, les registres comptables, les calendriers, les permissions et les appels d'outils. Sur ce test, le modèle 27B AutoThink atteint 86,9 % de précision par paires. Ces chiffres proviennent de l'entreprise, et non de laboratoires indépendants.

Pour un développeur qui construit un agent devant choisir sa prochaine étape, le gain se situe au niveau du coût et du contrôle : un modèle qui répond en une seule passe la plupart du temps, et ne raisonne que lorsqu'il hésite, peut être moins coûteux à faire tourner qu'un modèle qui rédige toujours son raisonnement. Les démonstrations publiées sur le site du projet illustrent ce type de prise de décision pas à pas aux échecs, dans Super Mario Bros., StarCraft II et une tâche d'achat sur ordinateur, avec une requête typée à chaque étape. La licence constitue la limite immédiate : les poids sont ouverts à la recherche et à l'usage personnel, mais les équipes commerciales doivent attendre un accord d'un autre type. Reste à savoir si la première place au classement résiste à des tests que les auteurs n'ont pas conçus, et si l'écart de longueur de raisonnement se maintient en dehors de leurs propres benchmarks.