Un modelo abierto de StartLux encabeza el ranking Decision Index

En una clasificación elaborada por la comunidad, el modelo 27B Instant de StartLux-Decision v1.1 ocupa ahora el primer puesto, con una puntuación Full de 69,12 al 16 de octubre. La medición se realiza con Decision Index 0.3.2 en Hugging Face, un proyecto mantenido por voluntarios y sin vínculo con TypeSafe. El modelo líder ganó en las tres partes de la prueba: 72,88 en benchmarks públicos, 64,82 en pruebas privadas de las mismas habilidades y 61,41 en tareas privadas de dominios nuevos. El segundo, vLLM-SR d3, alcanzó 66,26.

La tarea para la que están diseñados estos modelos es concreta y práctica. Se le da a un modelo un estado, que puede ser un bloque de texto, un archivo JSON o una imagen, junto con un conjunto de preguntas tipificadas. El modelo devuelve una probabilidad para cada respuesta: una opción de una lista, un sí o un no, o un nivel en una escala. Los modelos Instant producen esa respuesta en una única pasada hacia delante por la red. Las variantes AutoThink funcionan igual cuando están seguras, pero cuando la probabilidad más alta cae por debajo de un umbral, fijado por defecto en 0,6, escriben una breve traza de razonamiento y luego vuelven a leer la respuesta. En el subconjunto público de Decision Index 0.3, StartLux informa de 73,37 para el modelo AutoThink de 27B con el umbral elevado a 0,9, una cifra que la propia empresa obtuvo.

La oferta abarca ocho modelos abiertos, en versiones Instant y AutoThink, disponibles en formatos GGUF y MLX y ejecutables con vLLM y MLX. Los autores describen un proceso de entrenamiento en tres etapas y un método de aprendizaje por refuerzo llamado RLCD-squared, que recompensa a los modelos por asignar probabilidades honestas a sus respuestas y penaliza ligeramente los razonamientos largos. Afirman que así redujeron la longitud media del razonamiento hasta un 65 % aproximadamente, manteniendo en gran medida la precisión. StartLux también presentó DecisionPivot, su propio benchmark, construido a partir de pares de casos que difieren en un único detalle que debería cambiar la respuesta, en ámbitos como políticas, registros contables, calendarios, permisos y llamadas a herramientas. En esa prueba, el modelo AutoThink de 27B alcanza un 86,9 % de acierto por pares. Estas cifras proceden de la empresa, no de laboratorios independientes.

Para un desarrollador que construye un agente que debe elegir el siguiente paso, la ventaja está en el coste y el control: un modelo que responde en una sola pasada la mayor parte del tiempo y solo razona cuando duda puede resultar más barato de ejecutar que uno que siempre escribe su razonamiento. Las demostraciones del sitio del proyecto muestran este tipo de toma de decisiones paso a paso en ajedrez, Super Mario Bros., StarCraft II y una tarea de compra realizada en un ordenador, con una petición tipificada por paso. La licencia es el límite inmediato: los pesos están abiertos para la investigación y el uso personal, pero los equipos comerciales deben esperar a un acuerdo distinto. Lo que queda por confirmar es si el liderazgo en la clasificación se mantiene en pruebas que los autores no han diseñado, y si la diferencia en la longitud del razonamiento sobrevive fuera de sus propios benchmarks.