Inkling lance un modèle de 975 milliards de paramètres à poids ouverts

Sur le papier, Inkling est un poids lourd : Thinking Machines Lab a présenté son premier grand modèle de langage et en a publié les poids. Avec 975 milliards de paramètres, il devient le plus grand modèle à poids ouverts actuellement mentionné dans la source, en dehors de Chine. La start-up américaine a été fondée par Mira Murati, l’ancienne directrice technique d’OpenAI.

La mise à disposition ouverte ne signifie toutefois pas que le modèle fonctionnera sur n’importe quel ordinateur. Dans sa quantification compacte NVFP4, Inkling nécessite à lui seul environ 600 GByte de RAM pour ses paramètres, et même 2 TByte au format bfloat16. Pour de nombreux utilisateurs, son fonctionnement en local reste donc hors de portée. Les poids sont disponibles, mais le matériel nécessaire ne l’est pas automatiquement.

Sur le plan technique, Inkling repose sur un système MoE, c’est-à-dire sur de nombreux sous-modèles spécialisés, dont seule une partie effectue les calculs à chaque fois. Parmi les 256 experts, six sont actifs pour chaque prédiction ; deux experts partagés travaillent en permanence. Ainsi, 41 milliards de paramètres sont mobilisés à chaque calcul. Le modèle prend également en charge le texte, les images et l’audio, avec une fenêtre de contexte d’un million de tokens.

Pour les développeurs, deux pistes concrètes se dessinent : Inkling peut être réentraîné avec ses propres données sur la plateforme Tinker, tandis qu’un modèle plus petit prend en charge la prédiction multi-token. Il prédit les tokens suivants, que le grand modèle peut ensuite vérifier. Selon Thinking Machines Lab, cela pourrait accélérer la génération et réduire le nombre moyen de paramètres nécessaires. Il n’est toutefois pas encore confirmé de manière indépendante que ce calcul soit exact.

Et concrètement, qu’est-ce que cela change ? Les équipes disposent d’un très grand modèle américain à poids ouverts, qu’elles peuvent étudier et adapter avec leurs propres données, sans être limitées à un modèle fermé. Pour l’exploiter sur site, il faut cependant un environnement de stockage et de calcul à la hauteur. Le progrès réside donc pour l’instant surtout dans l’accès aux poids et dans l’architecture du modèle — pas dans une utilisation simple sur son propre ordinateur.