Kimi K3 embarque 2,8 billions de paramètres avec des poids ouverts, mais l’exécution locale reste coûteuse

Un modèle doté de 2,8 billions de paramètres ne tient pas dans l’ordinateur habituel d’un développeur. Le Kimi K3 de Moonshot est néanmoins disponible avec des poids ouverts, illustrant jusqu’où les modèles de langage ouverts ont désormais progressé. Selon heise online, il se classe régulièrement parmi les meilleurs dans les benchmarks et a fourni des réponses détaillées lors de tests internes. En revanche, sur les questions politiques sensibles, il est resté aligné sur la ligne du Parti communiste chinois.

La taille n’explique pas à elle seule cette avancée. Kimi K3 utilise Kimi Delta Attention, un mécanisme d’attention destiné aux modèles de langage, dans lequel des couches linéaires et globales alternent selon un ratio de 3:1. L’objectif est notamment d’économiser du temps de calcul et de la mémoire avec les textes longs. Son architecture Mixture-of-Experts répartit en outre les tâches entre 896 experts — un nombre encore jamais proposé par des modèles ouverts.

Moonshot agit également sur la mémoire. Les poids ont été convertis au format compact MXFP4 ; les besoins par rapport au bfloat16, fréquemment utilisé, sont ainsi réduits à un quart. Le goulet d’étranglement ne disparaît pas pour autant : Kimi K3 nécessite au moins 1,5 TByte de RAM, même avec de petits contextes. Une exécution locale reste donc réservée à quelques entreprises, même si elle est techniquement possible. Pour la plupart, le service cloud proposé sera d’abord la solution la plus pratique.

Parallèlement, d’autres modèles de grande taille arrivent de Chine. Début août, Alibaba a présenté Qwen3.8-Max avec 2,4 billions de paramètres, dans un premier temps uniquement via API ; les poids devraient suivre. Selon Alibaba, le modèle aurait travaillé de manière autonome pendant près de 16 jours sur un projet de programmation, vérifié des articles scientifiques, puis compris et optimisé le code utilisé dans ces articles. Des tests indépendants doivent encore confirmer ces affirmations et les solides résultats obtenus dans les benchmarks. De son côté, DeepSeek montre avec un modèle Flash nettement plus petit que la taille d’un modèle n’est pas automatiquement synonyme de meilleures performances.

Et concrètement, qu’est-ce que cela change ? Les entreprises disposent d’un choix accru entre services fermés et modèles dotés de poids ouverts. Celles qui souhaitent traiter des données sensibles en local peuvent en principe utiliser Kimi K3 — mais elles doivent pour cela financer une infrastructure qui, au vu des exigences citées, est trop coûteuse pour de nombreuses entreprises. Pour les petites équipes, l’avantage pratique se déplace donc pour l’instant vers le cloud. La tendance technique n’en reste pas moins claire : les modèles ouverts gagnent en puissance, tandis que leurs coûts matériels continuent de limiter leur accès.