Modèles de fondation IA souverains : pour les quatre derniers, l’efficacité du raisonnement prime sur la taille

Alors qu’une présentation du projet de modèles de fondation IA souverains se tenait au COEX, à Samseong-dong, à Séoul, la publication des résultats de la deuxième évaluation, qui déterminera l’avenir des quatre équipes, approche. Cette compétition, à laquelle participent LG AI Research, Upstage, SK Telecom et Motif Technologies, déplace son centre de gravité de la taille des modèles vers leurs performances et leur efficacité réelles en inférence. Les résultats de la deuxième évaluation seront publiés prochainement.

Les quatre équipes ont poursuivi le même objectif par des voies différentes. LG AI Research a choisi l’upcycling, une approche qui consiste à exploiter les résultats d’entraînement et les poids d’un modèle existant pour développer un nouveau modèle, et a expliqué avoir multiplié par plus de 3 la taille de K-EXAONE 2.0 par rapport au modèle précédent. L’objectif est de réduire le temps et les coûts nécessaires à la création d’un nouveau modèle à partir de zéro.

Le A.X K2 de SK Telecom compte au total 688B paramètres, mais sa taille activée lors de l’inférence est d’environ 33B. Une architecture à mixture-of-experts conserve la taille des connaissances de l’ensemble du modèle, tout en n’activant que les paramètres nécessaires au traitement d’une question. Solar Open 2 d’Upstage a repris environ 2,3 % des poids du modèle précédent pour créer un modèle de 250B paramètres, destiné notamment aux usages agentiques dans les contextes longs, à la productivité bureautique, au travail documentaire et au codage.

Motif 3, de Motif Technologies, est un modèle de 314 milliards de paramètres, mais seuls 13,2 milliards sont activés lors de l’inférence. L’entreprise s’est concentrée, avec sa propre architecture, sur le maintien d’un modèle global de grande taille tout en réduisant la quantité de calcul. Elle explique avoir mis l’accent sur le coréen, les tâches à forte intensité de raisonnement et les données juridiques et financières. Dans l’Artificial Analysis Intelligence Index publié précédemment, Motif 3 a obtenu 47 points, le meilleur score parmi les quatre modèles.

Concrètement, cela élargit le choix possible entre la qualité des réponses et le coût d’utilisation. SK Telecom a indiqué que son modèle prend en charge un mode de raisonnement pour résoudre les problèmes complexes et un mode sans raisonnement pour fournir des réponses courtes à faible latence. Les scores de l’indice et les documents techniques montrent toutefois le potentiel de chaque modèle ; il faudra encore vérifier si les mêmes résultats peuvent être reproduits dans des services réels. Lors de la deuxième évaluation, les benchmarks compteront pour 40 points sur 100, l’évaluation des experts pour 35 points et celle des utilisateurs pour 25 points. Au final, trois des quatre équipes passeront à l’étape suivante.