Kanana2 de Kakao devance les modèles d’IA légers de Google et Alibaba dans l’évaluation de la sécurité

Deux modèles de langage légers de Kakao publiés sur Hugging Face ont devancé, lors d’une évaluation de la sécurité, des modèles de taille comparable de Google et d’Alibaba. Kanana-2-1.3B-Instruct et Kanana-2-3B-Instruct se sont tous deux classés premiers avec un score global de 0,70. Kakao a publié ces résultats le 18.

Les modèles comparés étaient Gemma, de Google, et Qwen, d’Alibaba. Dans la comparaison des modèles 1.3B, Gemma a obtenu 0,68 et Qwen 0,58. Pour les modèles 3B, Gemma a obtenu 0,66 et Qwen 0,62. Kanana2 1.3B a obtenu un score supérieur à celui des modèles comparés dans les domaines de la criminalité et des activités illégales, tandis que le modèle 3B les a devancés dans les domaines des contenus sexuels, de la protection de l’enfance et des atteintes aux droits.

Le banc d’essai était AssurAI. Ce benchmark spécialisé dans le coréen, développé conjointement en novembre dernier par l’Association coréenne des technologies de l’information et des communications, KAIST et Kakao, intègre le contexte social et culturel de la Corée et comprend 35 catégories de risques et 9 560 critères d’évaluation. Il examine les facteurs de risque dans des conditions multimodales, notamment avec du texte, des images et de l’audio, ainsi que face à des prompts malveillants et dans des situations réelles d’utilisation de services d’IA.

Kakao a noté les réponses des modèles selon des critères définis à l’avance sur sa plateforme d’évaluation de la sécurité de l’IA développée en interne. L’entreprise a utilisé LLM-as-a-Judge, une approche dans laquelle un grand modèle de langage évalue les réponses d’un autre modèle. Les résultats présentés sont donc ceux d’une évaluation réalisée par Kakao elle-même.

Kakao prévoit à l’avenir d’étendre cette vérification préalable à l’ensemble de ses modèles développés en interne et de l’appliquer, au-delà des modèles de texte, à l’évaluation des risques des modèles multimodaux et de l’IA agentique.