카카오 카나나2, 구글·알리바바 경량 AI보다 안전성 평가 앞서

허깅페이스에 공개된 카카오의 경량 언어모델 두 개가 구글과 알리바바의 비슷한 크기 모델을 안전성 평가에서 앞섰다. Kanana-2-1.3B-Instruct와 Kanana-2-3B-Instruct 모두 종합 점수 0.70으로 1위를 기록했다. 카카오는 18일 이 결과를 공개했다.

비교 대상은 구글의 젬마와 알리바바의 큐웬이었다. 1.3B 모델 비교에서 젬마는 0.68, 큐웬은 0.58을 받았고, 3B 모델 비교에서는 젬마 0.66, 큐웬 0.62였다. 카나나2 1.3B는 범죄·불법 행위 영역에서, 3B는 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델보다 높은 점수를 기록했다.

시험대가 된 것은 AssurAI다. 한국정보통신기술협회, KAIST, 카카오가 지난해 11월 공동 구축한 이 한국어 특화 벤치마크는 한국의 사회·문화적 맥락을 반영해 35개 위험 범주와 9560개 평가 항목을 담고 있다. 텍스트·이미지·오디오 같은 멀티모달 조건과 악의적 프롬프트, 실제 AI 서비스 이용 상황까지 위험 요소를 살핀다.

카카오는 자체 구축한 AI 안전성 평가 플랫폼에서 사전에 정한 기준으로 모델의 답변을 채점했다. LLM-as-a-Judge, 즉 대규모 언어모델이 다른 모델의 응답을 평가하는 방식을 사용했다. 따라서 이번 결과는 카카오가 제시한 자체 평가 결과다.

카카오는 앞으로 이 사전 검증을 자체 개발 모델 전반으로 확대하고, 텍스트 모델을 넘어 멀티모달 모델과 에이전틱 AI의 위험 평가에도 적용할 계획이다.