|
카카오가 20일 자체 기술력을 기반으로 개발한 차세대 언어모델 'Kanana-2(카나나-2)'를 업데이트하고, 4종의 모델을 오픈소스로 추가 공개했다.
카나나-2는 지난 12월 허깅페이스를 통해 오픈소스로 공개한 언어모델이다.
카나나-2 효율성의 핵심은 '전문가 혼합(MoE, Mixture of Experts)' 아키텍처다. 전체 파라미터는 32B(320억 개) 규모로 거대 모델의 높은 지능을 유지하면서도, 실제 추론 시에는 상황에 맞는 3B(30억 개)의 파라미터만 활성화해 연산 효율을 획기적으로 높였다. MoE 모델의 학습에 필수적인 여러 커널을 직접 개발해 성능 손실 없이 학습 속도는 높이고, 메모리 사용량은 획기적으로 낮춘다.
아키텍처 및 데이터의 고도화 뿐 아니라 데이터 학습 단계도 고도화했다. 사전 학습(Pre-training)과 사후 학습(Post-training) 사이에 '미드 트레이닝(Mid-training)' 단계를 신설하고, AI 모델이 새로운 정보를 배울 때 기존 지식을 잊는 치명적 망각(Catastrophic Forgetting) 현상을 방지하기 위해 '리플레이(Replay)' 기법을 도입했다.
카카오는 이런 기술을 바탕으로 기본(Base) 모델, 지시 이행(Instruct) 모델, 추론 특화(Thinking) 모델, 미드 트레이닝(Mid-training) 모델까지 총 4종의 모델을 허깅페이스에 추가로 공개했다. 연구 목적으로 활용도가 높은 미드 트레이닝 탐색용 기본 모델을 함께 제공해 오픈소스 생태계 기여도를 높였다.
새로운 카나나-2 모델은 단순 대화형 AI를 넘어 실질적인 업무 수행이 가능한 에이전트 AI 구현에 특화된 것도 특징이다. 고품질 멀티턴(Multi-turn) 도구 호출 데이터를 집중 학습시켜 지시 이행(Instruction Following)과 도구 호출(Tool Calling) 능력을 대폭 강화함으로써 복잡한 사용자 지시를 정확히 이해하고 적절한 도구를 스스로 선택 및 호출할 수 있도록 했다. 성능 평가에서 동급 경쟁 모델인 'Qwen-30B-A3B-Instruct-2507' 대비 지시 이행 정확도, 멀티턴 도구 호출 성능, 한국어 능력 등에서 압도적인 우위를 기록했다.
김병학 카카오 카나나 성과리더는 "보편적인 인프라 환경에서 고효율을 내는 모델을 오픈소스로 공개, 국내 AI 연구 개발 생태계 발전과 기업들의 AI 도입의 새로운 대안이 될 수 있기를 기대한다"고 말했다.
김세형 기자 fax123@sportschosun.com
