|
|
GLM 파생 의혹에 학습 로그 공개 검증
(서울=연합뉴스) 오지은 기자 = 독자 인공지능(AI) 파운데이션 모델 정예팀 중 한 곳인 업스테이지가 중국 모델을 도용했다는 논란이 일자 즉각 사실이 아니라고 반박했다.
2일 정보통신기술(ICT) 업계에 따르면 고석현 사이오닉AI 최고경영자(CEO)는 지난 1일 소셜미디어(SNS)에 업스테이지의 AI 모델 '솔라 오픈'이 중국 기업 지푸AI의 'GLM-4.5-에어'에서 파생됐다는 게시글을 올렸다.
고 대표는 해당 게시글에서 "국민 세금이 투입된 프로젝트에서 중국 모델을 복사해 미세 조정한 결과물로 추정되는 모델이 제출된 건 상당히 큰 유감이다"라고 밝혔다.
고 대표가 올린 보고서는 솔라 오픈과 GLM-4.5-에어의 가중치 구조를 분석했다.
리포트는 두 모델을 구성하는 매개변수(파라미터) 유사도를 측정했고, 일부 레이어에서 결정적인 유사도를 발견했다.
고 대표는 이후 다른 게시글에서 "비교 대상 두 모델의 토큰 임베딩이 사실상 동일한 분포를 가지고 있다고 확인했다"면서도 "이 역시 GLM-4.5-에어와 솔라 오픈이 모델 구조와 학습코드가 거의 동일하기 때문에 동일한 분포를 가진 것으로 판단한다"라고 말했다.
그러면서 "솔라 오픈이 GLM-4.5-에어 모델의 학습코드 대부분을 그대로 가져와서 사용한 건 사실로 판단된다"라며 "물론 AI 연구과정에서 이러한 접근 자체가 드문 일은 아니지만 이런 경우라면 처음부터 출처를 공개하는 게 보통이다"라고 썼다.
업스테이지는 즉각 이러한 도용 의혹에 반박했다.
김성훈 업스테이지 대표는 "솔라 오픈이 중국 모델을 복사해 미세 조장한 결과물이라는 주장은 사실과 다르다"라며 "프롬 스크래치 방식으로 학습됐다"고 해명했다. 프롬 스크래치는 AI 모델 맨 첫 단계부터 모두 직접 구축하는 방식을 말한다.
이어 김 대표는 2일 오후 모델 개발 과정을 공개 검증을 진행했다.
김 대표는 솔라 오픈 학습에 사용한 체크포인트와 WandB(실험 기록)를 공개했다.
김 대표는 공개 검증에서 "프롬스크래치 여부를 판단할 수 있는 여부는 로스인데 로스(Loss)가 높다는 건 처음에 학습이 안 됐다는 것을 의미한다"라며 "솔라 오픈은 초기 높은 로스로부터 학습됐다"라고 말했다.
이어 김 대표는 "MMLU는 AI 모델의 성능을 나타내는 지표인데 초기 낮은 수치에서 출발해서 학습이 진행될수록 성능이 올라갔다"라고 강조했다.
레이어의 연결고리를 뜻하는 레이어놈(LayerNorm)이 GLM-4.5-에어의 레이어가 유사하다는 주장에 대해 김 대표는 "솔라, GLM, 파이(Pi)의 유사도를 측정했을 때도 높은 값이 나온다"라며 "(사이오닉 AI가 제시한 지표가 아닌) 다른 지표로 보면 솔라와 GLM-4.5-에어는 유사성이 낮다"라고 반박했다.
또 모델 구조가 유사하다는 주장에 대해서는 "대형언어모델(LLM) 서빙 툴과 생태계 호환성을 확보하려면 구조가 어느 정도 비슷해질 수밖에 없다"라며 "사용성과 호환성을 고려한 설계와 LLM 오픈소스 생태계 교류의 결과다"라고 설명했다.
그러면서 "솔라는 밀집 레이어가 없고 GLM은 덴스 레이어가 있어 모델 구조가 다르다"라고 부연했다.
김 대표는 "솔라 오픈은 레이어놈을 포함해 모델 전체가 새로운 모델이다"라며 "솔라 오픈은 다른 모델의 파생이 아닌 프롬 스크래치로 만든 모델이다"라며 재차 강조했다.
built@yna.co.kr
<연합뉴스>
