AI의 암 정보, 정확도는? 챗GPT-클로바X 비교했더니…

[스포츠조선 장종호 기자] 전 세계적으로 인공지능(AI)을 활용한 거대언어모델(LLM, Large Language Model)은 다양한 영역에서 인간과 유사한 텍스트 응답을 생성하는 도구로 급부상했다. 특히 최근에는 ChatGPT가 미국 의사면허 시험(USMLE)에 통과하는 등 과학, 법률, 의학 등 전문 분야에서도 두각을 나타내고 있다.

이제는 AI가 암 정보를 넘어 치료법까지 설명해주는 시대다. 과연 AI의 암 정보는 얼마나 신뢰할 수 있을까?

국내 대학병원 연구팀이 AI 언어모델의 한국어 암 정보 응답 정확도를 직접 비교했다.

가톨릭관동대학교 국제성모병원(병원장 고동현 신부)은 종양혈액내과 장현 교수, 비뇨의학과 정진우 교수, 방사선종양학과 김용호 교수 연구팀이 대표적인 AI 언어모델인 'ChatGPT'와 '클로바X'의 한국어 암 정보 응답 정확도를 비교·분석한 연구 결과를 발표했다고 30일 밝혔다.

이번 연구는 AI 언어모델이 한국어로 된 암 관련 질문에 얼마나 정확하고 이해하기 쉬운 답변을 제공하는지를 비교한 첫 연구로 주목받고 있다.

장 교수팀은 국가암정보센터와 미국국립암연구소 홈페이지에 등록된 암 관련 질문을 ChatGPT와 클로바X에 입력하고, 두 모델의 응답을 전문의가 평가했다.

그 결과, 두 모델 모두 전체적으로 '유사한 수준'의 응답 품질을 보였으며 통계적으로 유의미한 차이는 없었다. 다만 일부 문항에서는 두 모델 모두 비의학적 정보나 검증되지 않은 내용을 포함한 '환각(hallucination) 응답'을 제공하기도 했다.

연구팀은 "인공지능 언어모델이 한국어로 된 의료 정보를 어느 정도 수준으로 제공할 수 있는지에 대한 기초자료를 제시한 의미 있는 연구"로 평가했다. 장현 교수는 "인공지능이 암환자에게 신뢰할 수 있는 의료 정보를 제공하는 도구가 될 수 있도록 언어모델의 정확성을 높이는 연구를 이어가겠다"고 밝혔다.

한편, 이번 연구 논문은 '한국어 암 관련 질문에 대한 대규모 언어모델의 응답 비교 분석(Comparative Analysis of Large Language Models for Answering Cancer-Related Questions in Korean)'이라는 제목으로 국제적 학술지인 연세의학저널(Yonsei Medical Journal) 7월호에 게재됐다.

장종호 기자 bellho@sportschosun.com