[테크톡노트] 그럴듯한 거짓말…AI는 왜 '환각'할까

인공지능(AI)과 대화를 나누다 보면 실재하지 않는 사건이나 논문·판례를 그럴듯하게 설명하는 답변을 접할 때가 있다.

이른바 '세종대왕의 맥북 던짐 사건'처럼 존재하지 않던 일을 실제 있던 사건처럼 풀어내거나, 논의된 바 없는 연구를 구체적 출처까지 덧붙여 제시하는 사례가 대표적이다.

전문가들은 이런 현상을 'AI 환각'이라고 부른다. 문장은 매끄럽지만 내용은 사실과 다른 생성형 AI 고유의 오류다.

AI 환각은 단순한 오타나 계산 착오와는 다르다. 특히 법률 자문, 의료 상담처럼 정확성이 핵심인 영역에서는 심각한 위험 요인이 된다.

문제의 출발점은 대규모 언어모델(LLM)의 작동 원리에 있다.

생성형 AI는 질문의 의미를 인간처럼 이해해 진위를 판별하는 구조가 아니라, 방대한 학습 데이터를 토대로 다음에 올 단어를 확률적으로 예측해 문장을 완성한다. 내부에 독립적인 사실 검증 장치가 있는 것이 아닌 통계적으로 가장 자연스러운 표현을 산출하는 체계다.

이 때문에 학습 데이터에 충분한 정보가 없거나 생소한 질문을 주면 모델은 답을 멈추기보다 기존 지식을 조합해 빈칸을 메우려는 경향을 보인다.

"모르겠다"고 답하기보다는 불완전한 정보라도 구성해 제시하는 쪽이 학습 과정에서 더 높은 평가를 받아왔기 때문이다.

업계에서는 이를 '과신' 문제로 지적한다. 결과적으로 문법적으로 완결되고 논리적으로 정연해 보이지만 사실과 어긋난 답변이 생성되는 것이다.

학습 데이터의 한계도 환각을 부추긴다. AI는 인터넷과 각종 문서 등 과거에 수집된 텍스트를 학습한다. 이 과정에서 오류 정보나 편향된 주장, 풍자·소설 같은 허구까지 함께 흡수될 수 있다. 특정 주제에 대한 데이터가 부족하면 기존 패턴을 과도하게 일반화하는 현상도 나타난다.

또 학습 시점 이후의 최신 사건이나 정책 변화는 즉각 반영되지 않아 과거 정보를 토대로 현재를 추정하다가 부정확한 결론에 도달하기도 한다.

최근 빅테크와 AI 업계가 모델 규모를 키우고 있지만 환각이 완전히 사라지지는 않는다. 모델이 커질수록 전반적인 정확도는 개선될 수 있으나 '확률 기반 생성'이라는 구조적 특성 자체는 유지되기 때문이다.

이를 줄이기 위한 기술적 보완도 병행되고 있다. 대표적인 방식이 '검색 증강 생성'(RAG)이다. 모델이 내부 지식만으로 답변하지 않고 외부 데이터베이스나 실시간 검색 결과를 참고해 근거 기반으로 응답하도록 하는 구조다.

인간 피드백 기반 강화학습(RLHF)을 통해 부정확한 답변에는 낮은 보상을 주고 신중한 응답을 장려하는 방식도 활용된다.

역설적으로 환각은 AI의 창의성과도 맞닿아 있다. 기존 데이터를 재조합해 새로운 문장과 아이디어를 만들어내는 능력은 창작과 기획 영역에서 강점으로 작용하기도 한다.

한 업계 전문가는 "생성형 AI는 '사실 판단 기계'가 아닌 판단을 돕는 도구"라며 "기술의 진화와 함께 인간의 교차 검증과 비판적 수용 능력이 필수적이다"라고 했다.

binzz@yna.co.kr