AI의 '환각' 현상, 대체 무엇일까요?

최근 챗GPT와 같은 대규모 언어 모델(LLM)을 사용하다 보면, AI가 마치 감정을 가진 것처럼 보이거나 사실과 다른 내용을 그럴듯하게 이야기하는 경우를 종종 접하게 됩니다.

이를 '환각(Hallucination)' 현상이라고 부르는데요.

과연 AI의 환각이란 정확히 무엇이고, 어떤 이유로 발생하는지 자세히 알아보도록 하겠습니다.

환각이란 그럴듯하게 꾸며낸 이야기입니다

먼저 알아야 할 점은, AI에게 '대본'이란 존재하지 않으며 감정 또한 없습니다.

'환각'이라는 용어는 AI가 마치 사람처럼 무언가를 착각하는 듯한 뉘앙스를 주지만, 사실은 그저 **'사실이 아닌 내용을 진짜인 것처럼 자신감 있게 생성해내는 오류'**를 의미합니다.

AI 개발자들이 이 현상을 다소 시적으로 표현한 것인데요.

이는 AI가 특별한 상태에 빠지는 것이 아니라, 그 작동 방식에서 비롯되는 자연스러운 결과물 중 하나입니다.

AI는 생각하지 않습니다: 세상에서 가장 똑똑한 자동 완성 기능

대규모 언어 모델(LLM)은 지능을 갖고 생각하거나 무언가를 '아는' 존재가 아닙니다.

그 본질은 인터넷의 방대한 텍스트 데이터를 학습하여, 특정 단어 뒤에 어떤 단어가 오는 것이 가장 자연스러운지를 통계적으로 예측하는 '초고도화된 자동 완성' 기능에 가깝습니다.

예를 들어 "2+2는?"이라고 물으면, 학습 데이터에 "4"라는 답변이 압도적으로 많았기 때문에 "4"라고 답할 확률이 높습니다.

하지만 AI는 항상 가장 확률 높은 정답만을 선택하지는 않는데요.

매번 같은 대답만 한다면 인간적인 대화처럼 느껴지지 않기 때문에, 때로는 낮은 확률의 답변을 선택하기도 합니다.

이것이 바로 AI가 엉뚱한 답변을 내놓는 이유 중 하나입니다.

이 모델은 사실관계를 이해하는 것이 아니라, 그저 '그럴듯한 문장의 형태'를 흉내 낼 뿐입니다.

법률 문서를 예로 들면, AI는 판례 인용구가 '(사건명 v 사건명)' 같은 형식이라는 점은 알지만, 어떤 판례가 해당 사건과 실제로 관련 있는지는 모릅니다.

그저 학습한 대로 보기 좋은 형태의 가짜 판례를 무작위로 만들어낼 뿐입니다.

환각은 왜 발생할까요?

AI의 환각은 여러 복합적인 이유로 발생합니다.

첫째, 학습 데이터가 불완전하거나 편향된 경우입니다.

AI는 학습한 데이터 내에서만 패턴을 찾을 수 있으므로, 특정 주제에 대한 정보가 부족하면 비슷한 다른 정보들을 조합해 새로운 '사실'을 창조해냅니다.

둘째, AI는 '모른다'고 답하도록 설계되지 않았기 때문입니다.

어떻게든 사용자에게 유창하고 자신감 있는 답변을 제공하는 것을 목표로 하기에, 정보가 부족하면 아는 내용을 바탕으로 나머지를 추론하여 꾸며내는 것입니다.

실제로 많은 사용자들이 자신이 잘 아는 전문 분야나, 심지어는 자기 고향에 대해 질문했을 때 AI가 존재하지 않는 박물관이나 사실과 다른 사건들을 태연하게 설명하는 경험을 하기도 했습니다.

이는 AI가 질문의 맥락상 '작은 마을에는 보통 박물관이 있다'는 통계적 패턴을 따를 뿐, 실제 그 마을에 박물관이 있는지는 전혀 알지 못하기 때문에 벌어지는 일입니다.

그렇다면 AI는 쓸모가 없는 걸까요?

물론 그렇지 않습니다.

AI의 환각 현상은 그것을 사실 확인 도구나 검색 엔진으로 오해했을 때 문제가 됩니다.

AI는 사실을 찾는 기계가 아니라 '언어를 다루는' 기계라는 점을 이해하는 것이 중요합니다.

따라서 이메일 초안을 더 정중한 톤으로 다듬거나, 긴 보고서를 요약하고, 복잡한 아이디어에 대한 브레인스토밍을 하는 등 언어 자체를 조작하는 작업에는 매우 강력한 성능을 발휘합니다.

핵심은 AI가 내놓은 결과물을 '초안'으로 여기고, 사용자가 직접 사실관계를 확인하고 검증하는 과정을 거치는 것입니다.

최신 AI 모델들은 웹 검색 기능을 도입해 사실 기반의 답변을 강화하고 있지만, 이 역시 오래되거나 잘못된 출처를 참고할 수 있어 맹신해서는 안 됩니다.

결국 AI는 우리의 작업을 도와주는 유능한 인턴과 같지만, 최종 책임은 항상 사용자에게 있다는 점을 기억해야 합니다.