AI 환각은 왜 생길까: 거짓말이 아니라 작동 방식의 문제

환각이라는 말이 가리키는 현상

AI 챗봇에게 어떤 책의 저자를 물었더니 실재하지 않는 제목과 출판사를 붙여 답하거나, 없는 판례 번호를 만들어 내거나, 있는 사람에게 없는 경력을 붙이는 일이 있습니다. 이런 현상을 환각, 영어로는 할루시네이션(hallucination)이라고 부릅니다. 핵심은 두 가지입니다. 내용이 사실과 다르다는 것, 그리고 그 틀린 내용이 매우 자연스럽고 자신 있는 문장으로 나온다는 것입니다.

두 번째 특징이 문제를 키웁니다. 더듬거리거나 어색한 문장이라면 의심이 들겠지만, 환각은 문법도 어조도 정상적인 답변과 구별되지 않습니다. 그래서 내용을 모르는 사람일수록 걸러 내기 어렵습니다. 이 글은 '환각을 어떻게 잡아낼까'보다 한 단계 앞의 질문, 즉 '왜 이런 일이 구조적으로 생기는가'를 다룹니다. 원인을 이해하면 어디까지 기대하고 어디서부터 확인해야 하는지가 또렷해집니다.

'다음 말 맞히기'라는 작동 방식에서 따라 나오는 부작용

언어 모델은 방대한 글을 학습해 '이 문맥 다음에는 어떤 말이 이어질 법한가'를 예측하는 장치입니다. 답변은 그 예측을 한 조각씩 이어 붙인 결과입니다. 여기에 '이 내용이 사실인가'를 따로 검사하는 단계는 기본적으로 들어 있지 않습니다. 모델이 보는 것은 자연스러움이지 진위가 아닙니다. 학습한 글에 어떤 사실이 충분히 자주 등장했다면 그 사실이 자연스럽게 재현되지만, 드물거나 없었던 내용이라도 문장의 모양만 자연스러우면 똑같이 생성될 수 있습니다.

비유하자면, 수많은 책을 읽고 문체를 완벽히 익힌 사람에게 읽지 않은 책의 내용을 물어보는 상황과 비슷합니다. 그 사람은 '그런 책은 모릅니다'라고 말하는 대신, 익힌 문체로 가장 있을 법한 줄거리를 유창하게 말해 버릴 수 있습니다. 의도적으로 속이려는 것이 아니라, 빈칸을 자연스러운 말로 채우는 능력 자체가 너무 뛰어나서 생기는 일입니다. 환각이 '거짓말'이 아니라 '작동 방식의 부작용'이라고 하는 이유가 여기에 있습니다.

환각이 특히 잘 나타나는 지점도 이 구조에서 예측할 수 있습니다. 고유명사·숫자·날짜·인용문처럼 정확히 맞아야 의미가 있는 세부 정보, 학습 자료가 적은 전문 분야나 지역 정보, 학습 시점 이후에 생긴 일, 그리고 질문 자체에 틀린 전제가 들어 있는 경우입니다. 마지막 경우는 특히 조심할 만합니다. '○○가 △△를 발표한 이유는?'처럼 존재하지 않는 사실을 전제로 물으면, 모델은 전제를 의심하기보다 그 전제에 맞는 이유를 만들어 내기 쉽습니다.

• 정확히 맞아야 하는 세부 정보: 이름, 숫자, 날짜, 인용문, 참고 문헌
• 학습 자료가 적은 영역: 좁은 전문 분야, 최근 사건, 지역 정보
• 틀린 전제가 담긴 질문: 모델이 전제를 의심하기보다 맞춰 주는 경향
• 긴 대화 뒤쪽: 앞의 조건이 창 밖으로 밀려나면서 생기는 어긋남

왜 완전히 없애기 어려운가

'그럼 사실만 말하게 고치면 되지 않나'라는 질문이 자연스럽게 따라옵니다. 몇 가지 이유로 그것이 쉽지 않습니다. 첫째, 모델은 자신이 무엇을 모르는지를 정확히 알지 못합니다. 확신의 정도를 표현하는 기능이 일부 연구되고 있지만, 사람처럼 '이건 내가 잘 모르는 영역이다'를 안정적으로 구분하는 단계에는 이르지 못했다고 보는 것이 일반적인 설명입니다. 둘째, 빈칸을 자연스럽게 채우는 능력은 환각의 원인이기도 하지만 동시에 요약·초안·번역 같은 유용한 능력의 원천이기도 합니다. 이 능력을 완전히 꺼 버리면 쓸모도 함께 줄어듭니다.

셋째, 학습 자료 자체가 틀린 정보를 포함하고 있기도 합니다. 인터넷의 글을 대량으로 학습한 모델이라면 그 안의 오류도 함께 배웁니다. 넷째, 모델이 답을 만드는 과정에는 일정한 무작위성이 들어가 있어서 같은 질문에도 매번 조금씩 다른 답이 나옵니다. 이런 이유들 때문에 환각은 '버그를 고쳐 제거하는' 종류의 문제라기보다 '관리하고 줄여 가는' 종류의 문제로 다뤄집니다. 서비스 제공자들이 환각을 줄이는 다양한 기법을 적용하고 있지만, 어떤 모델이든 '환각이 전혀 없다'는 주장은 신중하게 받아들이는 것이 좋습니다.

줄이는 방법 — 사용자가 할 수 있는 것

환각을 줄이는 가장 확실한 방법은 모델이 추측할 필요가 없게 만드는 것입니다. 답의 근거가 될 자료를 직접 붙여 넣고 '이 자료 안에서만 답하라'고 요청하면, 모델은 학습 기억에서 빈칸을 채우는 대신 눈앞의 문서를 참고하게 됩니다. AI 검색이나 문서 업로드 기능이 일반 챗봇보다 사실 오류가 적게 느껴지는 이유도 같은 원리입니다. 다만 붙여 준 자료를 잘못 읽거나 자료에 없는 내용을 덧붙이는 일도 있으니, 이 방법이 환각을 없애는 것은 아니고 크게 줄이는 것입니다.

두 번째는 모른다고 답할 여지를 주는 것입니다. '확실하지 않으면 모른다고 말해 달라', '근거가 없으면 추측이라고 표시해 달라'는 요청은 단순하지만 꽤 효과가 있습니다. 세 번째는 출처나 근거를 함께 요구하는 것입니다. 다만 출처 자체가 환각일 수 있으므로, 제시된 출처가 실제로 존재하는지와 그 내용이 답변과 일치하는지를 직접 확인해야 합니다. 네 번째는 질문을 나누는 것입니다. 여러 사실을 한꺼번에 묻기보다 하나씩 확인하면 어디서 어긋났는지 찾기 쉽습니다.

마지막으로, 이 모든 방법은 확인 습관을 대체하지 않습니다. 환각은 줄일 수 있을 뿐 사라지지 않으므로, 중요한 결정에 쓰이는 사실 정보는 원출처에서 확인하는 단계를 고정해 두는 것이 안전합니다. 구체적인 검증 루틴은 '검증 습관 5가지' 글에서 따로 정리했습니다.

• 근거 자료를 직접 붙여 주고 그 범위 안에서 답하게 한다
• 모른다고 답해도 된다고 명시한다
• 출처를 요구하되, 출처의 실재 여부를 직접 확인한다
• 여러 사실을 한 번에 묻지 말고 나눠서 확인한다
• 중요한 정보는 원출처 확인 단계를 고정한다

정리 — 환각을 알면 기대치가 정확해진다

환각은 AI가 거짓말을 하는 것이 아니라, '다음에 올 법한 말'을 만드는 장치가 사실 여부를 따로 검사하지 않기 때문에 생기는 구조적 현상입니다. 정확해야 하는 세부 정보, 자료가 드문 영역, 틀린 전제의 질문에서 잘 나타나고, 자료 제공·모른다고 답하게 허용·출처 확인·질문 분할로 상당 부분 줄일 수 있습니다.

이 구조를 알면 AI에 대한 기대치가 정확해집니다. 아이디어 확장, 초안 작성, 구조 잡기처럼 '그럴듯함'이 자산이 되는 일에는 적극적으로 쓰고, 사실 확인이 핵심인 일에는 보조 도구로 쓰되 최종 확인은 사람이 한다는 원칙이 자연스럽게 따라 나옵니다. 어느 서비스의 환각이 더 적은지는 계속 바뀌고 측정 방법에 따라서도 달라지지만, 환각이 생기는 구조와 줄이는 원리는 언어 모델이 지금의 방식으로 동작하는 한 유지됩니다.