AI 환각은 왜 생길까: 거짓말이 아니라 작동 방식의 문제

환각이라는 말이 가리키는 현상

AI가 자신 있게 알려 준 내용이 알고 보니 사실이 아니어서 당황하신 적 있으시죠? 문제는 그 틀린 답이 너무 매끄러워서 읽는 순간엔 의심이 잘 안 든다는 점이에요. 이 글에서 그런 일이 왜 구조적으로 생기는지, 그리고 어떤 질문에서 특히 잘 생기는지까지 갈라 드릴게요.

AI 챗봇에게 어떤 책의 저자를 물었더니 실재하지 않는 제목과 출판사를 붙여 답하거나, 없는 번호를 만들어 내거나, 실존 인물에게 없는 경력을 붙이는 일이 있어요. 이런 현상을 환각, 영어로는 할루시네이션(hallucination)이라고 불러요. 핵심은 두 가지예요. 내용이 사실과 다르다는 것, 그리고 그 틀린 내용이 아주 자연스럽고 자신 있는 문장으로 나온다는 것이에요. 두 번째 특징이 문제를 키워요. 더듬거리는 문장이면 의심이 들 텐데, 환각은 문법도 어조도 정상 답변과 구별되지 않거든요.

'다음 말 맞히기'라는 작동 방식에서 따라 나오는 부작용

언어 모델은 방대한 글을 학습해 '이 문맥 다음에는 어떤 말이 이어질 법한가'를 예측하는 장치예요. 답변은 그 예측을 한 조각씩 이어 붙인 결과고요. 여기에 '이 내용이 사실인가'를 따로 검사하는 단계는 기본적으로 들어 있지 않아요. 모델이 보는 건 자연스러움이지 진위가 아니에요. 학습한 글에 어떤 사실이 충분히 자주 등장했다면 자연스럽게 재현되지만, 드물거나 없었던 내용이라도 문장의 모양만 자연스러우면 똑같이 만들어질 수 있어요.

비유하자면 수많은 책을 읽고 문체를 완벽히 익힌 사람에게 읽지 않은 책의 내용을 물어보는 상황과 비슷해요. 그 사람은 '그런 책은 모릅니다'라고 말하는 대신, 익힌 문체로 가장 있을 법한 줄거리를 유창하게 말해 버릴 수 있어요. 속이려는 게 아니라, 빈칸을 자연스러운 말로 채우는 능력 자체가 너무 뛰어나서 생기는 일이에요. 환각이 '거짓말'이 아니라 '작동 방식의 부작용'이라고 하는 이유가 여기 있어요.

아, 그리고 하나 더. 환각이 특히 잘 나타나는 지점도 이 구조에서 미리 예측할 수 있어요. 아래 네 가지가 대표적인데, 질문을 던지기 전에 '지금 내 질문이 이 중 어디에 걸리나' 한 번만 짚어 보셔도 걸러 낼 확률이 확 올라가요.

• 정확히 맞아야 하는 세부 정보 — 이름, 숫자, 날짜, 인용문, 참고 문헌이에요. 대책은 원자료 확인이에요.
• 학습 자료가 적은 영역 — 좁은 전문 분야, 최근 사건, 지역 정보예요. 대책은 자료를 직접 붙여 주는 거예요.
• 틀린 전제가 담긴 질문 — 모델이 전제를 의심하기보다 맞춰 주는 경향이 있어요. 대책은 '이 전제가 사실인지부터 확인해 줘'라고 먼저 묻는 거예요.
• 긴 대화 뒤쪽 — 앞의 조건이 창 밖으로 밀려나며 어긋나요. 대책은 핵심 조건을 다시 붙이거나 새 대화를 여는 거예요.

왜 완전히 없애기 어려울까요

'그럼 사실만 말하게 고치면 되지 않나' 싶으시죠. 몇 가지 이유로 그게 쉽지 않아요. 첫째, 모델은 자신이 무엇을 모르는지를 정확히 알지 못해요. 확신의 정도를 표현하는 기능이 연구되고 있지만, 사람처럼 '이건 내가 잘 모르는 영역이다'를 안정적으로 구분하는 단계에는 아직 이르지 못했다고 보는 게 일반적인 설명이에요. 둘째, 빈칸을 자연스럽게 채우는 능력은 환각의 원인이면서 동시에 요약·초안·번역 같은 쓸모의 원천이기도 해요. 이 능력을 완전히 꺼 버리면 유용함도 같이 줄어들어요.

셋째, 학습 자료 자체가 틀린 정보를 품고 있기도 해요. 인터넷 글을 대량으로 학습한 모델이라면 그 안의 오류도 함께 배우거든요. 넷째, 답을 만드는 과정에 일정한 무작위성이 들어 있어서 같은 질문에도 매번 조금씩 다른 답이 나와요. 이러다 보니 환각은 '버그를 고쳐 없애는' 종류가 아니라 '관리하며 줄여 가는' 종류의 문제로 다뤄져요. 서비스들이 여러 기법을 적용해 꾸준히 개선하고 있고, 다만 '환각이 전혀 없다'는 표현은 조금 신중하게 받아들이시는 편이 좋아요.

네 가지를 한눈에 보시면 이래요. 각 이유마다 사용자가 손댈 수 있는 자리도 함께 적어 뒀으니, 내 상황에 맞는 칸부터 챙기시면 돼요.

• 모델이 자기가 모르는 걸 모른다 — 사용자가 '모르면 모른다고 해 줘'라고 미리 열어 주면 완화돼요.
• 빈칸을 채우는 능력이 쓸모의 원천이기도 하다 — 그래서 끄는 대신 사실 확인이 필요한 자리만 따로 관리해요.
• 학습 자료에 이미 오류가 섞여 있다 — 대책은 원자료 확인이에요. 기관·발행처 공식 페이지가 가장 확실해요.
• 답을 만들 때 무작위성이 섞인다 — 중요한 답은 한 번 더 물어 두 답을 비교해 보시면 어긋나는 지점이 드러나요.

줄이는 방법 — 사용자가 할 수 있는 것

환각을 줄이는 가장 확실한 방법은 모델이 추측할 필요가 없게 만드는 거예요. 근거가 될 자료를 직접 붙여 넣고 '이 자료 안에서만 답해 줘'라고 요청하면, 모델은 학습 기억에서 빈칸을 채우는 대신 눈앞의 문서를 참고하게 돼요. AI 검색이나 문서 업로드 기능이 일반 챗봇보다 사실 오류가 적게 느껴지는 이유도 같은 원리예요. 물론 붙여 준 자료를 잘못 읽는 일도 있으니, 없애는 게 아니라 크게 줄이는 방법이라고 보시면 정확해요.

두 번째는 모른다고 답할 여지를 주는 거예요. '확실하지 않으면 모른다고 말해 줘', '근거가 없으면 추측이라고 표시해 줘' 같은 요청은 단순한데도 효과가 좋아요. 세 번째는 출처나 근거를 함께 요구하는 거예요. 다만 출처 자체가 환각일 수 있으니, 제시된 출처가 실제로 있는지와 내용이 답변과 맞는지는 직접 확인하셔야 해요. 네 번째는 질문을 나누는 거예요. 여러 사실을 한꺼번에 묻기보다 하나씩 확인하면 어디서 어긋났는지 금방 찾아져요.

혹시나 해서 하는 말인데, 이 방법들이 확인 습관을 대신해 주지는 않아요. 환각은 줄일 수 있을 뿐 사라지지는 않으니, 중요한 결정에 쓰는 사실 정보는 원출처에서 확인하는 단계를 고정해 두시면 마음이 편해요. 구체적인 검증 루틴은 관련 글의 검증 습관 편에서 따로 정리해 뒀어요.

• 근거 자료를 직접 붙여 주고 그 범위 안에서 답하게 해요
• 모른다고 답해도 된다고 미리 알려 줘요
• 출처를 요구하되, 출처가 실재하는지 직접 확인해요
• 여러 사실을 한 번에 묻지 말고 나눠서 확인해요
• 중요한 정보는 원출처 확인 단계를 고정해 둬요

이제 이렇게 쓰시면 돼요

환각은 AI가 거짓말을 하는 게 아니라, '다음에 올 법한 말'을 만드는 장치가 사실 여부를 따로 검사하지 않아서 생기는 구조적 현상이에요. 정확해야 하는 세부 정보, 자료가 드문 영역, 틀린 전제의 질문에서 잘 나타나고, 자료 제공·모른다고 답하게 허용·출처 확인·질문 분할로 상당 부분 줄어들어요.

그러니 앞으로는 질문을 던지기 전에 '이 질문이 위 네 유형 중 어디에 걸리나'만 한 번 짚어 보시면 돼요. 걸린다 싶으면 자료를 붙이거나 출처를 함께 요청하시고, 아니면 편하게 쓰시면 되고요. 이 구분만 생기면 AI를 향한 기대치가 정확해져서 오히려 마음 놓고 쓰게 돼요. 초안이나 아이디어처럼 '그럴듯함'이 자산이 되는 일에는 마음껏 맡기시고, 사실 확인이 핵심인 일에서는 마지막 한 걸음만 직접 챙기시면 충분히 든든한 도구가 돼요.