AI가 모르는 것을 알게 하는 방법: 검색 연결(RAG)과 파인튜닝의 차이

왜 AI는 '우리 회사 일'을 모를까

챗봇에게 회사 내부 규정이나 지난주 회의 내용을 물어보면 엉뚱한 답을 하거나 모른다고 합니다. 고장이 아니라 당연한 일입니다. 언어 모델은 공개된 대량의 글을 바탕으로 한 번 학습된 뒤 그 상태로 고정되어 서비스됩니다. 그러니 학습 자료에 없던 것 — 학습 마감 이후에 생긴 일, 외부에 공개된 적 없는 사내 문서, 개인의 취향이나 업무 맥락 — 은 모델 안에 들어 있지 않습니다.

문제는 실제로 쓸모 있는 질문의 상당수가 바로 그 영역에 있다는 점입니다. '우리 제품 환불 규정이 뭐지', '이 계약서 기준으로 답해 줘', '어제 발표된 정책은 어떤 내용이지' 같은 질문에 답하려면, 모델이 원래 모르는 정보를 어떻게든 모델에 건네줘야 합니다. 이때 쓰이는 방법이 크게 두 갈래로 나뉘고, AI 도입 관련 뉴스와 제안서에 반복해서 등장하는 용어가 바로 RAG와 파인튜닝입니다.

이 글은 둘 중 무엇이 더 좋은지를 가리는 글이 아닙니다. 각각이 어떤 구조로 작동하고, 그래서 어떤 일에 어울리며, 기사나 서비스 설명에서 이 단어를 만났을 때 무엇을 떠올리면 되는지까지만 정리합니다.

검색 연결(RAG): 교과서를 펴 놓고 답하기

RAG는 '검색 증강 생성'이라는 긴 이름의 약자인데, 구조는 이름보다 단순합니다. 사용자가 질문을 하면 ① 먼저 미리 준비해 둔 문서 창고에서 질문과 관련 있어 보이는 부분을 찾아내고, ② 찾아낸 내용을 질문과 함께 모델에 건네주고, ③ 모델은 '눈앞에 놓인 자료'를 참고해서 답을 만듭니다. 모델 자체는 전혀 바뀌지 않습니다. 바뀌는 것은 모델에게 건네는 입력뿐입니다.

시험에 비유하면 교과서를 펴 놓고 답을 쓰는 오픈북 방식입니다. 학생(모델)이 그 내용을 외우고 있을 필요가 없고, 교과서(문서 창고)를 바꾸면 바로 다른 내용으로 답할 수 있습니다. 그래서 자주 바뀌는 정보, 방금 추가된 문서, 회사별로 다른 규정처럼 '내용이 계속 갱신되는' 영역에 잘 맞습니다. 또 어느 문서의 어느 부분을 보고 답했는지를 함께 보여 줄 수 있어, 사용자가 출처를 확인하기 쉽다는 점도 큰 장점입니다.

약점도 구조에서 나옵니다. 검색 단계에서 엉뚱한 문서를 찾아오면 모델은 엉뚱한 자료를 근거로 그럴듯한 답을 만듭니다. 찾아온 자료가 너무 많으면 한 번에 읽을 수 있는 분량(컨텍스트 윈도우)의 한계에 걸립니다. 그리고 자료를 보고 답하더라도 자료에 없는 내용을 덧붙이는 환각이 완전히 사라지지는 않습니다. 요즘 '문서 업로드해서 질문하기', '사내 자료 기반 챗봇', 'AI 검색'이라고 불리는 기능 상당수가 이 구조 위에 있습니다.

• 모델은 그대로, 입력에 자료를 덧붙이는 방식
• 문서만 바꾸면 바로 반영 — 최신성·갱신에 강함
• 근거 문서를 함께 보여 줄 수 있어 출처 확인이 쉬움
• 검색이 틀리면 답도 틀림, 환각이 0이 되지는 않음

파인튜닝: 공부를 더 시켜서 답하게 하기

파인튜닝은 이미 학습이 끝난 모델에 특정 자료를 추가로 학습시켜 모델 자체를 조금 바꾸는 방법입니다. '미세 조정'이라고도 번역합니다. 비유하자면 기본 교육을 마친 신입 직원에게 우리 회사 방식으로 추가 교육을 시키는 것과 비슷합니다. 교육이 끝나면 그 직원은 매번 매뉴얼을 펼치지 않아도 회사 말투와 업무 형식에 맞게 일합니다.

그래서 파인튜닝이 잘 맞는 영역은 '지식'보다 '방식'입니다. 특정 문체나 형식을 일관되게 지키게 하기, 전문 분야의 용어와 표현 습관을 익히게 하기, 정해진 출력 구조를 안정적으로 따르게 하기 같은 일입니다. 반대로 자주 바뀌는 사실 정보를 넣는 용도로는 잘 쓰이지 않습니다. 내용이 바뀔 때마다 다시 학습시켜야 하고, 학습한 내용을 모델이 어디까지 정확히 기억하는지 확인하기도 어렵기 때문입니다. 어떤 근거로 답했는지 출처를 짚어 주기도 RAG보다 어렵습니다.

비용 구조도 다릅니다. 파인튜닝은 학습 데이터를 정리하고 학습을 돌리는 데 준비 비용이 들고, 모델이 바뀌었으니 이전과 달라진 점이 없는지 검증하는 과정도 필요합니다. 서비스에 따라 개인이나 소규모 팀도 파인튜닝 기능을 쓸 수 있게 제공하는 경우가 있지만, 제공 여부와 조건은 달라지므로 각 서비스의 공식 안내에서 확인하는 것이 정확합니다.

• 모델 자체를 추가 학습으로 바꾸는 방식
• 문체·형식·분야 표현처럼 '방식'을 익히게 하는 데 적합
• 자주 바뀌는 사실 정보에는 부적합 — 바뀔 때마다 재학습
• 준비·검증 비용이 들고, 출처를 짚어 주기 어려움

나란히 놓고 보기 — 그리고 둘을 함께 쓰는 이유

둘의 차이를 한 줄로 줄이면 이렇습니다. RAG는 '모델에게 무엇을 보여 줄 것인가'의 문제이고, 파인튜닝은 '모델을 어떻게 바꿀 것인가'의 문제입니다. 최신 정보나 출처 확인이 중요하면 RAG 쪽이 자연스럽고, 일관된 말투와 형식이 중요하면 파인튜닝 쪽이 자연스럽습니다. 실제 서비스에서는 둘을 섞어 쓰는 경우도 흔합니다. 예를 들어 말투와 응답 형식은 파인튜닝으로 잡고, 그날그날의 자료는 RAG로 붙여 주는 식입니다.

여기에 세 번째 선택지도 있습니다. 아무 준비 없이 질문 안에 필요한 자료를 그냥 붙여 넣는 방법입니다. 계약서 한 장을 복사해 넣고 '이 문서 기준으로 답해 줘'라고 하는 것이 대표적입니다. 사실 이것도 RAG와 같은 원리(자료를 입력으로 건네기)이고, 다만 '검색' 단계를 사람이 손으로 대신하는 것입니다. 문서가 몇 장 수준이면 이 방법으로 충분한 경우가 많고, 문서가 수백·수천 건으로 늘어나면 그때 검색 단계를 자동화한 RAG가 필요해집니다.

이렇게 보면 '사내 AI 도입'이라는 말 뒤에 무엇이 있는지도 읽힙니다. 문서를 모아 검색 창고를 만드는 일인지, 모델을 추가 학습시키는 일인지, 둘 다인지에 따라 준비해야 할 것과 기대할 수 있는 것이 달라집니다. 'AI가 우리 회사를 학습했다'는 표현 하나도 실제로는 RAG인 경우가 많은데, 이때 모델은 회사 자료를 '배운' 것이 아니라 '필요할 때 펼쳐 보는' 것입니다.

뉴스·제안서에서 이 단어를 만났을 때 확인할 것

'자체 AI 모델을 구축했다'는 기사를 보면 실제로 처음부터 모델을 만들었는지, 기존 모델을 파인튜닝한 것인지, RAG로 자료를 연결한 것인지가 모두 같은 표현으로 뭉뚱그려지는 일이 잦습니다. 셋은 들어가는 비용도, 할 수 있는 일도 다릅니다. 기사의 세부 설명에서 '검색', '문서 연동', '추가 학습' 같은 단서를 찾아보면 어느 쪽인지 대개 짐작할 수 있습니다.

업무에서 사내 자료 기반 챗봇 같은 도구를 쓰는 입장이라면 두 가지를 확인해 두면 좋습니다. 첫째, 답변에 근거 문서가 함께 표시되는지 — 표시된다면 중요한 답은 그 문서를 직접 열어 보는 습관을 들이면 됩니다. 둘째, 내가 올리는 자료가 어디까지 쓰이는지 — 답변을 위해 잠시 참고만 하는지, 모델 학습에 활용되는지는 서비스 약관과 회사 정책에 따라 다르고, 기밀·개인정보가 포함된 자료라면 이 구분이 특히 중요합니다.

마지막으로, 어느 방식이든 환각과 검증의 원칙은 그대로 적용됩니다. 자료를 붙여 주면 사실 오류가 크게 줄어들지만 없어지는 것은 아니고, 추가 학습을 시켰다고 모델이 그 내용을 항상 정확히 재현하는 것도 아닙니다. 구조를 알면 '무엇을 믿어도 되고 무엇을 확인해야 하는지'가 분명해지는 것이지, 확인 자체가 필요 없어지는 것은 아닙니다.