AI가 모르는 것을 알게 하는 방법: 검색 연결(RAG)과 파인튜닝의 차이

왜 AI는 '우리 회사 일'을 모를까요

챗봇에게 회사 규정이나 지난주 회의 내용을 물었다가 엉뚱한 답을 받아 보신 적 있으시죠? 정작 업무에서 쓸모 있는 질문은 대부분 그런 '우리 쪽 자료'에 있는데 말이에요. 이 글에서 그 빈틈을 메우는 두 가지 방법이 각각 어떤 구조인지, 그리고 내 상황에 어느 쪽이 먼저인지까지 갈라 드릴게요.

먼저 왜 모르는지부터요. 언어 모델은 공개된 대량의 글을 바탕으로 한 번 학습된 뒤 그 상태로 고정돼 서비스돼요. 그러니 학습 자료에 없던 것, 그러니까 학습 마감 이후에 생긴 일이나 외부에 공개된 적 없는 사내 문서, 개인의 업무 맥락은 모델 안에 들어 있지 않아요. 고장이 아니라 당연한 일이에요. 그래서 '우리 제품 환불 규정이 뭐지', '이 계약서 기준으로 답해 줘' 같은 질문에 답하게 하려면 모델이 원래 모르는 정보를 어떻게든 건네줘야 하고, 그 방법이 크게 RAG와 파인튜닝 두 갈래예요.

검색 연결(RAG): 교과서를 펴 놓고 답하기

RAG는 '검색 증강 생성'이라는 긴 이름의 약자인데, 구조는 이름보다 단순해요. 질문이 들어오면 ① 미리 준비해 둔 문서 창고에서 관련 있어 보이는 부분을 찾고, ② 찾아낸 내용을 질문과 함께 모델에 건네주고, ③ 모델은 '눈앞에 놓인 자료'를 참고해 답을 만들어요. 모델 자체는 전혀 바뀌지 않아요. 바뀌는 건 모델에게 건네는 입력뿐이에요.

시험에 비유하면 교과서를 펴 놓고 답을 쓰는 오픈북 방식이에요. 학생(모델)이 내용을 외우고 있을 필요가 없고, 교과서(문서 창고)를 바꾸면 바로 다른 내용으로 답할 수 있어요. 그래서 자주 바뀌는 정보, 방금 추가된 문서, 회사마다 다른 규정처럼 계속 갱신되는 영역에 잘 맞아요. 어느 문서의 어느 부분을 보고 답했는지 함께 보여 줄 수 있어서 출처 확인이 쉽다는 점도 정말 든든해요.

약점도 구조에서 나와요. 검색 단계에서 엉뚱한 문서를 찾아오면 모델은 엉뚱한 자료를 근거로 그럴듯한 답을 만들어요. 찾아온 자료가 너무 많으면 한 번에 읽을 수 있는 분량(컨텍스트 윈도우)의 한계에 걸리고요. 자료를 보고 답하더라도 자료에 없는 내용을 덧붙이는 환각이 완전히 사라지지는 않아요. 요즘 '문서 올려서 질문하기', '사내 자료 기반 챗봇', 'AI 검색'이라 불리는 기능 상당수가 이 구조 위에 있어요.

• 모델은 그대로 두고, 입력에 자료를 덧붙이는 방식이에요
• 문서만 바꾸면 바로 반영돼요 — 최신성·갱신에 강해요
• 근거 문서를 함께 보여 줄 수 있어 출처 확인이 쉬워요
• 검색이 틀리면 답도 틀려요. 환각이 아예 없어지지는 않아요

파인튜닝: 공부를 더 시켜서 답하게 하기

파인튜닝은 이미 학습이 끝난 모델에 특정 자료를 추가로 학습시켜 모델 자체를 조금 바꾸는 방법이에요. '미세 조정'이라고도 번역해요. 비유하자면 기본 교육을 마친 신입 직원에게 우리 회사 방식으로 추가 교육을 시키는 것과 비슷해요. 교육이 끝나면 그 직원은 매번 매뉴얼을 펼치지 않아도 회사 말투와 업무 형식에 맞게 일하죠.

그래서 파인튜닝이 잘 맞는 영역은 '지식'보다 '방식'이에요. 특정 문체나 형식을 일관되게 지키게 하기, 전문 분야의 용어와 표현 습관을 익히게 하기, 정해진 출력 구조를 안정적으로 따르게 하기 같은 일이에요. 반대로 자주 바뀌는 사실 정보를 넣는 용도로는 잘 쓰이지 않아요. 내용이 바뀔 때마다 다시 학습시켜야 하고, 학습한 내용을 모델이 어디까지 정확히 재현하는지 확인하기도 어렵거든요. 어떤 근거로 답했는지 짚어 주기도 RAG보다 까다로워요.

비용 구조도 달라요. 파인튜닝은 학습 데이터를 정리하고 학습을 돌리는 준비 비용이 들고, 모델이 바뀌었으니 이전과 달라진 점이 없는지 검증하는 과정도 필요해요. 개인이나 소규모 팀도 쓸 수 있게 제공하는 서비스가 있지만 제공 여부와 조건은 계속 달라지니, 각 서비스의 공식 개발자 안내 페이지에서 확인하시는 게 정확해요.

• 모델 자체를 추가 학습으로 바꾸는 방식이에요
• 문체·형식·분야 표현처럼 '방식'을 익히게 하는 데 잘 맞아요
• 자주 바뀌는 사실 정보에는 잘 안 맞아요 — 바뀔 때마다 재학습이에요
• 준비·검증 비용이 들고, 근거를 짚어 주기는 어려운 편이에요

내 상황에 어느 쪽인지 갈라 보기

그냥 딱 잘라 말해서, RAG는 '모델에게 무엇을 보여 줄 것인가'의 문제이고 파인튜닝은 '모델을 어떻게 바꿀 것인가'의 문제예요. 아래처럼 상황별로 갈라 보시면 판단이 훨씬 빨라져요. 참고로 세 번째 선택지도 있어요. 질문 안에 필요한 자료를 그냥 붙여 넣는 방법인데, 이것도 원리는 RAG와 같고 검색 단계를 사람이 손으로 대신하는 것뿐이에요.

이게 왜 중요하냐면요, '사내 AI 도입'이라는 한 마디 뒤에 무엇이 있는지가 이 구분으로 드러나거든요. 문서를 모아 검색 창고를 만드는 일인지, 모델을 추가 학습시키는 일인지, 둘 다인지에 따라 준비할 것과 기대할 수 있는 것이 완전히 달라져요. 'AI가 우리 회사를 학습했다'는 표현도 실제로는 RAG인 경우가 많은데, 이때 모델은 회사 자료를 '배운' 게 아니라 '필요할 때 펼쳐 보는' 거예요. 이 차이를 알면 제안서를 읽을 때 무엇을 되물어야 하는지도 자연스럽게 떠올라요.

뉴스·제안서에서 이 단어를 만났을 때

'자체 AI 모델을 구축했다'는 기사를 보면 정말 처음부터 모델을 만들었는지, 기존 모델을 파인튜닝한 건지, RAG로 자료를 연결한 건지가 같은 표현으로 뭉뚱그려지는 일이 잦아요. 셋은 들어가는 비용도, 할 수 있는 일도 달라요. 기사 세부 설명에서 '검색', '문서 연동', '추가 학습' 같은 단서를 찾아보시면 어느 쪽인지 대개 짐작이 돼요.

사내 자료 기반 챗봇을 쓰는 입장이라면 두 가지만 확인해 두시면 돼요. 첫째, 답변에 근거 문서가 함께 표시되는지 — 표시된다면 중요한 답은 그 문서를 직접 열어 보는 습관이 좋아요. 둘째, 내가 올리는 자료가 어디까지 쓰이는지 — 답변을 위해 잠시 참고만 하는지, 학습에 활용되는지는 서비스 약관과 회사 정책에 따라 다르니 한 번 확인해 두시면 마음이 놓여요.

정리하면 이래요. 문서가 적으면 그냥 붙여 넣기, 많고 자주 바뀌면 RAG, 말투와 형식이 문제면 파인튜닝 — 이 세 칸으로 나눠 보시면 대부분의 상황이 정리돼요. 어느 방식이든 마지막 확인은 사람 몫으로 남지만, 구조를 알고 나면 '무엇을 믿고 무엇을 확인할지'가 선명해져서 오히려 마음 편하게 쓰시게 될 거예요.