토큰과 컨텍스트 윈도우: AI가 긴 대화를 '잊어버리는' 이유

왜 글자 수가 아니라 토큰으로 셀까요

AI랑 한참 이야기하다가 '아까 그 조건 왜 안 지키지?' 싶었던 적 있으시죠? 요금표에서는 또 낯선 '토큰'이라는 단위가 나오고요. 이 두 가지가 사실은 한 뿌리에서 나온 이야기인데, 그 연결이 잘 안 보여서 답답하기 쉬워요. 이 글에서 토큰과 컨텍스트 윈도우라는 두 단어를 잡아 드리고, 잊어버림이 시작될 때 무엇부터 손보면 되는지까지 정리해 드려요.

먼저 토큰이에요. 언어 모델은 문장을 글자 하나하나로 읽지도, 사전에 있는 단어 단위로 읽지도 않아요. 자주 함께 등장하는 글자 묶음을 하나의 조각으로 미리 정해 두고, 글을 그 조각들의 나열로 바꿔서 처리해요. 이 조각이 토큰이에요. 그래서 토큰은 글자보다 크고 단어보다 작은 경우가 많아요. 영어에서 흔한 단어는 통째로 토큰 하나가 되기도 하고, 드문 단어는 여러 조각으로 쪼개져요. 한국어는 조사와 어미가 붙고 표기 방식도 다양해서 같은 뜻의 문장이라도 영어보다 토큰 수가 많이 나오는 경향이 있고요. 정확한 비율은 모델마다 다르니 숫자를 외우실 필요는 없고, '언어와 표기에 따라 달라진다'는 구조만 기억하시면 충분해요.

컨텍스트 윈도우 — 한 번에 볼 수 있는 범위

토큰을 이해하면 다음 개념이 자연스럽게 이어져요. 언어 모델은 한 번에 처리할 수 있는 토큰 수에 상한이 있어요. 이 상한 안에 들어가는 범위를 컨텍스트 윈도우(context window), 우리말로는 문맥 창이라고 불러요. 지금까지의 대화, 내가 붙여 넣은 문서, 모델이 방금 쓴 답변까지 전부 이 창 안에 있어야 모델이 참고할 수 있어요.

비유하자면 책상 위 작업 공간이에요. 책상이 넓을수록 많은 자료를 펼쳐 놓고 볼 수 있지만 넓이에는 한계가 있고, 자료가 계속 쌓이면 가장 오래된 것부터 책상 밖으로 밀려나요. 대화가 길어졌을 때 AI가 앞에서 정한 조건을 어기는 상황은 대체로 그 내용이 창 밖으로 밀려나서 생겨요. 그러니까 제 말은, 모델의 기억력이 나빠진 게 아니라 애초에 기억이라는 기능이 아니라 '지금 보이는 범위'로 동작한다는 거예요. 이걸 알고 나면 답답함이 확 줄어요.

요금·한도 뉴스가 이 위에 서 있어요

AI 서비스 소식에서 반복되는 표현들도 이 두 개념으로 풀어 보면 훨씬 또렷해져요. '입력 토큰과 출력 토큰 요금이 다르다'는 건 모델이 읽는 양과 쓰는 양을 따로 센다는 뜻이에요. '컨텍스트 윈도우가 몇 배로 늘었다'는 건 한 번에 펼칠 수 있는 책상이 넓어졌다는 뜻이고, 그래서 긴 보고서를 통째로 넣고 질문할 수 있게 됐다는 이야기로 이어져요.

근데 여기서 반전은, 창이 넓어졌다고 그 안의 모든 내용을 똑같이 잘 활용한다는 보장은 없다는 점이에요. 긴 입력의 중간 부분을 상대적으로 놓치는 경향이 보고된 적이 있고, 창이 넓을수록 처리 비용과 시간도 함께 늘어요. 그래서 '얼마나 넓은가'와 '넓은 범위를 얼마나 충실히 쓰는가'는 별개의 질문이에요. 구체적인 토큰 한도와 요금은 서비스마다 다르고 자주 바뀌니, 숫자는 각 서비스의 공식 요금 안내 페이지에서 확인하시는 게 가장 정확해요.

잊어버림이 시작될 때 손보는 순서

'앞에서 말한 걸 안 지킨다' 싶을 때 대처법은 많이 소개되는데, 정작 어떤 순서로 해야 하는지는 잘 안 나오죠. 부담 적은 것부터 차례로 해 보시면 대개 위쪽에서 해결돼요. 아래 순서대로 한 칸씩 내려가 보세요.

• 1. 핵심 조건만 한 줄로 다시 붙이기 — 가장 가볍고 성공률도 높아요. 말투·형식 같은 건 이걸로 대개 돌아와요.
• 2. 지금까지 결정된 내용을 요약해 달라고 하기 — 요약본이 창 안에 다시 들어와서 앞부분이 복구되는 효과가 있어요.
• 3. 새 대화 열고 요약본만 붙이기 — 무관한 이전 내용이 창을 차지하고 있을 때 특히 잘 통해요.
• 4. 긴 문서는 나눠 넣기 — 통째로 넣기보다 부분으로 나누거나, 요약을 먼저 만들고 그 요약으로 질문하는 두 단계가 안정적이에요.
• 5. '기억' 기능 점검하기 — 대개 별도 저장소에서 필요한 내용을 다시 창으로 가져오는 방식이에요. 무엇을 어디까지 보관하는지는 서비스의 설정·개인정보 안내에서 확인해 보세요.

이제 이렇게 하시면 돼요

토큰은 모델이 글을 세는 단위이고, 컨텍스트 윈도우는 그 단위로 잰 '한 번에 볼 수 있는 범위'예요. 이 둘은 AI 서비스의 요금, 한도, 긴 문서 처리 능력, 그리고 대화 중 잊어버림 현상을 한 줄로 꿰어 줘요. 어떤 모델이 토큰을 몇 개까지 받는지는 앞으로도 계속 바뀌겠지만, 토큰과 창이라는 구조 자체는 그대로 남아요.

그러니 앞으로는 긴 작업을 시작하실 때 결정 사항을 짧게 적어 두시고, 대화가 흐트러진다 싶으면 위 순서를 위에서부터 한 칸씩 밟아 보세요. (여기까지 오셨으면 반은 끝난 거예요) 요금표나 기사에서 이 단어들을 만나도 '읽는 양과 쓰는 양 이야기구나', '책상 넓이 이야기구나'라고 바로 번역되실 거예요. 그 감각 하나면 긴 문서 작업이 훨씬 수월해져요.