토큰과 컨텍스트 윈도우: AI가 긴 대화를 '잊어버리는' 이유

왜 글자 수가 아니라 토큰으로 셀까

AI 서비스 요금표나 기능 소개를 보면 '글자당'이 아니라 '토큰당'이라는 표현이 나옵니다. 처음 보면 낯선 단위인데, 이유는 모델이 글을 다루는 방식에 있습니다. 언어 모델은 문장을 글자 하나하나로 읽지도, 사전에 있는 단어 단위로 읽지도 않습니다. 자주 함께 등장하는 글자 묶음을 하나의 조각으로 미리 정해 두고, 글을 그 조각들의 나열로 바꿔서 처리합니다. 이 조각이 토큰입니다.

그래서 토큰은 글자보다 크고 단어보다 작은 경우가 많습니다. 영어에서 흔한 단어는 통째로 토큰 하나가 되기도 하고, 드문 단어는 여러 조각으로 쪼개집니다. 한국어는 조사와 어미가 붙고 표기 방식도 다양해서, 같은 뜻의 문장이라도 영어보다 토큰 수가 많이 나오는 경향이 있습니다. '한글은 토큰이 비싸다'는 말이 가끔 나오는 배경이 이것입니다. 정확한 비율은 모델마다 다르므로 숫자를 외울 필요는 없고, '언어와 표기에 따라 토큰 수가 달라진다'는 구조만 기억하면 충분합니다.

컨텍스트 윈도우 — 한 번에 볼 수 있는 범위

토큰을 이해하면 다음 개념이 자연스럽게 이어집니다. 언어 모델은 한 번에 처리할 수 있는 토큰 수에 상한이 있습니다. 이 상한 안에 들어가는 범위를 컨텍스트 윈도우(context window), 우리말로는 문맥 창이라고 부릅니다. 지금까지의 대화, 내가 붙여 넣은 문서, 모델이 방금 쓴 답변까지 전부 이 창 안에 들어가 있어야 모델이 참고할 수 있습니다.

비유하자면 책상 위의 작업 공간입니다. 책상이 넓을수록 많은 자료를 펼쳐 놓고 볼 수 있지만, 넓이에는 한계가 있습니다. 자료가 계속 쌓이면 가장 오래된 것부터 책상 밖으로 밀려납니다. 대화가 길어졌을 때 AI가 앞에서 정한 조건을 어기거나 '처음에 말씀드렸는데'라는 항의를 듣게 되는 상황은, 대체로 그 내용이 창 밖으로 밀려났기 때문입니다. 모델이 기억력이 나빠진 것이 아니라, 애초에 기억이라는 기능이 아니라 '지금 보이는 범위'로 동작하는 것입니다.

요금·한도 뉴스가 이 위에 서 있다

AI 서비스 관련 소식에서 반복되는 표현들을 이 두 개념으로 풀어 보면 의미가 또렷해집니다. '입력 토큰과 출력 토큰 요금이 다르다'는 것은 모델이 읽는 양과 쓰는 양을 따로 센다는 뜻입니다. '컨텍스트 윈도우가 몇 배로 늘었다'는 것은 한 번에 펼칠 수 있는 책상이 넓어졌다는 뜻이고, 그래서 긴 보고서나 책 한 권 분량을 통째로 넣고 질문할 수 있게 되었다는 이야기로 이어집니다.

다만 창이 넓어졌다고 해서 그 안의 모든 내용을 똑같이 잘 활용한다는 보장은 없습니다. 긴 입력의 중간 부분을 상대적으로 놓치는 경향이 보고된 적이 있고, 창이 넓을수록 처리 비용과 시간도 함께 늘어납니다. 그래서 '얼마나 넓은가'와 '넓은 범위를 얼마나 충실히 쓰는가'는 별개의 질문입니다. 구체적인 토큰 한도와 요금은 서비스마다 다르고 자주 바뀌므로, 숫자는 각 서비스의 공식 안내에서 확인하는 것이 정확합니다.

알고 나면 달라지는 사용 습관

이 원리는 일상적인 사용법으로 곧장 연결됩니다. 첫째, 긴 대화에서 중요한 조건은 중간중간 다시 말해 주는 것이 좋습니다. 앞에서 정한 말투나 형식을 모델이 놓치기 시작했다면, 그 조건을 한 번 더 붙여 주는 것만으로 해결되는 경우가 많습니다. 둘째, 주제가 바뀌면 새 대화를 시작하는 편이 낫습니다. 무관한 이전 내용이 창을 차지하고 있으면 도움이 되기보다 방해가 됩니다.

셋째, 긴 문서를 다룰 때는 한꺼번에 넣기보다 부분으로 나누어 처리하거나, 먼저 요약을 만들고 그 요약을 바탕으로 질문하는 방식이 안정적입니다. 넷째, 모델이 '기억한다'는 기능을 제공하더라도 그것은 별도의 저장 장치에서 필요한 내용을 다시 창 안으로 가져오는 방식인 경우가 많습니다. 그래서 이런 기능이 무엇을 어디까지 보관하는지는 개인정보 관점에서도 한 번 확인해 둘 가치가 있습니다.

• 긴 대화에서 핵심 조건은 중간에 다시 명시한다
• 주제가 바뀌면 새 대화를 연다
• 긴 문서는 나누거나 요약 → 질문의 두 단계로 처리한다
• '기억' 기능이 있다면 무엇을 보관하는지 확인한다

정리 — 숫자는 바뀌어도 구조는 남는다

토큰은 모델이 글을 세는 단위이고, 컨텍스트 윈도우는 그 단위로 잰 '한 번에 볼 수 있는 범위'입니다. 이 둘은 AI 서비스의 요금, 한도, 긴 문서 처리 능력, 그리고 대화 중 '잊어버림' 현상을 한 줄로 꿰는 개념입니다. 어떤 모델이 토큰을 몇 개까지 받는지는 앞으로도 계속 바뀌겠지만, 토큰과 창이라는 구조 자체는 언어 모델이 지금의 방식으로 동작하는 한 유지됩니다.

이 글은 특정 서비스의 한도나 요금을 비교하거나 추천하는 글이 아닙니다. 그런 정보는 빨리 낡습니다. 대신 뉴스나 요금표에서 이 단어들이 나왔을 때 '아, 읽는 양과 쓰는 양 이야기구나', '책상 넓이 이야기구나'라고 바로 번역할 수 있게 되는 것 — 그것이 이 글의 목표입니다.