컨텍스트 윈도우란? AI의 작업대 이해하기

AI와 한참 대화하다 보면 이상한 순간이 찾아옵니다.

앞에서 정한 조건을 빠뜨리고, 이미 설명한 내용을 다시 물어보고, 긴 문서에서 가장 중요한 대목을 놓칩니다. 조금 전까지 잘 따라오던 AI가 갑자기 기억을 잃은 것처럼 보여요.

이 현상을 이해하려면 AI에게도 하나의 작업대가 있다고 생각해보면 됩니다.

AI는 지금까지 배운 모든 것과 나눈 모든 대화를 한꺼번에 펼쳐놓고 답하지 않아요. 현재 작업대 위에 올라온 정보를 참고해 다음 답변을 만듭니다. 이 작업대의 범위가 바로 컨텍스트 윈도우(Context Window)예요.

컨텍스트 윈도우는 AI의 작업대예요

사람이 보고서를 쓴다고 해볼게요. 책상 위에는 요청 사항을 적은 메모, 참고 자료, 이전 회의록과 작성 중인 초안이 놓여 있습니다. 우리는 이 자료를 번갈아 보며 다음 문장을 씁니다.

AI도 비슷하게 작동해요.

AI의 작업대
├─ 지금 입력한 질문
├─ 앞서 주고받은 대화
├─ 첨부한 문서와 이미지의 내용
├─ AI에게 미리 주어진 지침
├─ 검색하거나 도구로 가져온 결과
└─ AI가 앞서 작성한 답변

AI는 이 정보를 서로 연결해 지금 가장 알맞다고 판단한 답을 만듭니다. 작업대에 여행 일정과 예산이 함께 올라와 있으면 예산에 맞는 일정을 제안할 수 있고, 회의록과 보고서 양식이 함께 있으면 회의 내용을 정해진 형식으로 정리할 수 있어요.

반대로 필요한 정보가 작업대에 없다면 AI는 그것을 답변에 제대로 반영할 수 없습니다. 내가 예전에 다른 대화에서 말했거나 내 컴퓨터 어딘가에 저장해둔 내용이라도, 현재 대화로 가져오지 않았다면 자동으로 알고 있다고 기대하기 어려워요.

작업대의 크기는 토큰으로 재요

컨텍스트 윈도우의 크기는 보통 글자 수나 페이지 수가 아니라 토큰(Token)이라는 단위로 표시합니다. 토큰은 AI가 글을 읽고 만드는 작은 조각이에요. 단어 하나가 한 토큰이 될 수도 있고, 단어가 여러 토큰으로 나뉠 수도 있습니다.

그래서 “10만 토큰을 지원한다”는 말은 정확히 10만 글자나 100페이지를 읽는다는 뜻이 아니에요. 언어, 문서 형식과 내용에 따라 같은 글자 수도 서로 다른 수의 토큰으로 나뉩니다.

중요한 점은 작업대의 자리를 내가 방금 쓴 질문만 사용하는 것이 아니라는 것입니다. 이전 대화와 첨부 자료, 각종 지침과 도구의 실행 결과도 함께 자리를 차지해요. AI가 긴 답변을 만드는 데 필요한 공간까지 고려해야 하는 모델과 서비스도 있습니다.

긴 대화
+ 첨부 문서
+ 검색 결과
+ 숨겨진 기본 지침
+ 새 질문과 답변
= 하나의 컨텍스트 윈도우

화면에는 내 질문 한 줄만 보이더라도 AI의 작업대에는 생각보다 많은 것이 올라와 있을 수 있습니다.

작업대가 꽉 차면 무슨 일이 생길까요

책상이 꽉 찼다고 해서 서류가 갑자기 반으로 잘리는 것은 아닙니다. AI 서비스는 제품에 따라 여러 방식으로 공간을 마련할 수 있어요.

• 오래된 대화 일부를 작업대에서 제외할 수 있습니다.
• 앞선 내용을 짧게 요약해 다시 올릴 수 있습니다.
• 현재 질문과 관련 있다고 판단한 부분만 골라 가져올 수 있습니다.
• 더 이상 내용을 추가하지 못하고 새 대화를 요구할 수도 있습니다.

어떤 방식을 사용하는지는 AI 제품마다 다릅니다. 사용자에게 그 과정이 전부 보이지 않는 경우도 많아요.

이때 “아까 말한 것을 잊었어요”라는 느낌이 생깁니다. 원래 문장이 작업대에서 빠졌거나, 요약되는 과정에서 세부 조건이 사라졌거나, 남아 있더라도 다른 정보 사이에 묻힐 수 있기 때문이에요.

다음과 같은 모습으로 나타납니다.

• 처음 합의한 말투나 형식을 지키지 않습니다.
• 하지 말라고 한 일을 다시 제안합니다.
• 문서 앞부분과 뒷부분을 연결하지 못합니다.
• 이미 내린 결정을 되돌리거나 같은 질문을 반복합니다.
• 여러 자료 가운데 일부만 근거로 사용합니다.

그렇다고 이런 문제가 모두 컨텍스트 윈도우 때문인 것은 아닙니다. 질문이 모호하거나 자료끼리 충돌할 때도 비슷한 답이 나올 수 있어요. 다만 대화와 자료가 길어질수록 먼저 컨텍스트 상태를 의심해볼 만합니다.

작업대가 넓으면 무조건 더 똑똑할까요

큰 컨텍스트 윈도우는 분명 유용합니다. 긴 계약서 여러 개를 비교하거나, 오랜 대화를 이어가거나, 많은 참고 자료를 한 번에 다룰 수 있으니까요.

하지만 작업대의 크기와 작업의 정확도는 같은 말이 아닙니다.

큰 책상 위에 서류를 잔뜩 쌓아두면 많은 자료를 보관할 수는 있습니다. 그렇다고 필요한 문서를 더 빨리 찾거나, 서로 충돌하는 메모 중 무엇을 따라야 할지 저절로 분명해지지는 않아요.

AI도 관련 없는 자료가 많으면 중요한 단서가 묻힐 수 있습니다. 같은 내용을 표현만 다르게 반복하거나, 오래된 지시와 새로운 지시를 함께 두면 무엇을 우선해야 하는지 판단하기 어려워질 수 있어요.

넓은 작업대 = 더 많은 정보를 올릴 수 있는 능력
정리된 작업대 = 필요한 정보를 제대로 활용할 가능성

컨텍스트 윈도우가 크다는 것은 수용량에 관한 설명입니다. 그 안의 모든 내용을 같은 비중으로 완벽하게 활용한다는 보장은 아니에요.

컨텍스트와 기억은 달라요

컨텍스트 윈도우를 AI의 기억력이라고 부르면 몇 가지가 헷갈립니다. AI가 정보를 다루는 방식은 크게 나누어 볼 필요가 있어요.

서랍에 메모가 있다고 해서 항상 작업대 위에 놓여 있는 것은 아닙니다. 검색할 수 있는 자료도 실제로 찾아 가져오기 전까지는 현재 컨텍스트가 아니에요.

반대로 컨텍스트에 들어온 정보가 모두 장기 기억으로 남는 것도 아닙니다. 지금 첨부한 문서를 AI가 이번 대화에서 참고했다고 해서, 이후의 모든 대화에서 계속 기억한다고 볼 수는 없어요.

따라서 AI가 어떤 정보를 알고 있는지 확인할 때는 이렇게 질문을 나눠보는 것이 좋습니다.

이 정보는 모델이 원래 학습한 내용인가?
현재 대화의 작업대에 올라와 있는가?
서비스의 메모리에 별도로 저장되었는가?
필요할 때 다시 검색해 가져올 수 있는가?

AI의 작업대를 잘 정리하는 방법

AI를 잘 사용한다는 것은 길고 멋진 프롬프트를 쓰는 일만 뜻하지 않습니다. 필요한 정보를 작업대에 올리고, 중요하지 않은 정보는 치우고, 무엇을 먼저 봐야 하는지 표시하는 일에 더 가까워요.

1. 목표를 먼저 올려두세요

자료부터 잔뜩 붙여넣기 전에 무엇을 하려는지 한 문장으로 알려주세요.

아래 회의록을 바탕으로
의사결정 사항과 담당자별 할 일을 정리해줘.
결정되지 않은 내용은 추측하지 말고 별도로 표시해줘.

같은 회의록도 목표가 “세 줄 요약”인지, “할 일 추출”인지, “의견 충돌 분석”인지에 따라 AI가 주목해야 할 부분이 달라집니다.

2. 필요한 자료만 올리세요

정보가 많을수록 안심되는 마음 때문에 관련 문서를 전부 첨부하기 쉽습니다. 하지만 지난해 보고서가 이번 달 실적 정리에 필요하지 않다면 빼는 편이 낫습니다.

자료를 줄이기 어렵다면 각 자료의 역할을 표시해주세요.

자료 A: 사실 확인의 기준
자료 B: 글의 형식만 참고
자료 C: 과거 사례이며 수치는 사용하지 않음

무엇을 근거로 삼고 무엇은 참고만 해야 하는지 구분하면 정보끼리 충돌할 가능성을 줄일 수 있어요.

3. 중요한 조건에는 이름을 붙이세요

반드시 지켜야 하는 조건을 본문 사이에 숨겨두지 말고 따로 모아주세요.

[반드시 지킬 조건]
- 독자는 이 분야를 처음 접하는 사람
- 전문 용어는 처음 등장할 때 설명
- 확인되지 않은 수치는 넣지 않음
- 결과는 1,000자 이내

긴 작업을 이어갈 때는 “처음 말한 대로 해줘”보다 중요한 조건을 짧게 다시 제시하는 편이 정확합니다.

4. 중간에 작업대를 정리하세요

대화가 길어졌다면 바로 다음 작업을 이어가기 전에 AI에게 현재 상태를 정리하게 해보세요.

지금까지 확정한 내용,
아직 결정하지 않은 내용,
다음 답변에서도 지켜야 할 조건을 나누어 정리해줘.

정리된 내용을 직접 확인하면 AI가 잘못 이해한 부분도 일찍 발견할 수 있습니다. 이후에는 그 요약을 바탕으로 계속 진행하거나, 새 대화를 열어 깨끗한 작업대에서 시작할 수 있어요.

5. 중요한 결과는 대화 밖에 남기세요

AI와 함께 결정한 내용을 대화 기록에만 맡기지 마세요. 최종 기획, 일정, 글의 규칙처럼 다시 사용해야 하는 정보는 문서에 따로 저장하는 편이 안전합니다.

새 대화를 시작할 때는 전체 대화를 복사하는 대신 다음 네 가지를 가져오면 됩니다.

목표
현재까지 결정한 내용
참고해야 할 자료
남은 작업

이렇게 만든 인수인계 문서는 AI뿐 아니라 사람과 협업할 때도 유용해요.

새 대화를 시작하면 더 좋아질 때가 있어요

대화가 길다는 이유만으로 항상 새로 시작할 필요는 없습니다. 앞선 시행착오와 결정이 중요한 작업이라면 같은 대화를 유지하는 편이 자연스러워요.

다만 다음과 같은 상황에서는 새 작업대를 펴는 것이 도움이 됩니다.

• 주제가 완전히 달라졌을 때
• 오래된 지시와 새로운 목표가 계속 충돌할 때
• AI가 이미 결정한 내용을 반복해서 놓칠 때
• 필요한 정보보다 시행착오와 폐기된 초안이 더 많아졌을 때
• 현재 상태를 짧은 요약으로 충분히 전달할 수 있을 때

새 대화는 모든 맥락을 버리는 일이 아닙니다. 필요한 내용만 추려 새 작업대에 옮기는 일이에요. 핵심 요약과 원본 자료를 함께 전달하면 불필요한 흔적은 줄이고 중요한 맥락은 유지할 수 있습니다.

정리

• 컨텍스트 윈도우는 AI가 현재 답변을 만들 때 참고할 수 있는 정보의 범위입니다.
• 현재 질문뿐 아니라 이전 대화, 첨부 자료, 지침과 도구 실행 결과도 같은 작업대를 사용합니다.
• 작업대가 가득 차면 오래된 내용이 제외되거나 요약되는 등 제품마다 다른 방식으로 공간을 마련할 수 있습니다.
• 큰 컨텍스트 윈도우는 더 많은 정보를 담지만, 모든 정보를 정확히 활용한다는 뜻은 아닙니다.
• 컨텍스트, 학습된 지식과 서비스의 메모리 기능은 서로 다릅니다.
• 목표와 중요한 조건을 분명히 하고, 관련 자료만 제공하며, 긴 작업은 중간 요약으로 정리하는 것이 좋습니다.

AI에게 좋은 답을 얻는 일은 무조건 많은 정보를 건네는 데서 시작하지 않습니다. 지금 필요한 자료를 작업대 위에 올리고, 무엇이 중요한지 알아볼 수 있게 정리하는 것에서 시작합니다.

Claude Code에서 작업을 나누고 /clear와 /compact로 컨텍스트를 관리하는 실제 흐름은 바이브코딩 가이드 4장에서 볼 수 있습니다.

직접 AI 챗봇을 만들고 있다면 시스템 프롬프트와 컨텍스트를 구분해 답변을 개선하는 방법에서 이 차이를 실제 챗봇에 적용하는 과정을 확인할 수 있어요.