컨텍스트 윈도우는 지식이 아니라 작업 기억입니다

컨텍스트 윈도우는 모델이 한 번의 생성 동안 고려할 수 있는 정보입니다. 여기에는 지시, 대화 이력, 검색된 문서, 도구 설명, 도구 결과, 토큰으로 표현된 이미지, 답변을 위해 남겨 둔 공간이 포함됩니다. 이는 모델이 학습한 지식보다 작업 기억에 가깝습니다.

이 구분은 흔한 실수를 막아 줍니다. 모델은 학습을 통해 일반 개념을 알고 있어도, 여러분의 작업에 필요한 비공개 사실은 모를 수 있습니다. 반대로 사실이 컨텍스트에 있어도 요청이 무관한 자료로 가득 차면 모델이 이를 알아차리거나 적용하지 못할 수 있습니다.

모든 토큰은 주의력을 놓고 경쟁합니다. 큰 윈도우는 애플리케이션이 더 많은 자료를 제출할 수 있게 하지만, 그 모든 자료에 대해 고른 기억이나 추론을 보장하지는 않습니다. 중요한 근거를 찾기 어려워질 수 있고, 반복된 구절은 답변을 편향시킬 수 있으며, 긴 도구 출력은 성공의 기준을 정한 지시를 밀어낼 수 있습니다.

출력에서 거꾸로 예산을 짜세요. 답변과 모델이 생성할 수 있는 추론 또는 도구 활동을 위해 충분한 공간을 먼저 확보합니다. 그런 다음 고정 지시, 현재 질문, 최근 대화 상태, 뒷받침 근거에 공간을 배분하세요. 남는 용량이 있다는 이유만으로 채우지 마세요.

신호가 강한 컨텍스트를 우선하세요. 문서 질문에는 제목, 날짜, 출처 식별자와 함께 관련 구절을 넣으세요. 코딩 작업에는 저장소 전체보다 인터페이스, 테스트, 오류 출력, 인접 구현을 넣는 편이 낫습니다. 에이전트에는 가능한 모든 자료를 미리 적재하는 대신 필요할 때 열어볼 수 있는 가벼운 참조를 제공하세요.

긴 대화에는 명시적인 상태 전략이 필요합니다. 압축은 이전 작업을 더 작은 산출물로 요약합니다. 구조화된 메모는 결정, 제약, 열린 질문, 완료된 단계를 즉시 대화 기록 밖에 보존합니다. 검색은 다음 행동에 필요한 것만 다시 가져옵니다. 이 방식들은 원문 그대로의 이력과 지속적인 일관성 사이를 교환합니다.

압축 과정에서 세부 사항이 사라질 수 있으므로, 요약은 지속되는 사실과 임시 관찰을 구분해야 합니다. 정확한 식별자, 경로, 결정, 근거 링크, 미해결 위험을 기록하세요. 테스트, 명세, 데이터, 최종 결과처럼 중요한 산출물은 대화 요약이 재현해 주길 기대하지 말고 원래 형식으로 보관하세요.

프롬프트 캐싱은 반복되는 접두사의 비용이나 지연 시간을 줄일 수 있지만, 캐시된 토큰도 여전히 컨텍스트 윈도우를 차지합니다. 캐싱은 반복 입력의 처리 방식이나 과금 방식을 바꿀 뿐, 윈도우를 무한한 기억으로 바꾸지는 않습니다.

도구 사용도 또 다른 압박을 더합니다. 스키마, 결과, 스크린샷, 중간 추론은 모두 용량을 소비합니다. 플랫폼이 지원한다면 오래된 도구 결과를 지우고, 큰 출력을 요약하며, 원시 근거를 가리키는 포인터는 남기세요. 유용한 에이전트라면 모든 바이트를 계속 들고 다니지 않고도 출처를 다시 열 수 있어야 합니다.

현실적인 긴 입력으로 컨텍스트 설계를 평가하세요. 중요한 사실을 여러 위치에 배치하고, 그럴듯한 방해 요소를 추가하며, 여러 도구 호출 뒤의 후속 질문을 시험하세요. 모델이 사실을 인용할 수 있는지만이 아니라, 올바른 버전을 적용하고 올바른 출처를 인용하는지도 측정해야 합니다.

최선의 컨텍스트는 최대 컨텍스트가 아닙니다. 목표, 제약, 근거, 다음 결정을 보존하는 가장 작은 현재 작업 집합입니다. 더 큰 윈도우는 가능한 범위를 넓히지만, 무엇이 신뢰성 있게 남는지는 세심한 컨텍스트 엔지니어링이 결정합니다.

도구 디렉터리 둘러보기 →