오전에는 척척 맞추던 AI가 오후부터 아까 고친 내용을 또 틀려요. 이미 폐기한 방침을 다시 꺼내고, 블로그 글을 쓰던 말투가 어느새 딱딱한 보고서로 바뀌기도 해요.
이럴 때 우리는 먼저 프롬프트를 의심해요. 하지만 원인이 하나는 아니에요. 프롬프트가 모호했을 수도 있고, 모델 업데이트나 일시적인 서비스 상태가 영향을 줬을 수도 있어요. 대화 안에 오래된 지시와 새 지시가 함께 쌓인 상태도 점검할 후보예요.
그래서 이 글은 “긴 대화는 나쁘다”라고 단정하지 않아요. 대신 지금의 대화를 한 번 더 고칠지, 핵심 맥락만 챙겨 새 대화로 옮길지 판단할 수 있는 관찰 기준을 정리해볼게요.
핵심은 답이 마음에 드는지가 아니라, 내가 한 정정이 이 대화에 제대로 붙어 있는지를 보는 거예요.
대화가 길다고 무조건 문제가 되진 않아요
언어모델이 한 번에 다룰 수 있는 대화 입력과 출력의 범위, 즉 컨텍스트 윈도우는 유한해요. Anthropic 문서도 한계에 가까운 대화를 위한 압축·컨텍스트 편집 전략과 세션 간 복구를 위한 상태 기록 방식을 설명해요.[1]
긴 입력을 언제나 안정적으로 활용하는 것은 아니라는 연구도 있어요. Lost in the Middle 연구에서는 테스트된 모델의 성능이 관련 정보가 긴 입력의 어디에 놓였는지에 따라 달라질 수 있었어요.[2] 다만 이는 가능한 긴 맥락 활용 한계를 보여주는 근거이지, 모든 최신 모델과 모든 긴 대화가 반드시 나빠진다는 뜻은 아니에요.
특정 서비스의 현재 컨텍스트 용량, 자동 압축 시점, 요금제별 차이는 제품마다 바뀔 수 있어 여기서 하나의 숫자로 묶지 않을게요. 개별 사례의 실제 원인이 프롬프트인지, 모델이나 서비스 상태인지, 대화 상태인지도 확인이 필요해요.
그래서 토큰 수나 메시지 개수보다 내가 직접 확인할 수 있는 증상으로 판단하는 편이 실용적이에요.
신호 1. 확정한 결정이 정정 후에도 다시 무시돼요
예를 들어 “이 글은 초보자를 대상으로 하고, 전문용어는 풀어서 써줘”라고 확정했는데 답변이 다시 전문가용 보고서처럼 바뀌는 경우예요.
한 번의 누락은 단순 오류일 수 있어요. 중요한 것은 그 결정을 다시 알려준 뒤에도 같은 제약이 재차 빠지는지예요. 정정이 현재 작업 상태에 제대로 반영되는지 확인하는 기준으로 쓸 수 있어요.
창작 예시 사용자: “독자는 AI 초보자야. 이 조건은 유지해줘.” 다음 답변: 설명 없이 전문 용어와 내부 약어를 다시 사용함.
지금 할 일은 간단해요. 먼저 핵심 제약을 한 문장으로 다시 적고, 다음 답에서 반영됐는지 확인하세요.
신호 2. 끝낸 옛 지시가 다시 등장해요
초기에는 카드뉴스형으로 만들기로 했다가, 중간에 생활 장면 중심의 편집 화보로 방향을 바꿨다고 해볼게요. 그런데 다음 결과에서 폐기한 카드뉴스 구조가 다시 나타나요.
이때 “과거 맥락이 원인”이라고 바로 단정하면 안 돼요. 오래된 지시가 영향을 줬을 수도 있어요. 모델이 비슷한 오류를 새로 만들었을 가능성도 있고요. 한 번 되물어 구분하는 과정이 필요해요.
창작 예시 사용자: “아래쪽 설명 패널은 폐기했어. 실제 장면 중심으로 가자.” 다음 결과: 고정된 하단 설명 패널을 다시 제안함.
폐기한 방침을 사용하지 말 것 목록으로 짧게 다시 적어보세요. 그래도 같은 형태가 돌아온다면 새 대화를 검토할 근거가 돼요.
신호 3. 목표나 대상 독자가 다른 방향으로 흘러요
처음에는 “직장인이 바로 써먹는 실용 블로그”를 만들고 있었는데, 대화가 길어지며 어느새 개발자용 기술 문서나 광고 문구로 바뀌는 경우예요.
문장 하나가 어색한 정도와는 달라요. 글의 목적, 독자, 행동 유도가 함께 다른 방향으로 움직이는지가 핵심이에요.
창작 예시 확정 목표: “AI 초보자가 오늘 바로 적용할 체크리스트.” 현재 결과: “전문 개발팀이 시스템을 구축하는 아키텍처 가이드.”
이때는 현재 답을 다듬기 전에 목표 / 독자 / 결과물 형태 세 줄부터 다시 대조하세요.
신호 4. 맥락 수리비가 대화 이사비보다 커질 때
실용적인 마지막 기준은 시간이에요. 오래된 지시를 지우고, 새 결정을 다시 설명하고, 빠진 근거를 복구하는 데 드는 노력이 아래의 6항목 인계문(목표·결정·근거·제약·미완료·다음 행동을 각각 한 줄로 적는 메모)을 새로 쓰는 노력보다 커졌다면 옮길 시점일 수 있어요.
여기서 수리비와 이사비는 실제 비용이 아니라 작업 부담을 비교하는 비유예요. 새 대화를 열면 모든 문제가 해결된다는 뜻도 아니에요. 다만 계속된 복구가 작업 자체보다 커졌다면 더 가벼운 상태에서 다시 시작할 선택지가 생겨요.
판정 규칙: 정정 후에도 재발하면 이동을 검토하세요
아래 기준은 검증된 보편 임계치가 아니라, 멀쩡한 대화를 너무 빨리 버리지 않기 위한 운영 경험칙이에요.
- 한 번의 오류라면 먼저 짧게 재지시해요.
- 정정한 뒤에도 같은 문제가 재발하면 새 대화를 검토해요.
- 서로 다른 신호가 함께 나타나면 이동 쪽에 무게를 둬요.
이 규칙의 기준점은 횟수가 아니라 내가 명시적으로 정정했는가예요. 답이 마음에 들지 않는다는 느낌만으로 대화를 버리는 것을 줄이면서, 정정이 실제로 반영되는지 확인할 수 있어요.
물론 이 기준은 보수적이에요. 새 대화를 조금 늦게 열 수도 있어요. 대신 일관되게 잘 작동하는 대화를 습관적으로 초기화하는 낭비를 줄여요. 이 네 신호가 유일한 정답도 아니에요.
그대로 유지하는 편이 나은 경우도 있어요
과제가 아직 일관되고, 필요한 자료가 현재 대화 안에 살아 있으며, 큰 지시 충돌이 없다면 굳이 옮길 필요가 없어요. 한 번의 실수는 짧게 바로잡고 이어가는 편이 더 빠를 수 있어요.
새 대화도 만능 해결책은 아니에요. 모델 업데이트, 일시적인 서비스 상태, 내 지시의 모호성처럼 다른 원인이 남아 있을 수 있어요. 새 대화에서 같은 문제가 바로 반복된다면 대화 상태 외의 원인을 다시 확인해야 해요.
새 대화에는 이 6항목만 챙겨가세요
새 대화를 못 여는 진짜 장벽은 “지금까지 쌓은 맥락을 잃지 않을까?”라는 불안일 수 있어요. 모든 대화를 복사하는 대신, 아래 여섯 항목을 한 줄씩 정리해보세요.
1. 지금의 목표:
2. 확정된 결정:
3. 필수 근거·사실:
4. 제약 및 바꾸면 안 되는 것:
5. 미완 작업:
6. 정확한 다음 행동:새 대화 첫 메시지에 이 내용을 붙이고 “6번부터 시작해줘”라고 말하면 돼요. 특히 4번은 비우지 않는 편이 좋아요. 새 대화에서 빠지면 결과가 크게 달라질 수 있는 조건을 적는 자리거든요.
작성 예시
1. 지금의 목표: 다음 주 팀 회의용 신제품 제안서 초안을 완성한다.
2. 확정된 결정: 대상 독자는 비개발 부서 팀장, 분량은 A4 2장, 말투는 보고서체로 간다.
3. 필수 근거·사실: 사내 3분기 판매 데이터와 경쟁사 공개 가격표만 근거로 쓴다.
4. 제약 및 바꾸면 안 되는 것: 확인 못 한 수치는 쓰지 않는다. 가격은 단정하지 말고 확인 필요로 남긴다.
5. 미완 작업: 결론 문단, 예상 질문 대비표.
6. 정확한 다음 행동: 결론 문단부터 세 문장으로 써줘.프로젝트와 메모리는 이렇게 구분하세요
ChatGPT 프로젝트를 사용하는 환경이라면 관련 대화, 파일, 프로젝트 지시를 한곳에 두고 그 안에서 여러 대화를 운영할 수 있어요.[3] 이 경우 프로젝트를 버리는 것이 아니라 프로젝트 안의 작업 창만 새로 여는 방식으로 생각할 수 있어요.
모든 AI 서비스가 같은 프로젝트 구조를 제공하는 건 아니에요. 프로젝트 기능이 없는 환경이라면 위의 6항목 인계문이 그 역할을 대신해요.
메모리도 모든 세부사항이 보장되는 백업으로 보기는 어려워요. OpenAI의 Memory FAQ는 메모리가 유용한 맥락을 유지할 수 있지만 그 요약이 모든 내용을 포함하지는 않는다고 설명해요.[4] 중요한 결정과 제약은 메모리에만 맡기지 말고 인계문에 직접 적는 편이 안전해요.
대화를 버리는 게 아니라 작업 창을 갈아 끼우는 거예요
AI가 갑자기 이상해졌다고 느껴질 때 모델부터 단정하지 마세요. 먼저 네 가지를 확인해보세요.
- 정정한 결정이 다시 무시되는가?
- 폐기한 옛 지시가 다시 등장하는가?
- 목표나 독자가 다른 방향으로 흐르는가?
- 맥락을 고치는 일이 6항목을 옮기는 일보다 커졌는가?
한 번의 오류는 짧게 바로잡고, 정정 후에도 같은 문제가 재발하면 이동을 검토해요. 프로젝트 기능이 지원되는 환경이라면 프로젝트는 그대로 두고 작업 대화만 새로 열고, 그렇지 않다면 6항목 인계문으로 이어가세요.
지금 열려 있는 무거운 대화에 이 네 신호를 한번 대입해보세요. 새 대화를 연다면 4번, 바꾸면 안 되는 것부터 적어보면 돼요.
출처
- Anthropic, Context windows, 2026-08-04 KST 확인: https://docs.anthropic.com/en/docs/build-with-claude/context-windows
- Liu et al., Lost in the Middle: How Language Models Use Long Contexts, TACL 2023 / arXiv v3 2023-11-20, 2026-08-04 KST 확인: https://arxiv.org/abs/2307.03172
- OpenAI Help Center, Using projects in ChatGPT, 2026-08-04 KST 확인: https://help.openai.com/en/articles/10169521-using-projects-in-chatgpt
- OpenAI Help Center, Memory FAQ, 2026-08-04 KST 확인: https://help.openai.com/en/articles/8590148-memory-in-chatgpt-remembering-what-you-chat-about