AI는 나를 기억할까? 긴 채팅창이 사용 한도를 빨리 쓰는 이유

GPT, 제미나이, 클로드를 쓰다 보면 AI가 친구처럼 느껴질 때가 있습니다. 내 일을 알고, 내가 원하는 방향을 먼저 짚어 주니까요. 하지만 AI는 나를 기억하고 기다리는 존재가 아닙니다. 질문할 때마다 지금까지의 대화를 처음부터 다시 읽고 답할 뿐입니다. 이 차이를 알면 AI를 훨씬 오래, 싸게 쓸 수 있습니다.

AI는 정말 나를 기억할까?

아닙니다. 내 질문을 기다리고 있는 "나만의 AI"는 없습니다. 메시지를 보낼 때마다 AI는 그 채팅창의 이전 대화 전체를 한꺼번에 받아서 다시 읽고, 맥락을 파악한 뒤 답합니다.

클로드를 만든 Anthropic의 개발 문서도 이렇게 설명합니다(번역).

"대화가 진행되면 사용자 메시지와 AI의 답이 모두 컨텍스트 창에 쌓이고, 이전 대화는 그대로 보존된다."

여기서 컨텍스트 창은 AI가 한 번에 읽을 수 있는 분량입니다. 요즘 클로드는 최대 100만 토큰까지 읽을 수 있습니다.

그럼 다른 채팅창의 이야기는 어떻게 알까?

"메모리" 기능 덕분입니다. ChatGPT, 클로드 같은 서비스는 내가 기억하라고 한 내용이나 지난 대화에서 쓸모 있어 보이는 내용을 따로 저장해 둡니다. 그리고 새 대화를 시작할 때 그중 관련 있는 것만 골라 함께 읽습니다. 지난 대화를 전부 다시 읽는 건 아닙니다. OpenAI의 안내에 따르면, 지난 대화는 답에 도움이 될 때만 골라서 참고합니다.

그래서 AI가 나를 오래 안 것처럼 말할 수 있는 겁니다. 실제로는 기억이 아니라 저장된 메모를 다시 읽는 것에 가깝습니다.

긴 채팅창이 사용 한도를 빨리 쓰는 이유

매번 처음부터 다시 읽는다는 건, 대화가 길어질수록 읽는 양이 계속 늘어난다는 뜻입니다.

(한 번 주고받을 때 약 1,000토큰이라고 가정한 예시 계산입니다.)

이 가정대로면 한 채팅창에서 50번 묻는 동안 AI가 읽는 양은 모두 합쳐 약 127만 토큰입니다. 같은 50번을 10번씩 다섯 채팅창으로 나누면 약 28만 토큰으로 줄어듭니다. 사용 한도에 금방 걸리는 이유가 여기에 있습니다.

한도를 아끼는 두 가지 방법

1. 중간 정리: 대화가 길어지면 "지금까지 결정한 것과 남은 일을 정리해 줘"라고 시키고, 그 정리본만 남깁니다.
2. 인수인계서로 새 창 열기: "이 대화를 새 채팅창에서 이어 갈 수 있게 인수인계서를 써 줘"라고 한 뒤, 새 창에 그 인수인계서를 붙여 넣고 시작합니다. 새 창은 긴 기록 대신 짧은 인수인계서만 읽으니 훨씬 가볍습니다.

저도 실수한 적이 있습니다. 채팅창을 너무 오래 끌다가 인수인계서를 써 달라고 했더니, 이미 늦어서 그것조차 받지 못했습니다. 그 뒤로는 대화가 길어진다 싶으면 한도에 닿기 전에 미리 인수인계서부터 받아 둡니다.

요즘 AI는 길어져도 괜찮지 않나?

많이 좋아졌습니다. 6개월 전과 비교하면 긴 대화에서도 맥락을 잃는 일이 크게 줄었습니다. 특히 클로드 코드나 Codex 같은 개발용 AI는 긴 작업을 끝까지 이어 갑니다.

다만 그 비결도 결국 같은 원리입니다. 대화가 한계에 가까워지면 AI가 앞부분을 스스로 요약해서 인수인계서처럼 압축하고 계속 일합니다. Anthropic 문서는 이를 "대화의 앞부분을 자동으로 요약해 한계를 넘어 계속하게 하는 것"이라고 설명합니다. 사람이 하던 중간 정리를 AI가 대신 해 주는 셈입니다. 그러니 요약 과정에서 빠지면 안 되는 결정 사항은, 지금도 직접 정리해 두는 편이 안전합니다.

정리

• AI는 나를 기억하는 친구가 아니라, 매번 대화를 처음부터 다시 읽는 아주 빠른 독자입니다.
• 다른 대화의 내용은 저장된 메모를 골라 읽어서 압니다.
• 채팅창이 길수록 읽는 양이 늘어 한도가 빨리 찹니다. 중간 정리와 인수인계서로 새 창을 여는 습관이 가장 싸고 확실한 방법입니다.

출처

• Anthropic, Context windows
• OpenAI, Memory FAQ