OpenAI가 4월 21일 공개한 Codex Chronicle의 내부 코드명은 **‘telepathy’**였습니다.

Sam Altman의 원문입니다. “The internal working name for this was ‘telepathy’, and it feels like it.”

사용자가 화면에서 무엇을 하는지, 어떤 순서로 작업했는지, 어떤 컨텍스트에서 이 요청을 보냈는지 — 에이전트가 그것을 관찰하고 기억합니다. 다음 요청 때 “지난번에 말씀드렸던 거 있잖아요…”를 설명할 필요가 없어집니다.

이것이 에이전트 메모리의 다음 단계입니다. 저장에서 관찰로, 검색에서 이해로.

기억이 없으면 에이전트는 매번 새로 시작한다

에이전트를 만들 때 가장 먼저 빠지는 함정이 있습니다. 어떤 모델을 쓸지 고르는 데 집중하는 것입니다.

모델 선택보다 더 먼저 물어야 할 질문이 있습니다. 이 에이전트는 어제 한 일을 오늘도 기억하는가?

기억이 없는 에이전트는 매 세션이 첫 번째 세션입니다. 유저가 어제 설명한 컨텍스트를 오늘 또 설명해야 합니다. 에이전트가 지난달 내린 결정을 이번 달 참조할 수 없습니다. 실패에서 배울 수 없습니다. 컨텍스트를 다시 로드하는 비용이 반복됩니다.

LangChain 창업자 Harrison Chase는 이것을 단 한 줄로 정리했습니다.

“Memory is not a layer. Memory is the architecture.”

메모리를 부속 레이어로 붙이느냐, 시스템 아키텍처로 설계하느냐의 차이가 지금 에이전트 제품의 수준을 가르고 있습니다.

빅테크 두 곳이 각자 다른 층에서 같은 결론으로 왔다

4월부터 5월 사이, OpenAI와 Anthropic이 거의 동시에 메모리에 대한 정의를 바꿨습니다. 접근 방식은 달랐지만 방향은 같았습니다.

OpenAI — 관찰 메모리 (Observation Memory)

Codex Chronicle은 사용자의 화면 활동 기반으로 컨텍스트를 자동 축적합니다. 에이전트가 “당신이 한 말”이 아니라 “당신이 한 행동”을 기억합니다. 어떤 파일을 열었는지, 어떤 탭을 오갔는지, 어떤 순서로 작업했는지를 관찰합니다.

이것은 저장(storage)이 아닙니다. 관찰(observation)입니다. 에이전트가 사용자의 작업 흐름 안으로 들어온 것입니다.

Anthropic — 반영적 메모리 (Reflective Memory)

5월 8일 공개된 Anthropic의 ‘Dreaming’ 기능은 다른 층을 건드립니다. 에이전트가 이전 작업을 되돌아보고 스스로 개선하는 루프입니다. 메모리가 “저장 → 검색”에서 “관찰 → 반영 → 개선”으로 진화했습니다.

이것은 단순한 컨텍스트 유지가 아닙니다. 메모리 = 자기 개선 루프의 1차 입력이 빅테크 공식 제품 레이어로 명시된 첫 사례입니다.

Karpathy — 파일 기반 메모리의 외부 실증

4월 18일, Andrej Karpathy가 Obsidian + 마크다운 위키 실험 결과를 공유했습니다. 벡터 DB 없이, RAG 없이, 100개 아티클·40만 단어를 직독하는 Q&A가 가능했습니다. 명시적 파일 메모리만으로.

그의 결론은 간단했습니다. “메모리 아티팩트는 명시적이고 탐색 가능해야 한다. AI가 무엇을 알고 모르는지 직접 확인·관리할 수 있어야 한다.”

세 곳이 서로 다른 경로에서 같은 결론으로 왔습니다. 메모리는 기능이 아니라 설계의 문제라는 것.

”무엇을 기억할지”보다 “언제 무엇을 컨텍스트에 올릴지”가 먼저다

메모리를 많이 쌓는다고 에이전트가 좋아지지 않습니다. 오히려 잡음이 늘어납니다.

arXiv에 5월 공개된 LongSeeker 연구(2605.05191)는 장기 검색 에이전트에서 이것을 학술적으로 검증했습니다. 에이전트가 장기 작업을 수행할수록 추론·도구 호출·관찰이 누적되면서 컨텍스트 비용이 폭발합니다. 해결책은 더 큰 컨텍스트 윈도우가 아니었습니다. “선별적 컨텍스트 인덱싱” — 언제 무엇을 올리고 무엇을 내릴지의 설계였습니다.

같은 시기 UIUC·Stanford 연구팀의 RecursiveMAS는 다른 층에서 같은 문제를 건드렸습니다. 멀티 에이전트 시스템에서 에이전트끼리 자연어 대신 임베딩 벡터로 정보를 주고받게 하자 추론 속도 2.4배, 토큰 사용량 75% 절감이 나왔습니다. “사람이 읽을 자연어로 디코딩→재인코딩하는 비용”이 숨은 병목이었다는 가설이 검증됐습니다.

두 연구 모두 같은 진단으로 귀결됩니다. 컨텍스트 관리가 모델 성능보다 먼저입니다.

메모리 설계의 핵심은 “무엇을 저장할까”가 아니라 “지금 이 에이전트에게 무엇이 필요한가”를 판단하는 것입니다.

PM이 설계해야 할 메모리의 세 층

메모리를 아키텍처로 볼 때 층이 구분됩니다.

1층: 관찰 메모리

에이전트가 작업 흐름 안에서 무엇이 일어나는지를 기록합니다. Codex Chronicle의 화면 기반 컨텍스트가 이 층입니다. 사용자가 설명하지 않아도 에이전트가 맥락을 갖습니다.

이 층의 설계 질문: “에이전트가 관찰해야 할 것은 무엇이고, 관찰하면 안 되는 것은 무엇인가? 프라이버시 경계는 어디인가?”

2층: 반영 메모리

에이전트가 지난 작업의 결과를 되돌아보고 다음 작업에 반영합니다. Anthropic Dreaming이 이 층에 해당합니다. 에이전트가 “저번에 이렇게 했더니 결과가 이랬다”를 기억하고 다음에 반영합니다.

이 층의 설계 질문: “어떤 결과를 피드백 루프에 넣을 것인가? 성공만인가, 실패도인가? 인간의 검토를 거치는가?”

3층: 도메인 메모리

특정 사용자, 특정 도메인에 대한 누적 지식입니다. Karpathy의 마크다운 위키가 이 층의 가장 단순한 구현입니다. 도메인 메모리는 시간이 지날수록 강해집니다 — 그리고 관리하지 않으면 시간이 지날수록 썩습니다.

이 층의 설계 질문: “누가 이 메모리를 소유하고, 언제 정리·삭제할 것인가? 만료 규칙이 있는가?”

소유권이 없는 메모리는 잡음이 된다

세 층을 설계했다고 끝이 아닙니다.

소유권과 큐레이션 규칙이 없는 메모리는 시간이 지나면 신호가 아니라 잡음이 됩니다. 에이전트가 기억하는 것이 많아질수록, 어떤 기억을 신뢰할지 판단하는 문제가 커집니다. 오래된 기억, 이미 무효가 된 컨텍스트, 잘못된 피드백이 쌓인 반영 메모리 — 이것들을 에이전트가 계속 참조하면 품질이 일관되지 않아집니다. 틀린 방향으로 자기 개선을 합니다.

100 Agents를 운영하면서 이것을 가장 직접 느꼈습니다. 에이전트에게 메모리를 줄수록 더 잘 작동하는 게 아니라, 더 명확한 소유권 규칙이 필요했습니다.

어떤 메모리가 이 에이전트만의 것인가.
어떤 메모리를 팀이 공유하는가.
어떤 메모리는 일정 기간이 지나면 만료되는가.
어떤 메모리는 인간이 검토해야 하는가.

메모리 아키텍처의 절반은 무엇을 기억할지고, 나머지 절반은 무엇을 잊을지입니다.

지금 당장 물어봐야 할 것

에이전트 메모리는 이제 OpenAI와 Anthropic 모두 공식 제품 코어로 편입시킨 레이어입니다. 부가 기능이 아닙니다. 에이전트가 시간이 지날수록 가치를 만드는 방식 자체입니다.

지금 만들거나 운영하는 에이전트에 이 질문을 던져보십시오.

이 에이전트는 오늘 한 일을 내일도 기억하는가?

기억한다면 — 어떤 방식으로, 누가 소유하고, 언제 정리되는가.
기억하지 않는다면 — 매 세션이 첫 번째 세션인 에이전트를 운영하면서 어떤 비용을 지불하고 있는가.

당신의 에이전트는 지금 무엇을 기억하고 있나요?