Lessons from Studying Every Memory System

메타데이터

• 원문 제목: Lessons from Studying Every Memory System
• 채널: aiDotEngineer
• 발표자: Shlok Khemani (Independent)
• 영상 URL: https://www.youtube.com/watch?v=5ZGyKWjQDr0
• 영상 ID: 5ZGyKWjQDr0
• 정리 날짜: 2026-08-13
• 주제: 소비자용 AI(Consumer AI)에서 개인화(Personalization)를 구현하는 메모리 시스템의 진화와 설계 원칙
• 자막 기준: 영어 자동 생성 자막을 바탕으로 한국어로 정리함. 제품명·고유명사·기술 용어는 원문을 병기함.

---

📌 핵심 질문 / 이 영상이 다루는 핵심 논점

==AI의 메모리는 하나의 정답 아키텍처가 있는 기능이 아니라, 제품·사용자 경험·가용 컴퓨트에 맞춰 함께 설계하고 계속 진화시켜야 하는 제품의 핵심 계층이다.==

• ChatGPT와 Claude는 비슷한 대화형 제품이지만 서로 다른 경로로 진화했고, 결국 실행 프로필(running profile)과 과거 대화 검색 도구를 모두 갖추는 방향으로 수렴했다.
• 단순한 RAG(Retrieval-Augmented Generation), 즉 대화를 잘게 나눠 임베딩하고 벡터 검색하는 방식만으로는 실제 개인화 메모리의 문제를 설명할 수 없다.
• 메모리의 품질은 프로필을 갱신하는 유지 비용과 모든 대화에 프로필을 넣어 제공하는 서빙 비용 사이의 컴퓨트 트레이드오프에 좌우된다.
• 현재의 더 근본적인 한계는 메모리에 저장된 정보의 양이 아니라, AI가 사용자의 이메일·캘린더·사진·대면 대화 같은 풍부한 맥락을 얼마나 모으고 서로 모순되는 정보를 알아차리며 연결하는가에 있다.

발표자는 지난 1년 동안 ChatGPT, Claude, Gemini, Poke 같은 제품의 메모리 구현을 역설계(reverse engineer)하고 여러 도메인의 팀들과 메모리 설계를 함께했다. 이 강연은 메모리가 2023년의 단일 대화 스레드 맥락 유지에서 2025~2026년의 사용자 프로필·과거 대화 검색·비동기 프로필 합성으로 어떻게 변했는지를 시간순으로 추적한 뒤, 이 진화에서 얻은 네 가지 교훈과 아직 풀리지 않은 제품 문제를 제시한다.

---

1. 강연의 범위와 문제 정의

메모리(memory)는 너무 많은 것을 가리키는 과부하된 용어이므로, 이 강연에서는 소비자용 AI 애플리케이션의 개인화라는 좁은 의미로 사용한다.

1.1. 발표자의 연구 범위

1. 연구 대상 제품

   1. 발표자는 ChatGPT, Claude, Gemini, Poke 같은 제품이 사용자의 정보를 어떻게 보존하고 다음 대화에 반영하는지 지난 1년 동안 역설계했다.
   2. 이후 여러 도메인의 팀과 함께 각 제품에 맞는 메모리 시스템을 설계했다.

2. 강연의 두 부분

   1. 1부에서는 이 업계의 ‘고대’, 즉 발표자가 업계의 고대사라고 부른 2023년부터 약 3년 동안 ChatGPT와 Claude를 중심으로 메모리가 진화한 과정을 본다.
   2. 2부에서는 그 진화에서 얻은 교훈, 발표자의 개인적인 ‘rant(불만 섞인 문제 제기)’, 그리고 앞으로 메모리가 어디로 갈지 논의한다.

1.2. ‘메모리’의 의미를 개인화로 한정하기

1. 과부하된 용어

   1. 발표자가 강연 전 이틀 동안 여러 사람과 이야기하며 깨달은 점은, 이제 메모리라는 단어가 매우 과부하되어 있다는 것이다.
   2. 메모리는 여러 종류의 시스템과 동작을 뜻할 수 있으므로, 여기서는 모델 가중치의 장기 학습이나 일반적인 저장장치가 아니라 개인화에 초점을 맞춘다.

2. 강연의 기준 질문

   1. 어떤 정보가 사용자에 대해 계속 유지되어야 하는가?
   2. 새 대화를 시작했을 때 그 정보는 자동으로 어떻게 활용되어야 하는가?
   3. 사용자가 직접 관리해야 하는가, 모델이 백그라운드에서 관리해야 하는가?

---

2. 메모리의 진화: ChatGPT와 Claude의 3년

두 제품은 같은 대화형 인터페이스를 공유하지만, 메모리 아키텍처는 서로 다른 방식으로 출발했고 서로 다른 비용·가시성·수정 가능성의 선택을 했다.

2.1. 2023년: 스레드 안에서만 유지되는 맥락

1. ChatGPT와 GPT-4 직후의 상태

   1. GPT-4 출시 직후인 2023년의 ChatGPT에서는 한 스레드 안에서 여러 차례 주고받는 대화의 맥락은 유지됐다.
   2. 그러나 새 대화를 시작하는 순간 이전 스레드의 내용은 아무것도 넘어오지 않았다.

2. 초기 사용자에게는 큰 문제가 아니었던 이유

   1. 초기 도입자들에게는 GPT-4 자체가 워낙 뛰어난 모델이었기 때문에, 이전 맥락이 필요하면 직접 복사해 새 대화에 넣으면 됐다.
   2. 즉, 모델의 능력이 새 대화를 만들 때 발생하는 번거로움을 어느 정도 상쇄했고, 명시적인 장기 메모리에 대한 요구가 아직 널리 드러나지 않았다.

3. 대중화가 만든 메모리 요구

   1. ChatGPT 사용자가 늘고 일반 사용자가 학습, 요리, 동반자(companion) 같은 용도로 쓰기 시작하면서 대화 사이에 정보를 이어갈 필요가 분명해졌다.
   2. 사용자는 매번 자신이 채식주의자라는 사실이나 이전에 어떤 목표를 세웠는지를 다시 설명하고 싶어 하지 않으므로, 스레드 경계를 넘는 메모리가 제품의 핵심 요구가 됐다.

2.2. 2024년 2월: ChatGPT 메모리 V1 — 사실 목록(fact list)

1. 명시적인 기억 요청과 사실 추출

   1. 사용자는 “나 채식주의자라는 것을 기억해줘”라고 직접 요청할 수 있었다.
   2. ChatGPT는 이 문장에서 사용자가 채식주의자라는 사실을 추출해 메모리 목록에 저장했다.
   3. 이 메모리 목록은 이후 모든 대화의 컨텍스트 윈도우(context window)에 추가됐다.

2. 사용자에게 제공된 관리 인터페이스

   1. 사용자는 설정 화면에서 생성된 메모리 목록을 볼 수 있었다.
   2. 더 이상 맞지 않는다고 생각한 항목은 직접 삭제할 수 있었다.
   3. 당시 업계 최초의 진지한 메모리 구현이라는 점에서 발표자는 전반적으로 꽤 괜찮은 첫 시도라고 평가한다.

3. 첫 번째 근본적 결함: 사용자에게 전가된 관리 부담

   1. 사용자는 대화를 자연스럽게 이어가려는 중에도 매번 메모리가 생성되는 것을 보게 됐다.
   2. 그 결과 사용자는 대화만 하는 사람이 아니라 메모리를 생성하고 관리하는 사람처럼 느끼게 됐다.
   3. 즉, 메모리 관리의 부담이 제품이 아니라 사용자에게 떨어졌다. 개인화가 편리함을 제공해야 하는데 오히려 사용자의 운영 업무를 늘린 셈이다.

4. 두 번째 근본적 결함: 시간에 따른 낡음(staleness)

   1. 메모리 목록의 사실은 생성 시점에는 맞았을 수 있지만, 시간이 지나도 자동으로 갱신되지는 않았다.
   2. 발표자의 목록에는 “Shlok이 Bengaluru(벵갈루루)에 간다”는 항목이 있었지만, 발표 시점의 그는 샌프란시스코(SF)에 있었고 벵갈루루에 갈 예정도 아니었다.
   3. 그럼에도 오래된 사실은 오늘도 매 대화의 컨텍스트 윈도우에 계속 들어갔다.
   4. 따라서 명시적인 사실 목록은 기억을 만들고 지우는 인터페이스는 제공했지만, 사실이 현재도 유효한지 판단하는 시간적 관리에는 실패했다.

2.3. 2025년 4월: ChatGPT 메모리 V2 — 사용자 지식 메모리와 실행 프로필

1. 사실 목록에서 지속적으로 합성되는 프로필로 전환

   1. 1년 조금 뒤인 2025년 4월 ChatGPT는 더 정교한 V2를 출시했다.
   2. 가장 중요한 추가 기능은 ‘user knowledge memories’였고, 발표자는 강연에서 이를 ‘running profile(실행 프로필)’이라고 부르기로 한다.
   3. 실행 프로필은 ChatGPT가 며칠에 한 번씩 사용자가 나눈 모든 대화를 훑고, 사용자에 대해 알아야 할 중요 정보를 추출한 다음, 사용자 프로필을 갱신하는 방식이다.

2. 비동기 갱신과 ‘dreaming’

   1. 사용자가 매 대화 중 메모리 생성을 감독하는 대신, 프로필 갱신은 백그라운드에서 비동기적으로 일어난다.
   2. 커뮤니티의 일부가 이 프로세스를 ‘dreaming(꿈꾸기)’이라고 불렀고, 발표자는 전날 Lance Martin의 강연에서 이 주제를 다뤘다고 언급한다.
   3. 새 대화를 실시간으로 방해하지 않고, 일정한 주기로 새로운 대화를 반영한 프로필을 만든 뒤, 갱신된 프로필을 다음 모든 대화의 컨텍스트에 넣는다.

3. 밀도 높은 키워드·단서 중심의 표현

   1. 발표자가 공개한 실행 프로필의 발췌문을 보면 메모리 하나에 매우 많은 맥락이 압축되어 있다.
   2. ChatGPT는 하나의 메모리 안에 가능한 한 많은 정보를 담기 위해 문장 전체보다 키워드와 단서(clue)에 가까운 표현을 사용한다.
   3. 최첨단 LLM은 제한된 정보만으로도 맥락을 추론하는 능력이 뛰어나므로, 대화 중 이 단서들을 현재 이야기와 연결해 의미를 복원한다.
   4. 이 방식은 저장량을 줄이면서도 모델의 추론 능력을 이용해 풍부한 개인 맥락을 재구성하려는 전략이다.

4. 프로필의 규모와 구성

   1. 발표자가 보여준 발췌문은 전체 프로필의 16개 섹션 중 단 두 개에 불과하다.
   2. 다른 섹션에는 발표자의 개인적인 삶과 현재 작업 중인 일 등이 들어간다.
   3. 전체 프로필은 거의 4,000토큰에 이른다.
   4. V1처럼 사용자가 메모리 생성·삭제를 매번 직접 담당하지 않아도 되므로, V2는 ‘사용자에게 전가된 관리 부담’이라는 첫 번째 결함을 완화했다.

5. 여전히 남은 낡음 문제: 태국과 튀르키예 사례

   1. 발표자는 프로필의 한 항목이 2025년에 여행한 장소를 다룬다고 설명한다.
   2. 프로필에는 태국(Thailand)과 튀르키예(Turkey)가 모두 2025년에 여행한 곳처럼 표시되어 있었는데, 실제로는 두 나라 중 어디로 갈지 ChatGPT와 대화하며 고민한 기록이 섞여 날짜가 겹친 것이다.
   3. 실제 결정은 태국으로 갔고 튀르키예에는 가본 적이 없지만, ChatGPT는 여전히 발표자가 2025년에 튀르키예에 갔다고 기록한다.
   4. 즉, 프로필이 과거 대화 전체를 주기적으로 합성해도 ‘논의한 후보’와 ‘실제로 실행한 사실’을 구분하지 못하면 V2의 낡음·오인 문제는 완전히 사라지지 않는다.

6. 원본 프로필의 비가시성과 우회 방법

   1. V1과 달리 설정 화면에서 사용자가 원본(raw) 실행 프로필을 직접 볼 수는 없었다.
   2. 발표자가 자신의 프로필을 볼 수 있었던 이유는 ChatGPT에 원본 프로필을 출력하도록 유도하는 프롬프트를 사용했기 때문이다.
   3. 이 프롬프트는 일종의 jailbreak로 잘 작동하지만 한 번에 되지 않을 수 있어 여러 번 시도하고 서로 다른 thinking mode를 사용해야 한다.
   4. 발표자는 이를 “충분히 능숙하면 결국 받을 수 있다(pro enough and you shall receive)”는 식으로 농담했다.

2.4. 2025년 8월: Claude 메모리 V1 — 프로필 없는 온디맨드 검색

1. 비슷한 제품에서 나온 다른 출발점

   1. Claude는 ChatGPT와 매우 비슷한 애플리케이션처럼 보인다. 채팅 상자, 대화 주고받기, 이전 대화 목록, 새 대화 시작이라는 구조가 같다.
   2. 따라서 발표자는 Claude를 연구하기 전, 두 제품의 메모리 시스템도 비슷할 것이라고 예상했다.
   3. 그러나 Claude V1은 전혀 같은 방식이 아니었다.

2. 두 개의 검색 도구

   1. Claude에는 사용자 프로필도, 사실 목록도 없었다.
   2. 대신 과거 대화를 키워드나 주제로 검색하는 도구가 있었다.
   3. 또 다른 도구는 기간으로 대화를 검색했다. 예를 들어 “지난주에 무엇을 논의했나?” 또는 “2025년 11월 초에 무엇을 이야기했나?” 같은 질문을 처리할 수 있었다.
   4. 따라서 매 대화는 사용자에 대한 사전 맥락 없이 새로 시작하고, 모델이 필요하다고 판단할 때만 도구를 호출해 과거 맥락을 가져왔다.

3. ChatGPT와 정반대라는 관찰

   1. 발표자는 2025년 9월 11일 “Claude의 메모리 아키텍처는 ChatGPT의 반대”라는 글을 공개했다.
   2. 이 글은 Hacker News 첫 화면에 올라갔다.
   3. 그런데 바로 그날 Claude가 V2 메모리를 출시하면서, 양자의 대비는 곧 다음 단계의 비교로 넘어갔다.

2.5. 2025년 9월: Claude 메모리 V2 — 작고 보이며 수정 가능한 프로필

1. 실행 프로필을 도입했지만 ChatGPT와 다르게 설계

   1. Claude V2는 ChatGPT와 유사한 실행 프로필을 추가했다.
   2. 하지만 프로필의 가시성, 크기, 표현 방식, 갱신 주기, 사용자 수정 방식에서 차이를 뒀다.

2. 사용자에게 보이는 프로필

   1. Claude는 설정에서 원본 프로필을 사용자가 직접 볼 수 있게 했다.
   2. ChatGPT V2가 원본 프로필을 숨긴 것과 대비되는 선택이다.
   3. 사용자는 AI가 자신에 대해 무엇을 알고 있다고 저장했는지를 확인할 수 있으므로 오해와 오류를 발견할 가능성이 높아진다.

3. 1,000토큰과 완전한 문장

   1. Claude 프로필은 약 1,000토큰으로, ChatGPT 프로필의 거의 4,000토큰보다 훨씬 작다.
   2. ChatGPT가 키워드와 단서를 조밀하게 넣는 방식이라면, Claude는 상대적으로 덜 조밀한 완전한 문장으로 기록한다.
   3. 즉, Claude는 더 작은 저장량과 읽기 쉬운 표현을 택하고, ChatGPT는 더 많은 압축 맥락과 LLM의 추론 능력을 택한다.

4. 24시간 갱신과 명시적 사용자 편집

   1. Claude의 프로필은 24시간마다 갱신된다. ChatGPT는 며칠에 한 번 갱신한다.
   2. Claude에서는 사용자가 프로필에 특정 수정을 요청할 수 있고, 그 요청이 프로필의 재합성(re-synthesis)으로 이어진다.
   3. 이전 편집 요청을 관리하는 인터페이스도 있으며, 더 이상 사실이 아닌 항목을 삭제할 수 있다.
   4. 발표자에 따르면 이 구조가 2025년 9월 이후 현재까지 Claude 메모리의 기본 방식이며, 그 뒤 핵심 구조는 바뀌지 않았다.

2.6. 2026년 ChatGPT의 두 가지 추가 변화

1. 과거 대화 검색 도구의 추가

   1. ChatGPT는 Claude V1에서 보았던 것과 유사하게 과거 대화를 살펴보는 도구를 추가했다.
   2. 모델은 자체 쿼리를 만들어 과거 대화에서 요약된 맥락을 검색해 현재 대화에 가져올 수 있다.
   3. 기존의 항상 주입되는 실행 프로필과 필요할 때 호출하는 검색을 결합한 형태다.

2. 프로필의 부분적 가시화와 V1 사실 목록 폐기

   1. 강연 시점 기준 한 달 전, 즉 6월 초 ChatGPT는 사용자 프로필을 어느 정도 볼 수 있게 했다.
   2. 사용자가 보는 것은 원본 프로필 그 자체가 아니라 LLM이 생성한 프로필 요약이다.
   3. 그런데 원래 프로필도 이미 대화를 LLM이 요약한 결과이므로, ‘LLM이 만든 요약을 다시 LLM이 요약한다’는 혼란스러운 구조가 된다. 발표자는 이 변화에 대해 글을 썼으며, 그래도 어떤 의미에서는 프로필이 공개됐다고 본다.
   4. 사용자는 프로필에 대한 명시적 편집도 요청할 수 있다.
   5. 이 업데이트와 함께 ChatGPT는 V1의 사실 목록을 메모리 시스템에서 폐기(deprecate)했다.

3. 세 방향의 수렴

   1. 약 3년 동안 각자 독립적으로 진화한 ChatGPT와 Claude는 이제 모두 실행 프로필을 갖게 됐다.
   2. 양쪽 모두 과거 대화를 살펴볼 수 있는 도구를 갖게 됐다.
   3. 프로필은 어느 정도 사용자에게 보이고 수정 가능해지는 방향으로 움직였다.
   4. 출발점은 달랐지만, ‘항상 활용되는 요약 프로필 + 필요할 때 검색하는 과거 맥락’이라는 일반적 구성으로 수렴한 것이다.

---

3. 교훈 1 — 메모리에는 단 하나의 정답 아키텍처가 없다

메모리를 RAG 하나로 환원하는 관점은 실제 제품의 진화를 설명하지 못하며, 제품의 목적과 운영 환경에 맞춘 내부 설계가 필요하다.

3.1. RAG 만능론에서 벗어나기

1. 업계의 초기 가정

   1. 얼마 전까지만 해도 발표자를 포함한 많은 사람이 메모리의 정석은 RAG라고 생각했다.
   2. 전형적인 설계는 대화를 여러 조각으로 나누고(chunking), 각 조각의 임베딩을 생성해 벡터 저장소에 넣은 다음, 사용자의 새 쿼리가 들어오면 의미 검색(semantic search)으로 관련 조각을 꺼내는 방식이다.

2. 실제 상용 제품의 선택

   1. ChatGPT와 Claude는 이 단순한 RAG 설계를 그대로 핵심 메모리로 사용하지 않는다.
   2. 두 제품은 서로 독립적으로 다른 접근을 발전시켰으며, 결과적으로 넓은 수준의 아키텍처는 비슷해졌지만 구체적인 구현 세부사항은 여전히 매우 다르다.
   3. 프로필을 언제 갱신할지, 얼마만큼 압축할지, 검색을 언제 호출할지, 사용자에게 어떤 편집권을 줄지는 제품마다 달라진다.

3.2. 제품별·에이전트별 구현의 다양성

1. Gemini의 시간 정보

   1. Gemini 역시 실행 프로필을 갖고 있다.
   2. 다만 각 메모리에 생성 시점과 마지막 갱신 시점 같은 상세한 timing log가 붙는다.
   3. 이 메타데이터는 사실이 언제 생겼고 언제 바뀌었는지를 추적하는 기반이 될 수 있어, 시간에 따른 낡음 문제를 다루는 방식도 ChatGPT·Claude와 다르다.

2. 에이전트 시스템의 다른 재료

   1. Claude Code, OpenClaw, Hermes 같은 에이전트는 소비자 챗봇과 다른 형태의 메모리 시스템을 쓴다.
   2. 예로 Markdown 파일, heartbeat, 지식 베이스(knowledge base), skill이 있다.
   3. 이 시스템들은 대화형 프로필 하나에 모든 것을 압축하기보다, 파일·주기적 실행·검색 가능한 지식·행동 규칙을 조합한다.

3. 일반화할 수 없는 이유

   1. 메모리는 저장 방식 하나가 아니라, 어떤 정보를 기억할지 결정하고, 정보를 최신 상태로 유지하고, 현재 작업에 적합한 맥락만 불러오고, 사용자에게 오류를 수정할 권한을 주는 전체 제품 기능이다.
   2. 따라서 ‘벡터 DB를 붙이면 메모리가 된다’는 식의 단일 레시피로는 제품 경험과 비용, 신뢰 문제를 함께 해결할 수 없다.

3.3. 메모리를 외주화할 수 없는 이유

1. 제품과 함께 만들어야 하는 핵심 기능

   1. 진지한 팀이라면 메모리를 외부 업체에 통째로 아웃소싱해서는 안 된다.
   2. 메모리는 제품과 함께 구축해야 하며, 제품의 사용 방식과 목표가 바뀔 때 같이 진화해야 한다.
   3. 출시 후 나중에 붙이는 부가 기능이나 애프터thought가 아니라, 제품 경험의 기본 계층으로 설계해야 한다.

2. 시장에 이미 나타난 증거

   1. 오늘날 여러 카테고리의 상위 소비자 제품을 살펴보면 대부분 어떤 형태로든 메모리를 가지고 있다.
   2. 그러나 이들 중 어느 제품도 메모리를 외주화하지 않는다.
   3. 모두 자사 제품의 동작과 사용자 경험에 맞춰 메모리를 내부에서 구축한다.

---

4. 교훈 2 — 메모리는 컴퓨트의 함수다

메모리의 설계 품질은 추상적인 알고리즘만으로 결정되지 않는다. 프로필을 갱신하는 컴퓨트와 매 대화마다 프로필을 제공하는 컴퓨트 사이에서 제품이 선택하는 비용 구조가 설계를 규정한다.

4.1. 실행 프로필의 두 종류 비용

1. 유지 비용(maintenance cost)

   1. 프로필을 얼마나 자주 업데이트하는지가 비용을 결정한다.
   2. 한 번의 업데이트에 얼마나 많은 컴퓨트를 적용하는지도 비용을 결정한다.
   3. 대화를 평가하고 중요한 사실을 추출하고 기존 프로필을 재합성하는 모델 호출이 많고 무거울수록 유지 비용이 커진다.

2. 서빙 비용(serving cost)

   1. 실행 프로필은 매번 새로운 대화를 시작할 때 컨텍스트 윈도우에 들어간다.
   2. 프로필이 길수록 모든 대화에 반복해서 전달해야 하는 토큰이 많아진다.
   3. 따라서 프로필이 길어질수록 serving cost가 커진다.

3. 두 비용의 상충

   1. 프로필을 자주 갱신하면 최신 정보가 될 가능성은 높지만 유지 비용이 올라간다.
   2. 프로필을 길게 만들면 더 많은 맥락을 담을 수 있지만 모든 대화의 서빙 비용이 커진다.
   3. 이 두 비용 사이에서 무엇을 우선할지는 GPU와 모델 호출 예산에 달려 있다.

4.2. 제약이 없다면 가능한 이상형

1. 더 빈번한 업데이트

   1. 아무런 제약이 없다면 프로필을 한 시간마다 업데이트하고 싶을 수 있다.
   2. 더 극단적으로는 모든 대화가 끝난 직후마다 업데이트하고 싶을 수도 있다.

2. 더 무거운 업데이트 모델

   1. 발표자는 업데이트 자체를 위해 ‘Fable’이라는 이름으로 들린 실행 주체에 여러 Opus 서브에이전트를 투입하는 상상을 제시한다.
   2. 이런 구조라면 대화의 의미를 여러 번 검토하고, 사실의 중요도와 최신성, 모순 여부를 더 정교하게 판단할 수 있다.

3. 더 긴 프로필

   1. 왜 4,000토큰에서 멈춰야 하는가라는 질문도 가능하다.
   2. 제약이 없다면 400,000토큰까지 늘려 사용자에 대해 알고 싶은 모든 것을 저장할 수도 있다.
   3. 이는 더 풍부한 개인화의 가능성을 보여주지만, 실제 서비스에서는 유지·서빙 비용과 지연시간이 감당할 수 없게 된다.

4.3. GPU 제약이 만든 서로 다른 트레이드오프

1. 현실의 제약

   1. 우리는 GPU가 제한된 세계에 살고 있으므로 이상적인 무제한 메모리 시스템을 그대로 만들 수 없다.
   2. 실제 제품은 최신성·풍부함·업데이트 빈도·응답 비용 사이에서 선택해야 한다.

2. ChatGPT의 선택

   1. ChatGPT 실행 프로필은 약 4,000토큰으로 길다.
   2. 업데이트는 며칠에 한 번 일어난다.
   3. 결과적으로 유지·업데이트 비용은 낮추고, 매 대화에 긴 프로필을 넣는 서빙 비용은 상대적으로 높이는 선택이다.

3. Claude의 선택

   1. Claude 프로필은 약 1,000토큰으로 짧다.
   2. 대신 24시간마다 업데이트한다.
   3. 즉, 매번 제공하는 프로필의 서빙 비용은 낮추고 더 빈번한 업데이트에 유지 비용을 쓰는, ChatGPT와 정반대의 트레이드오프다.

4. 핵심 의미

   1. “메모리는 컴퓨트의 함수”라는 말은 메모리 정책이 순수한 정보 설계가 아니라 모델 호출 예산과 GPU 가용성의 함수라는 뜻이다.
   2. 프로필의 토큰 수와 갱신 주기는 임의의 UX 숫자가 아니라 유지 비용과 서빙 비용을 함께 최적화한 결과다.

---

5. 교훈 3 — 지속적 학습(Continual Learning)은 이미 시작됐다

실행 프로필을 사용자 대화 밖에서 계속 갱신하는 루프는 모델 가중치를 바꾸지 않더라도 기능적으로는 지속적 학습의 한 형태다.

5.1. 실행 프로필에서 관찰되는 학습 루프

1. 초기 사용자 지식

   1. 실행 프로필은 처음부터 모델이 사용자에 대해 알고 있는 일부 정보로 시작한다.
   2. 이 프로필이 모든 대화에 적용되며, 모델은 프로필을 현재 대화의 출발점으로 사용한다.

2. 대화가 가져오는 새 정보

   1. 각각의 대화는 사용자에 대한 새로운 정보, 선호, 계획, 행동, 수정 사항을 가져온다.
   2. 새 정보는 기존 프로필과 함께 처리되어, 다음 프로필에 반영할 후보가 된다.

3. 스트리밍 합성 및 반복

   1. 백그라운드의 프로필 합성 과정은 새 정보를 기존 프로필에 다시 통합한다.
   2. 갱신된 프로필은 이후 대화의 입력이 된다.
   3. 이 과정이 계속 반복되면서 시스템은 사용자에 대한 내부 표현을 지속적으로 변화시킨다.

5.2. 가중치 밖에서 일어나는 지속적 학습

1. 현재의 경계

   1. 이 학습 루프는 모델의 가중치(weights)를 업데이트하지 않고 가중치 바깥에서 일어난다.
   2. 프로필 또는 검색 가능한 메모리 저장소가 개인별 학습 상태를 담는 외부 계층이 된다.

2. 가중치 안으로 들어갈 가능성

   1. 소비자 AI에서 중요한 질문은 이 과정이 언젠가 모델 가중치 안으로 들어갈 수 있는가이다.
   2. 가중치를 업데이트하고 모델을 다시 훈련하는 일은 비싼 과정이므로, 오늘날의 실행 프로필은 비용을 줄이면서 지속적인 적응을 제공하는 현실적인 우회로다.

3. 기업과 개인의 경제성 차이

   1. 기업 수준에서는 여러 직원과 여러 고객에게 모델 비용을 분산(amortize)할 수 있으므로 지속적 학습의 비용을 정당화하기가 상대적으로 쉽다.
   2. 개인 사용자 한 명을 위해 매번 가중치를 업데이트하는 경우에는 비용을 분산할 대상이 없으므로 경제성이 훨씬 어렵다.

5.3. 아직 답하지 못한 질문

1. 개인별 자기 학습 모델

   1. 우리 각자가 자기 자신을 학습하는 모델을 하나씩 갖게 될 것인가?
   2. 모델이 한 사용자의 삶을 장기간 반영한다면, 그것은 현재의 프로필을 넘어 개인 전용 모델이 될 수 있는가?

2. 학습을 시작할 데이터

   1. 개인 수준의 지속적 학습을 시작하려면 어떤 데이터가 필요한가?
   2. 모델이 그 데이터를 어떻게 생성하고, 어떤 신호를 믿을 만한 학습 재료로 판별할 것인가?

3. 비용 부담 주체

   1. 이 지속적인 업데이트와 추론 비용을 누가 지불할 것인가?
   2. 사용자가 구독료로 부담할지, 제품이 경제성을 확보할지, 기업용·개인용 비용 구조가 달라질지는 아직 열려 있다.

4. 추가로 읽을 자료

   1. 발표자는 Guan이 쓴 “Guardian Angels” 에세이가 이 주제를 매우 자세히 다룬다고 소개한다.
   2. ‘한 사람당 하나의 모델(one model per person)’이 어떤 미래를 만들 수 있는지 관심 있는 사람에게 읽어볼 만한 자료로 권한다.

---

6. 발표자의 rant — 진짜 병목은 거대한 컨텍스트 문제다

아무리 정교한 메모리 아키텍처와 많은 컴퓨트를 투입해도, AI가 실제로 수집하고 연결할 수 있는 사용자 맥락의 범위가 좁다면 개인화는 제한된다.

6.1. 무한한 메모리도 해결하지 못하는 한계

1. 가상의 완벽한 시스템

   1. 세계 최고의 메모리 아키텍처를 만들고, 무한한 양의 컴퓨트를 투입할 수 있다고 가정한다.
   2. 개인 수준의 지속적 학습이 작동해 사용자가 가져오는 모든 데이터 포인트가 모델 가중치에 완벽하게 통합된다고 가정한다.

2. 그래도 남는 병목

   1. 그런 시스템조차 사용자의 맥락을 얼마나 모을 수 있는가에 의해 제한된다.
   2. 메모리가 정확한 정보의 저장 문제가 아니라, 사용자의 실제 삶에서 발생하는 모든 관련 신호를 보고 연결하는 맥락 수집 문제이기 때문이다.

6.2. 태국·튀르키예 사례로 본 맥락의 불완전성

1. ChatGPT에 존재하는 두 개의 소스 대화

   1. 발표자는 2025년 여름 여행지로 태국과 튀르키예 중 어느 곳을 갈지 결정하려고 ChatGPT와 두 대화를 나눴다.
   2. 두 대화 모두 당시에는 유효한 선택지를 담고 있었지만, 대화 기록만 보면 최종 결정을 확인하기 어려웠다.
   3. 이것이 실행 프로필에 태국과 튀르키예가 모두 실제 방문지처럼 남은 원인이 됐다.

2. AI가 볼 수 없었던 실제 결정

   1. 실제로 태국에 가기로 한 결정은 ChatGPT와의 대화가 아니라 파트너와 대면으로 나눈 대화에서 이뤄졌다.
   2. ChatGPT는 그 대면 대화를 들을 수도, 그 안에서 내려진 최종 결정을 추론할 수도 없었다.
   3. 즉, AI가 가진 대화 기록은 사용자의 삶에서 발생한 결정 과정 전체의 일부에 불과했다.

3. 이메일에 남아 있던 해결 단서

   1. 태국행 항공편과 호텔 예약이 이메일에 남아 있었기 때문에, 이메일에는 최종 결정을 확인할 흔적이 있었다.
   2. 그러나 ChatGPT가 이메일에 연결되어 있더라도 이메일 내용을 실제로 추론하고, 그 결과를 사용자 프로필에 반영하는 것은 아니었다.
   3. 따라서 두 ChatGPT 대화와 이메일의 예약 정보를 연결해 ‘실제로는 태국에 갔다’고 판단하지 못했다.

4. 발표자가 문제 삼는 지점

   1. AI가 대면 대화를 듣지 못하고 이메일을 분석하지 못하는 것 자체는 이해할 수 있다.
   2. 더 불편한 점은 ChatGPT가 자신이 가진 정보 사이에 충돌이 있다는 사실조차 알아차리지 못한다는 것이다.
   3. “튀르키예에 갔다”는 추정과 “태국 항공·호텔 예약”이라는 신호가 충돌한다면, 모델은 불확실성을 표시하거나 사용자에게 확인 질문을 해야 한다.
   4. AI가 자신이 모르는 부분과 모순을 발견하고 빈틈을 채우려는 호기심을 보여야 하지만, 현재 제품은 그런 행동을 하지 않는다.

6.3. 기술 문제가 아니라 제품 문제

1. LLM 수준에서 원천적으로 불가능한 일은 아님

   1. 발표자는 이 문제가 근본적인 LLM 기술 한계라고 보지 않는다.
   2. 대화를 비교하고 이메일 신호를 연결하고, 충돌을 감지하고, 사용자에게 확인 질문을 생성하는 데 필요한 능력은 현재 기술로 원천적으로 불가능하지 않다.

2. 제품 설계의 부재

   1. 현재의 문제는 제품이 사용자의 여러 맥락원을 연결하고 모순을 드러내도록 설계되어 있지 않다는 점이다.
   2. 메모리를 ‘이미 알고 있는 사실을 저장하는 수동 목록’으로만 취급하면, 모르는 것을 탐색하거나 충돌하는 사실을 해결하는 상호작용이 만들어지지 않는다.
   3. 따라서 다음 단계의 개인화는 더 큰 저장소만이 아니라, 맥락을 모으고 불확실성을 관리하는 제품 경험이어야 한다.

6.4. 분절된 개인 AI 스택

1. 각자 독립된 메모리를 만드는 제품들

   1. 발표자가 현재 사용하는 개인 AI 스택에는 여러 챗봇, 어시스턴트, 수직 전문(vertical-specific) 애플리케이션, 에이전트, 하드웨어 장치가 있다.
   2. 각각의 제품은 발표자에 대한 자기만의 메모리를 구축하려 한다.
   3. 하지만 제품끼리 메모리를 공유하지 않으므로, 한 제품에서 이미 설명한 정보를 다른 제품은 알지 못한다.

2. 반복되는 맥락 재구축

   1. 발표자는 새로운 제품을 사용할 때마다 사용자 맥락을 처음부터 다시 구축해야 한다.
   2. 삶에서 어떤 변화가 생길 때도 모든 제품에 각각 따로 알려야 한다.
   3. 개인화가 누적되어 편리해지는 대신, 사용자가 여러 제품의 메모리 관리자 역할을 다시 맡게 되는 셈이다.

3. 풍부하지만 연결되지 않은 기존 맥락원

   1. 사용자의 이메일에는 일정, 예약, 의사결정 흔적이 있다.
   2. 캘린더에는 실제로 확정된 일과 시간의 구조가 있다.
   3. 사진에는 생활의 사건과 장소에 대한 풍부한 정보가 있다.
   4. 그러나 현재의 제품들은 이런 기존의 풍부한 맥락원을 함께 추론하지 못한다.

4. ‘개인 AI’라는 약속과 현재 경험의 간극

   1. 여러 제품이 각자 제한된 대화 기록만 보고 판단하는 현재의 모습은 발표자에게 2026년의 경험처럼 느껴지지 않는다.
   2. 발표자가 매일 스스로에게 던지는 질문은 “개인 AI가 언제 진짜 개인 AI처럼 느껴질 것인가?”이다.
   3. 진정한 개인 AI라면 하나의 앱 안에 고립된 프로필이 아니라, 사용자의 여러 활동과 맥락을 연결하고 변화와 모순을 능동적으로 다뤄야 한다.

---

7. 결론 — 아직 이르지만, 메모리는 AI의 장기 기반이다

현재의 부족함은 메모리 분야가 실패했다는 뜻이 아니라, 이제 막 3년 된 분야가 앞으로 해결해야 할 문제의 크기를 보여준다.

7.1. 아직 초기 단계라는 관점

1. 3년밖에 되지 않은 분야

   1. AI 메모리는 이제 겨우 3년 된 분야다.
   2. 2023년의 스레드 단위 맥락, 2024년의 사실 목록, 2025년의 실행 프로필과 검색 도구로 발전한 기간이 매우 짧다.
   3. 이 짧은 기간에 여러 설계가 실험되고 수렴하기 시작했다는 점 자체가 앞으로의 가능성을 보여준다.

2. 기대와 한계의 균형

   1. 현재 제품이 대면 대화·이메일·캘린더·사진을 충분히 통합하지 못하고 모순도 알아차리지 못하는 것은 분명한 불만이다.
   2. 동시에 제품이 사용자 프로필을 백그라운드에서 합성하고, 과거 대화를 검색하며, 사용자에게 수정권을 제공하기 시작했다는 점은 중요한 진전이다.

7.2. 인간-AI 상호작용의 기반

1. 장기적 관계의 조건

   1. 발표자는 메모리가 인간과 AI가 상호작용하는 방식의 토대라고 본다.
   2. 사람들이 앞으로 평생 AI와 대화하게 될 것이라는 전제에서, AI가 개인의 변화와 과거를 기억하는 능력은 일시적인 기능이 아니라 관계의 기반이 된다.

2. 인류 역사 전체에 걸친 중요성

   1. AI와 대화하는 삶이 모든 사람에게 현실이 될수록, 개인화된 메모리는 인간 역사 전체에서 장기간 중요한 문제가 된다.
   2. 메모리는 단순한 편의 기능이나 벡터 검색 기능이 아니라, 사용자가 AI를 자신의 도구·조력자·동반자로 받아들일 수 있게 하는 신뢰의 기반이다.

3. 남은 건설 과제

   1. 단일 아키텍처를 정답으로 정하지 않고 제품에 맞춰 메모리를 설계할 것.
   2. 최신성·저장량·추론 품질을 컴퓨트 비용과 함께 최적화할 것.
   3. 가중치 밖의 실행 프로필을 넘어 개인별 지속적 학습의 경제성과 데이터 문제를 풀 것.
   4. 이메일·캘린더·사진·대면 결정 등 분산된 맥락원을 연결하고, 모순과 빈틈을 스스로 탐지하는 제품을 만들 것.
   5. 사용자가 자신의 프로필을 이해하고 편집·삭제할 수 있도록 투명성과 통제권을 제공할 것.

7.3. 마무리

1. 발표자는 “아직 만들어야 할 것이 너무 많다”고 결론 내린다.
2. 마지막으로 자신의 웹사이트와 Twitter에서 더 찾아볼 수 있다고 안내하고, 청중에게 좋은 컨퍼런스가 되기를 바란다고 인사한다.
3. 발표가 끝나자 청중의 박수가 나왔고, 음악이 재생되며 세션이 종료된다.

---

주요 발언 모음

“메모리는 이제 매우 과부하된 용어다.”

“메모리를 이야기할 때 나는 소비자용 AI 애플리케이션의 개인화 맥락에서 말한다.”

“메모리를 구현하는 방법은 하나가 없다.”

“진지한 팀이라면 메모리를 외주화하지 않는다. 메모리는 제품과 함께 구축해야 한다.”

“메모리는 컴퓨트의 함수다.”

“지속적 학습은 이미 여기 와 있다.”

“당신은 세계 최고의 메모리 아키텍처를 가질 수 있지만, 메모리 시스템은 당신에 대해 모을 수 있는 컨텍스트의 양에 의해 제한된다.”

“이것은 기술 문제가 아니라 제품 문제다.”

“개인 AI는 언제 진짜 개인 AI처럼 느껴질까?”

“메모리는 앞으로 인류 역사 전체에서 중요한 것이 될 것이다.”

---

핵심 데이터 & 수치

• 2023년: GPT-4 직후의 ChatGPT는 단일 대화 스레드 안에서만 맥락을 유지했다.
• 2024년 2월: ChatGPT 메모리 V1 출시. 사용자의 명시적 기억 요청을 사실 목록으로 저장하고 모든 대화에 주입했다.
• 2025년 4월: ChatGPT 메모리 V2 출시. 며칠마다 대화 전체를 훑어 실행 프로필을 비동기적으로 갱신했다.
• 약 4,000토큰: ChatGPT 실행 프로필의 크기. 16개 섹션으로 구성되며, 키워드·단서가 조밀하게 압축된다.
• 2025년 8월: Claude 메모리 V1 출시. 프로필 대신 키워드·주제 검색과 기간 검색 도구를 제공했다.
• 2025년 9월 11일: 발표자가 Claude의 아키텍처를 ChatGPT의 반대라고 분석한 글을 공개했고 Hacker News 첫 화면에 올랐다. 같은 날 Claude 메모리 V2가 출시됐다.
• 약 1,000토큰: Claude 실행 프로필의 크기. ChatGPT보다 짧고, 조밀한 키워드보다 완전한 문장 중심이다.
• 24시간: Claude 프로필의 갱신 주기.
• 며칠: ChatGPT 프로필의 갱신 주기.
• 400,000토큰: 컴퓨트 제약이 없을 때 상상할 수 있는 훨씬 더 긴 사용자 프로필의 예시. 발표자는 4,000토큰에서 멈출 이유가 무엇인지 질문한다.
• 16개 섹션: 발표자가 확인한 ChatGPT 실행 프로필의 전체 섹션 수.
• 2025년 여름: 태국과 튀르키예 중 여행지를 고민한 대화가 실제 방문 기록과 혼동된 사례의 시점.
• 3년: 강연 시점에 AI 메모리 분야가 발전해 온 대략적인 기간.

---

결론 및 시사점

1. 메모리를 저장소 기능으로 축소하지 말 것: 메모리는 사실 추출, 최신성 판단, 검색, 모순 감지, 사용자 편집권, 비용 정책이 함께 구성하는 제품 기능이다.
2. 제품에 맞는 아키텍처를 선택할 것: ChatGPT의 장문·저빈도 프로필, Claude의 단문·고빈도 프로필, Gemini의 시간 로그, 에이전트의 Markdown·heartbeat·지식 베이스는 모두 서로 다른 타당한 선택이다.
3. 컴퓨트 예산을 설계 변수로 취급할 것: 프로필 유지 비용과 매 대화 서빙 비용을 분리해 보고, 최신성·풍부함·지연시간 사이의 트레이드오프를 명시적으로 결정해야 한다.
4. 지속적 학습의 다음 단계를 준비할 것: 현재는 가중치 밖의 프로필 합성 루프가 현실적인 해법이지만, 개인별 모델·데이터 생성·비용 부담이라는 질문은 여전히 풀리지 않았다.
5. 메모리보다 컨텍스트 연결이 더 중요할 수 있다: 대화만 저장해서는 사용자의 실제 결정을 알 수 없다. 이메일·캘린더·사진·대면 대화에서 나온 신호를 연결해야 한다.
6. 모순과 무지를 드러내는 상호작용을 만들 것: AI는 ‘태국에 갔다’와 ‘튀르키예에 갔다’처럼 충돌하는 기록을 그냥 하나의 사실로 굳히지 말고, 불확실성을 표시하고 확인 질문을 해야 한다.
7. 메모리를 제품과 함께 계속 진화시킬 것: 메모리는 출시 후 붙이는 애드온이나 외부 API로 끝낼 수 없으며, 사용자 경험과 제품의 목적이 바뀔 때 같이 발전해야 한다.
8. 장기 신뢰의 기반으로 볼 것: AI가 사람의 삶을 오랫동안 돕는다면, 기억·수정·망각을 사용자가 이해하고 통제할 수 있는지가 개인 AI의 신뢰성을 결정한다.