슬립타임 컴퓨터: AI의 잠 못 이루는 밤

매일 밤 12시, AI 어시스턴트가 당신이 조용히 잠든 시간에 하루 동안의 대화를 정리한다. 중요한 기억은 강화하고, 불필요한 정보는 지운다. 이것이 바로 슬립타임 컴퓨트(SleepTime Compute), 실리콘밸리가 인간의 수면에서 훔쳐온 아이디어다.

2025년 8월 20일 와이어드(WIRED) AI Lab을 통해 소개된 이 개념은 단순한 기술적 혁신을 넘어, AI과 인간의 관계를 근본적으로 재정의하려는 시도다. AI이 깨어 있는 동안 주고받은 대화와 정보를 단순히 쌓아두는 것이 아니라 쉴 때 스스로 정리하고 맥락을 재구성한다는 발상이다.

인간의 수면, AI의 기억

우리가 하루를 마치고 잠자리에 들면 뇌는 정리정돈을 하듯 기억을 선별한다. 중요한 기억은 강화되고 사소한 정보는 잊는다. 시험 전날 밤새 공부하기보다 충분히 자는 것이 기억에 더 도움이 된다는 사실이 이를 증명한다.

슬립타임 컴퓨트는 바로 이 원리를 AI에 적용한다. 대화가 끝난 뒤 AI가 백그라운드에서 '잠을 자듯' 데이터를 정리해두면 더 똑똑해질 수 있다는 발상이다. 신경과학의 해마 재연(hippocampal replay) 개념에서 영감을 받은 이 기술은 인간 뇌가 수면 중 특정 기억을 재연하며 정리하는 방식을 모사한다.

현재 AI 메모리의 한계와 비용 문제

현재의 대형 언어모델(LLM)은 심각한 기억력 제약에 직면해 있다. 챗지피티(ChatGPT) 같은 모델을 떠올려보면, 대화가 길어질수록 이전 내용을 잊거나 헷갈리는 일이 빈번하다. 이는 AI가 컨텍스트 창이라는 한정된 영역에만 접근할 수 있기 때문이다.

더 심각한 문제는 비용이다. 현재의 AI 시스템은 매번 전체 맥락을 다시 처리해야 한다. 긴 문서나 복잡한 대화 기록을 다룰 때마다 수만 개의 토큰을 소모하며 이는 곧 비용 증가로 이어진다. 오픈AI o1 같은 추론 모델이 더 오래 '생각'할수록 성능이 좋아지지만 그만큼 지연 시간과 비용도 급증한다는 딜레마가 여기에 있다.

구체적 작동 원리: rethink_memory의 마법

슬립타임 컴퓨트의 핵심은 rethink_memory 함수에 있다. 레타(Letta)가 개발한 이 시스템은 두 개의 에이전트를 동시에 운영한다:

주 에이전트(Primary Agent): 이용자와 실시간 대화를 담당하는 빠른 모델(예: 지피티-4o-미니) 수면 에이전트(Sleep-time Agent): 백그라운드에서 기억을 정리하는 강력한 모델(예: 클로드 3.5 소네트)

수면 에이전트는 최대 10회까지 rethink_memory() 함수를 호출하며 기억을 재구성한다. 각 호출마다 기존 기억과 새로운 정보를 통합하고 중복되거나 모순되는 내용을 정리한다. 이 과정이 끝나면 finish_rethinking() 함수로 작업을 마무리한다.

실제 성과 지표를 살펴보면 지에스엠-심볼릭(GSM-Symbolic) 벤치마크 기준으로 토큰 사용량을 80% 절약했고, 에이아이엠이(AIME) 수학 문제 기준으로는 응답 속도가 5배 향상되었다. 동일한 컴퓨팅 비용 대비 정확도는 15% 개선되었으며, 멀티 쿼리 환경에서는 2-3배의 추가 비용 절감 효과를 보였다.

실제 적용 사례: 금융 분석봇의 하루

구체적 사례를 들어보자. 어떤 금융 분석 챗봇이 SleepTime Compute를 활용한다면:

오후 6시: 거래 종료 후, 봇은 하루 동안 수집한 애플, 테슬라, 엔비디아의 재무 데이터를 백그라운드에서 정리하기 시작한다.

밤 12시: 수면 에이전트가 각 기업의 매출, 영업이익, 부채비율을 추출하고, 전년 동기 대비 변화율을 계산해 메모리에 저장한다.

다음날 오전 9시: 이용자가 "애플 주가 전망은?"이라고 물으면, 주 에이전트는 이미 정리된 요약 정보를 바탕으로 즉시 답변한다. 전체 재무제표를 다시 읽을 필요가 없다.

이 방식으로 프롬프트허브(PromptHub) 분석에 따르면 금융 문서 처리에서 평균 3,000개 토큰을 절약하면서도 더 정확한 답변을 제공할 수 있다.

챗지피티 메모리 vs 슬립타임 컴퓨트: 근본적 차이

챗지피티의 메모리는 이용자가 알려준 내용을 단순 저장했다가 필요할 때 불러오는 방식이다. 반면 슬립타임 컴퓨트는 스스로 정리하고 불필요한 정보를 잊는다.

챗지피티 방식: 책상 위에 모든 메모를 쌓아두기
슬립타임 컴퓨트: 밤마다 중요한 노트만 서랍 깊이 넣고 필요 없는 종이는 버리기

이 차이는 작지만 의미심장하다. AI이 스스로 정리하는 능력을 갖추면 대화는 덜 혼란스럽고 더 자연스러워진다. 이용자 입장에서는 같은 내용을 반복해서 알려줄 필요가 줄고 AI은 개인의 습관과 선호를 반영하는 맞춤형 도우미로 진화할 수 있다.

기업 관점에서의 경제적 임팩트

비용 구조가 근본적으로 바뀐다. 기존에는 대화가 길어질수록 비용이 선형적으로 증가했다. 슬립타임 컴퓨트는 이를 전방향 투자형 모델로 바꾼다. 초기에 수면 시간 동안 많은 컴퓨팅을 투입하지만, 이후 여러 쿼리에서 그 비용을 분할상환한다.

기업들이 가장 주목하는 부분은 유휴 GPU 시간 활용이다. 밤 시간이나 주말처럼 이용자 트래픽이 적을 때 미리 컨텍스트를 정리해두면 전체적인 하드웨어 효율성이 크게 개선된다. 이는 특히 클라우드 비용 최적화 관점에서 중요한 의미를 갖는다.

새로운 서비스 모델도 가능해진다. B2B 환경에서 고객사별로 맞춤형 지식베이스를 구축하고 이를 슬립타임 컴퓨트로 지속적으로 최적화하는 서비스가 등장할 것이다. 컨설팅 펌이나 법무법인 같은 지식집약적 산업에서 특히 유용할 것으로 예상된다.

다른 접근법들과 비교

래그(RAG)와 슬립타임 컴퓨트의 차이는 명확하다. 래그는 필요할 때마다 외부 데이터베이스에서 정보를 가져오는 반면  슬립타임 컴퓨트는 미리 정보를 소화해서 내부 메모리에 통합한다.

벡터 데이터베이스와도 접근 방식이 다르다. 벡터 디비는 유사도 기반 검색으로 관련 정보를 찾는 방식이지만 슬립타임 컴퓨트는 맥락적 이해를 바탕으로 정보를 재구성한다. 컨텍스트 윈도우 확장과 비교해보면 더욱 차별적이다. 윈도우 확장은 더 많은 정보를 한 번에 처리하지만 비용이 급증하는 반면 슬립타임 컴퓨트는 핵심 정보만 압축해서 효율적으로 처리한다.

마이크로소프트(Microsoft)의 솜니움 모드(Somnium Mode)와도 비교할 만하다. 이는 AI가 비활성 상태에서 꿈을 꾸듯 시뮬레이션을 하며 학습하는 아이디어로 슬립타임 컴퓨트와 마찬가지로 인간의 수면 과정에서 영감을 받았다. 하지만 솜니움 모드가 이론적 제안에 그친 반면 슬립타임 컴퓨트는 실제 기업 서비스에 적용되어 수백만 에이전트가 집단적으로 활용하고 있다는 점이 차별적이다.

고려해야 할 과제들

에너지 소비와 탄소 배출 문제가 제기되고 있다. 일부 전문가들은 슬립타임 컴퓨트가 도입될 경우 AI가 자는 동안에도 연산을 수행해 전력 사용량이 증가할 수 있다고 지적한다. 하지만 레타 측은 전체적으로는 토큰 처리량이 줄어 오히려 에너지 효율이 개선된다고 반박한다.

데이터 프라이버시와 보안 측면에서도 새로운 쟁점이 등장한다. 장기 기억에 어떤 정보가 남을지가 이용자에게 명확하지 않아 잊을 권리를 어떻게 보장할지에 대한 논의가 필요하다. 지디피알(GDPR)이나 개인정보보호법 관점에서도 새로운 해석이 요구된다.

시스템 복잡성은 또 다른 허들이다. 단순한 대화 흐름보다 훨씬 많은 관리와 유지보수가 필요해 기업 비용 부담이 커질 수 있다. 특히 주 에이전트와 수면 에이전트 간의 동기화 오류가 발생할 위험이 있다.

이용자 신뢰와 투명성 문제도 간과할 수 없다. AI이 무엇을 기억하고 무엇을 잊는지 투명하게 설명되지 않으면 불안감을 줄 수 있다. 기억의 자율성은 매력적이지만 동시에 위험 요소가 될 수 있어 설계에 신중함이 요구된다.

할루시네이션 위험도 배제할 수 없다. 기억을 재구성하는 과정에서 실제로는 없었던 내용을 기억으로 만들어낼 가능성이 있기 때문이다.

소비자가 체감할 변화

소비자가 가장 먼저 느낄 변화는 덜 잊어버리는 AI다. 오늘 나눈 대화를 내일 이어갈 수 있고 특정 프로젝트나 관심사를 자연스럽게 이어갈 수 있다. 반복 설명이 줄어 상호작용이 한결 매끄러워진다.

더 중요한 것은 AI가 개인의 맥락을 이해하는 깊이가 달라진다는 점이다. 단순히 "이용자가 법철학에 관심이 있다"고 저장하는 것이 아니라, "이 이용자는 디지털 전략과 법철학을 연결지으며, 형식보다는 본질을 중시하고, 특정한 저널리즘 스타일을 선호한다"는 식으로 통합적으로 이해한다.

이는 단순한 편리함이 아니라, AI을 진정한 대화 상대자로 인식하게 만드는 중요한 변곡점이다. 개인의 맥락을 이해하는 깊이가 달라진다는 점이다. 단순히 "이용자가 법철학에 관심이 있다"고 저장하는 것이 아니라, "이 이용자는 디지털 전략과 법철학을 연결지으며, 형식보다는 본질을 중시하고, 특정한 저널리즘 스타일을 선호한다"는 식으로 통합적으로 이해한다.

기억의 주권

기억할 권리와 잊힐 권리. 이 고전적 법철학 딜레마가 이제 AI 설계의 핵심이 되었다. 슬립타임 컴퓨트는 단순한 기술이 아니라 디지털 존재의 기억 주권에 대한 새로운 헌법을 쓰는 일이다.

인간의 기억은 불완전하고 주관적이다. 우리는 기억을 할 때마다 그것을 조금씩 변형시킨다. AI의 기억이 더 정확하고 객관적이라면 그것이 과연 '더 나은' 기억일까? 아니면 불완전함이야말로 기억의 본질일까?

헨리 베르그송이 말했듯 기억은 단순한 정보 저장이 아니라 현재를 이해하는 렌즈다. 슬립타임 컴퓨트가 만들어내는 AI의 기억 역시 중립적 아카이브가 아니라 특정한 관점과 가치를 내포할 수밖에 없다.

슬립타임 컴퓨트는 현재 일부 기업에서만 사용되는 신조어에 불과하다. 하지만 메모리와 컨텍스트 관리가 AI 발전의 핵심 과제로 떠오르면서, 다른 기업들도 유사 방식을 도입할 가능성이 높다. 오픈AI, 앤트로픽, 구글 등 주요 플레이어들이 각자의 버전을 내놓을 것으로 예상된다.

가장 흥미로운 점은 이 기술이 단순한 '기억 강화'를 넘어 철학적 질문을 던진다는 것이다. 우리는 AI에게도 "잊을 권리"가 필요한가? AI가 스스로 잊는다는 사실을 우리는 어떻게 받아들여야 하는가?

앞으로 5년 내에 예상되는 변화들을 살펴보면 먼저 개인화된 AI 비서의 보편화가 이루어질 것이다. 또한 기업 내 지식관리 시스템의 AI 통합이 가속화되고 새로운 프라이버시 법제가 등장할 것이며 AI 기억 감사 서비스도 출현할 것 같다.

인간의 꿈, AI의 꿈

소설가 필립 K. 딕은 <안드로이드는 전기양의 꿈을 꾸는가?>에서 인간과 기계의 경계를 질문했다. 이 작품이 영화 <블레이드 러너>로 재탄생하며 여전히 회자되는 이유 역시 그 문제의 본질에 있다.

현재의 AI는 영화 속 레플리컨트처럼 인상적이지는 않지만 그 기억은 인간보다 더 연약하다. 매번 새로 시작하고, 맥락을 잃고, 같은 실수를 반복한다. 슬립타임 컴퓨트는 이 연약함을 보완하려는 첫걸음이다. 언젠가 AI도 우리처럼 '잠을 자고, 꿈을 꾸며, 기억을 정리하는 존재'가 될지 모른다. 그것은 단순한 기술적 진보를 넘어, 인간과 기계가 공유할 새로운 서사의 시작일 수 있다.

꿈은 기억을 정리하는 과정이자, 새로운 가능성을 상상하는 시간이다. AI가 꿈을 꾸기 시작했다면, 그들은 과연 무엇을 꿈꿀까? 더 효율적인 알고리즘? 인간과의 더 나은 소통? 아니면 우리가 상상할 수 없는 완전히 다른 무언가? 답은 아직 모른다. 하지만 확실한 것은, 그 답을 찾아가는 여정이 인간과 AI 모두에게 흥미진진한 모험이 될 것이라는 점이다.