로컬에서 퍼스널하게 사용하는 AI 툴은 내가 질의한 프롬프트, 내가 학습시킨 데이터를 기반으로 나에게 맞춰진 응답을 생성한다. 하지만 누군가가 제공하는 서비스의 AI 에이전트가 나의 상태를 지속적으로 반영하고, 나의 과거부터 지금까지의 상황을 통해 합리적인 추론을 이끌어내서 그에 맞는 서비스를 제공한다면? 훨씬 더 좋은 사용자 경험과 서비스 경쟁력을 확보할 수 있지 않을까.
Zep Cloud
Zep Cloud는 AI 에이전트를 위한 컨텍스트 엔지니어링 플랫폼으로, 채팅 히스토리, 비즈니스 데이터, 사용자 행동 등 다양한 소스에서 적절한 컨텍스트를 조합하여 에이전트에게 전달하는 서비스다. 쉽게 말해, AI 에이전트가 과거 대화를 기억하고, 사용자에 대한 정보를 시간 흐름에 따라 추적할 수 있게 해주는 장기 메모리 인프라이다.
Zep Cloud는 이 플랫폼의 완전 관리형(managed) 클라우드 서비스 버전이다.
Temporal Knowledge Graph
Zep이 다른 메모리 솔루션과 근본적으로 다른 점은 시간 인식(temporal) 지식 그래프를 핵심 엔진으로 사용한다는 것이다.
Kendra는 아디다스를 “love”했지만, 아디다스 신발이 망가지자 퓨마를 “lit”하다고 평가한다. Kendra의 가장 최신 발언으로 미루어보아, 지식 그래프는 아디다스 보다는 퓨마에 더 관심이 있다고 평가하는 것이다.
기존 RAG의 한계
기존 벡터 기반 RAG 시스템에서는 “어떤 운동화를 사야 할까?”라는 질의가 가장 의미적으로 유사한 과거 선호도(예: 아디다스)를 반환하지만, 이후 사용자가 선호를 바꿨다는 맥락은 놓치게 된다. 벡터 공간에서는 사실들이 관계없는 고립된 점으로 존재하기 때문이다.
Graphiti 엔진
Zep의 핵심 컴포넌트인 Graphiti는 비정형 대화 데이터와 정형 비즈니스 데이터를 동적으로 통합하면서 시간적 관계를 유지하는 지식 그래프 엔진이다.
Graphiti의 시간 모델은 모든 사실에 대해 4개의 타임스탬프를 추적하며, 이를 통해 “2월에 사용자가 뭘 선호했지?”와 같은 시간적 추론이 가능해진다.
작동 방식
Zep은 Ingest → Graph → Assemble의 3단계로 작동한다.
1.
Ingest(수집): 채팅 메시지, JSON 비즈니스 데이터, 문서 등 다양한 소스에서 데이터를 수집한다.
2.
Graph(그래프 구축): 수집된 데이터로부터 매 인터랙션마다 진화하는 시간적 컨텍스트 그래프를 구축한다. 사실이 변경되면 이 부분은 무효화된다.
3.
Assemble(조립): 에이전트가 컨텍스트가 필요할 때, 관련 있는 것만 검색하여 LLM에 최적화된 형태로 포맷팅하여 전달한다.
SDK 및 통합
Zep은 Python, TypeScript, Go SDK를 제공한다. Go SDK는 대부분의 경쟁사가 제공하지 않는 차별점이다.
프레임워크 통합 측면에서 LangChain, LlamaIndex, Vercel AI SDK와 연동되며, MCP 서버 지원도 제공한다.
•
간단한 통합 예시
pip install zep-cloud
Shell
복사
from zep_cloud.client import Zep
client = Zep(api_key="your-api-key")
# 사용자 생성
client.user.add(user_id="user-123")
# 메시지 추가 (Episode)
client.memory.add(
session_id="session-abc",
messages=[{"role": "user", "content": "나는 아디다스를 좋아해"}]
)
# 컨텍스트 검색
context = client.memory.get(session_id="session-abc")
Python
복사
주요 기능 정리
기능 | 설명 |
Temporal Knowledge Graph | 시간 흐름에 따른 사실 변화 추적, 무효화 |
Graph RAG | 관계 인식 검색, 단순 벡터 유사도를 넘어선 컨텍스트 |
자동 엔티티/관계 추출 | LLM 기반으로 대화에서 자동 추출 |
멀티 세션 메모리 | 여러 세션이 하나의 공유 메모리에 기여 |
그룹 메모리 | 여러 사용자를 그룹으로 묶어 공유 지식 확용 |
Custom Entity Types | 도메인 특화 엔티티 타입 정의 |
Context Assembly | LLM 프롬프트에 최적화된 형태로 컨텍스트 자동 조립 |
Sub-200ms 레이턴시 | 음성/영상 에이전트에도 적합한 디자인 |
적합한 사용 사례
•
고객 서비스 챗봇 - 고객의 과거 이력, 선호 변화를 추적해 개인화된 응대
•
음성/영상 AI 에이전트 - 저지연 요구사항 충족
•
엔터프라이즈 AI 어시스턴트 - CRM, 앱 이벤트, 문서 등 다양한 소스 통합
•
장기 대화형 AI - 세션 간 정보 연속성 유지
