MemTensor 팀이 공개한 '메모리 기반 모델': 백본 어텐션 옆에 네이티브 메모리 모듈을 추가하여 과거 대화를 고정 크기의 메모리 상태로 기록하며, 추론 시 원본 컨텍스트를 포함할 필요가 없습니다.
스타 수 432 (+9 / 24시간)
이유
- 두 가지 버전: Nano는 Qwen3.6-35B-A3B(총 파라미터 36B, 활성 파라미터 3B)를 기반으로 하며, Flash는 DeepSeek-V4-Flash(총 파라미터 288B, 활성 파라미터 17B)를 기반으로 합니다. 가중치는 Hugging Face의 MemTensor 조직 아래에 있습니다.
- 공식 발표에 따르면, 128K 길이의 과거 대화에서 영구 상태는 전체 KV 캐시보다 저장 공간을 약 66배 절약합니다. 또한 11개의 메모리 벤치마크에서 두 모델 모두 파라미터화 메모리 방법 중 1위와 2위를 차지했습니다.
- 공식 문서에도 명시되어 있듯이, 세부 증거 검색이 필요한 긴 과거 대화에서는 텍스트 기반 메모리 시스템이 여전히 전반적으로 우월합니다.
- '경험 기반 코딩 에이전트' 예제가 포함되어 있습니다: 검색된 경험은 네이티브 메모리에 저장되어 작업 컨텍스트를 차지하지 않습니다. 기술 보고서는 arXiv 2610.26825에서 확인할 수 있습니다.
사용법
- NVIDIA CUDA가 설치된 Linux 서버에서 inference 디렉토리로 이동하여 uv pip install '.[server]'를 실행하고, 클라이언트 환경에는 '.[client]'를 설치합니다.
- sh start_memt_nano.sh /models/MemT-1.0-Nano를 실행하여 서비스를 시작합니다(예시에서는 GPU 2개 사용). 이후 memt_sglang의 MemTSession을 사용하여 대화하며, enable_memory=True로 설정하면 대화가 메모리에 기록됩니다.
리스크
- 코드는 PolyForm Noncommercial 1.0.0 라이선스, 논문 자료는 CC BY-NC-SA 4.0 라이선스이므로 모두 상업적 사용이 불가능합니다.
- 다중 GPU와 완전한 BF16 가중치가 필요합니다. README의 대화 예시 응답은 실제 실행 기록이 아닌 예시입니다.
- 24시간 동안 새로 추가된 스타 수가 매우 적어 관심도가 아직 낮습니다.