Mô hình nền tảng bộ nhớ do nhóm MemTensor công bố: thêm một mô-đun bộ nhớ gốc bên cạnh cơ chế attention của backbone, ghi các cuộc hội thoại lịch sử vào trạng thái bộ nhớ có kích thước cố định, khi suy luận không cần mang theo ngữ cảnh gốc.
Số sao 432 (+9 / 24h)
Lý do
- Hai phiên bản: Nano dựa trên Qwen3.6-35B-A3B (tổng tham số 36B, kích hoạt 3B), Flash dựa trên DeepSeek-V4-Flash (tổng tham số 288B, kích hoạt 17B), trọng số được lưu trữ dưới tổ chức MemTensor trên Hugging Face
- Theo thông tin chính thức, với độ dài lịch sử 128K, trạng thái bền vững tiết kiệm khoảng 66 lần dung lượng lưu trữ so với toàn bộ bộ nhớ đệm KV; trên 11 tiêu chuẩn đánh giá bộ nhớ, hai mô hình này xếp thứ nhất và thứ hai trong số các phương pháp bộ nhớ tham số hóa
- Thông tin chính thức cũng nêu rõ: đối với các lịch sử dài yêu cầu truy xuất bằng chứng chi tiết, các hệ thống bộ nhớ dạng văn bản vẫn dẫn đầu về tổng thể
- Kèm theo ví dụ về “tác nhân lập trình được hướng dẫn bởi kinh nghiệm”: các kinh nghiệm được truy xuất sẽ được lưu vào bộ nhớ gốc, không chiếm dụng ngữ cảnh tác vụ; báo cáo kỹ thuật xem tại arXiv 2610.26825
Cách sử dụng
- Trên máy chủ Linux có NVIDIA CUDA, vào thư mục inference, chạy uv pip install '.[server]'; môi trường máy khách cài đặt '.[client]'
- Chạy sh start_memt_nano.sh /models/MemT-1.0-Nano để khởi động dịch vụ (ví dụ sử dụng hai GPU), sau đó sử dụng MemTSession của memt_sglang để hội thoại, khi enable_memory=True thì các cuộc hội thoại sẽ được ghi vào bộ nhớ
Rủi ro
- Mã nguồn theo giấy phép PolyForm Noncommercial 1.0.0, tài liệu bài báo theo CC BY-NC-SA 4.0, cả hai đều không được phép sử dụng cho mục đích thương mại
- Yêu cầu GPU đa card và trọng số BF16 đầy đủ; các ví dụ phản hồi hội thoại trong README chỉ mang tính minh họa, không phải là bản ghi chạy thực tế
- Số sao mới tăng trong 24 giờ rất ít, mức độ quan tâm còn thấp