원제: Tideway: 소비자 디바이스에서 MoE 추론을 위한 단계 인식 계층적 메모리 관리
VRAM과 RAM이 모두 제한된 개인용 PC에서 대형 혼합 전문가(MoE) 모델을 실행할 경우, 가중치는 VRAM, RAM, NVMe SSD의 세 계층에 분산될 수밖에 없으며, 전문가 이동이 핵심 경로에 직접 병목으로 작용한다. 저자들은 기존 시스템이 각 계층을 서로 독립적인 캐시로 취급하여 반복적인 스래싱을 유발한다고 주장한다. Tideway는 RAM과 VRAM을 통합 메모리 풀로 결합하고 SSD로 이를 뒷받침하며, 먼저 계층 간 중복 사본을 회수한다. 프리필 단계에서는 VRAM을 빌려 이중 버퍼링을 통한 스트리밍 로딩을 수행하고 재사용 가능한 RAM 전문가를 '고정'하며, 디코딩 단계에서는 빌린 VRAM을 반환하여 고정 주소의 전문가 캐시 슬롯으로 전환한다. 디코딩 시에는 분할된 CUDA Graph를 사용하며, 누락된 전문가는 그래프 세그먼트 사이에 스왑 인하여 재캡처가 필요 없다. 논문은 평균 엔드투엔드 지연이 1.97배 빠르고, 첫 토큰 생성 시간(TTFT)이 2.40배 빠르며, 디코딩 처리량이 1.61배 높다고 보고한다(가장 빠른 베이스라인 대비).
왜 중요한가 로컬에서 대형 MoE를 실행할 때 가중치는 반드시 RAM과 디스크로 오버플로우된다. 저자들은 엔드투엔드 지연과 첫 토큰 생성 시간 모두 기존 최속 솔루션보다 짧다고 주장한다
좋아요 8 · 코드 스타 수 6
이유
- README의 테스트 머신은 RTX 5090(32 GB VRAM)에 16–128 GiB RAM을 장착했으며, 모델은 Qwen3.6-35B-A3B(BF16), Gemma4-26B-A4B(BF16), DeepSeek-V4-Flash(FP4, 약 155 GiB)이다
- 저자들은 TraceLab의 멀티턴 프로그래밍 에이전트 세션에서 최대 3.14배 빠르다고 주장한다. 비교 베이스라인에는 FreeToken, llama.cpp, SSD-LLaMA, FlashMoE가 포함된다
- 코드는 Apache-2.0 라이선스이며, 전문가 상주 및 29턴 에이전트 세션의 속도 측정 리플레이 애니메이션이 첨부되어 있다
사용법
- 코드: https://github.com/Afterglow231/Tideway;需要 Linux, Python 3.12 이상, NVIDIA GPU, CUDA 13 툴체인 및 GCC 필요
- python -m pip install -e . 실행 후 python scripts/build_backend.py를 실행하여 백엔드를 조립한다. FreeToken을 임포트하기 전에 tideway.activate_backend()를 호출한 후, docs/usage.md에 따라 tideway.offload.install을 사용하여 엔진에 전문가 계층화를 적용한다
리스크
- 이는 FreeToken 0.1.2 위에 얹히는 백엔드이며, 즉시 사용 가능한 채팅 프로그램이 아니다. 모델 체크포인트, VRAM 전문가 슬롯, 컨텍스트 길이는 모두 직접 구성해야 한다
- 가속 폭은 RAM 크기에 따라 크게 달라진다. README에 따르면 Qwen3.6-35B-A3B 모델에 64 GiB RAM을 사용할 경우 엔드투엔드 속도는 단지 1.13배 빨라진다. SSD-LLaMA와 FlashMoE 두 베이스라인은 저자가 논문을 바탕으로 직접 구현한 것이다. 본 항목은 실행되지 않았다