Edge0 — это фреймворк с открытым исходным кодом для потокового вывода MoE: веса экспертов хранятся в памяти и загружаются по мере необходимости, пиковое потребление памяти зависит от текущих активных экспертов, а не от общего количества параметров; обученный модуль предварительной маршрутизации предсказывает экспертов, необходимых для следующего токена, на один шаг вперед, авторы заявляют об увеличении пропускной способности декодирования до 59%; 4-битная базовая модель дополняется дистиллированным LoRA для компенсации потерь при квантовании. 11 4 числа был выпущен унифицированный движок edge0-infer на базе GGML, использующий единый интерфейс C++ для macOS, iOS, Android и Windows, с примерами командной строки, локального сервиса, совместимого с OpenAI, и чат-приложения; сопутствующая модель Edge0-35B-A3B основана на Qwen3.6-35B-A3B, авторы в собственных тестах OpenCompass зафиксировали среднее снижение на 3.9 балла по пяти метрикам по сравнению с оригиналом.
Почему это важно Предварительное предсказание необходимых экспертов позволяет перекрывать чтение с диска и вычисления, что дает возможность запускать большие модели MoE локально даже на смартфонах и обычных компьютерах.
Звезды 9670 (+483 / 24 ч)
Причины
- За 24 часов добавлено 483 звезд (отражает только уровень внимания)
- В README приведены таблицы замеров скорости авторов на разных платформах: на MacBook M5 с использованием Metal скорость декодирования составляет около 24.8 ток/с, пиковое потребление памяти — 3.43 ГиБ, на iPhone 17 Pro Max — около 13.2 ток/с
Использование
- Скомпилируйте согласно инструкции Getting Started для edge0-infer, скачайте и сконвертируйте модель Edge0-35B-A3B-preview с помощью встроенных инструментов ресурсов, затем запустите командную строку или локальный сервис
Риски
- Скорость и результаты тестов получены авторами самостоятельно; для первоначальной подготовки требуется около 18 ГБ исходных весов и около 20 ГБ дискового пространства для сконвертированных ресурсов
- Унифицированный движок пока поддерживает только конфигурацию 35B, конфигурация 8B находится в планах; скорость твердотельного накопителя напрямую влияет на скорость генерации