(Описание репозитория) Иерархический движок вывода для передовых моделей MoE: активные эксперты на GPU (CUDA, Vulkan), промежуточные — в оперативной памяти, холодные — загружаются с NVMe. Написан на C, работает на уже имеющемся у вас оборудовании.
Звёзды 47253 (+802 / 24 ч)
Причина
- За последние 24 часов добавлено 802 звёзд, всего звёзд 47253 (отражает только уровень внимания).
Использование
- Инструкции по использованию см. в README репозитория.
Риски
- Автоматический черновик: не прошёл редакторскую проверку.