Оригинал: Quazim0t0/Qwenx86-4B-compact
Экспериментальная модель от Quazim0t0, созданная на основе проекта Qwenputer (проект divagr1925): перед исходными слоями Qwen3.5-4B добавлены 13 «чиповых» слоя, веса которых вычисляются компилятором напрямую (без обучения), реализующие 64-битное ядро x86 и 64 КБ памяти, размещенной в состоянии Gated DeltaNet. После того как Qwen инициирует вызов инструмента, его выполняет компьютер, встроенный в веса: точный калькулятор, MicroPython, компактный компилятор C qcc, хранилище заметок, а также поиск научных констант и документации Python записаны в чекпоинт как прошивка. В версии v2 добавлены функции памяти, такие как файлы, база фактов и дословное воспроизведение, а в v3 Qwen сам решает, когда сохранять и извлекать память в ходе диалога. По словам автора, на первых 28 задачах из набора GSM8K с использованием инструмента-калькулятора было решено верно 26 задач, тогда как Qwen без инструментов решил верно 23 задач.
Почему это важно Демонстрирует подход к выполнению программ непосредственно в весах модели, без внешних песочниц; достаточно видеокарты с 16 ГБ памяти
Рост рейтинга 52 · Лайки 52 · Загрузки 121
Причины
- Инструменты выполняются не через вызов внешних сервисов, а непосредственно в прямом проходе модели; у автора есть отладочный Space, позволяющий пошагово воспроизводить регистры, память и вывод машины
- Компактная версия занимает около 9 ГБ видеопамяти и может работать на видеокартах с 16 ГБ; веса распространяются под лицензией Apache-2.0, часть компилятора — под MIT
Использование
- Выполните pip install -r requirements.txt, затем в каталоге репозитория запустите python -m qwenx86.run --tool calc «вопрос»; инструмент можно заменить на c, python, science, pydoc или notes
- Для работы с функциями памяти используйте python -m qwenx86.memory chat
Риски
- Демонстрация исследовательского характера: Qwen не обучался специально для этих инструментов, поэтому иногда изменяет формат возвращаемых значений
- Низкая скорость: машина генерирует всего 1 токенов за шаг, одна компиляция и запуск кода на C требуют от 10 до 600 тысяч машинных токенов
- Транслятор x86 не поддерживает косвенные переходы, MicroPython является упрощенной версией; требуется видеокарта с CUDA
- Данный пример не был запущен, результаты следует сверять с карточкой модели