Tree-Ising: Исправление циклов рассуждений модели путем инвертирования небольшого количества битов

Ранее работа MIT по «программированию в пространстве весов» позволяла агентам на базе передовых больших языковых моделей напрямую читать веса сети и генерировать исправления, устраняя циклы рассуждений в Qwen3.5-0.8B, что требовало 158 раундов диалога и 8970 тысяч токенов. Tree-Ising переформулирует эту задачу как разреженную дискретную оптимизацию на собственных весах модели в формате BF16: целевая функция строится на основе статистики прямого прохода, ослабляя направления «циклического блуждания» и усиливая направления «формирования вывода», при этом сохраняя выходной сигнал слоя для обычных токенов; разрешенные правки ограничены инверсией знака и сдвигом экспоненты, а целевая функция точно разбивается на независимые задачи QUBO (Ising) для каждой строки вывода, которые решаются на GPU с помощью имитации отжига или имитации бифуркации. Авторы сообщают, что на тех же двух слоях результат MATH-500 достиг 54.6% (для агентных правок — 51.7%), количество измененных весов сократилось в 13%–17% раз, количество инвертированных битов — в 2.2–2.3 раз, требуется всего 4 запросов прямого прохода, а стоимость отжига составляет около 0.90 долларов; тот же метод повысил жадную точность GSM8K для Qwen3.5-2B с 21.6% до 69.4%.

Оригинальное название: Tree-Ising: Repairing Language Models with Bit-Level Ising Edits

Ранее работа MIT по «программированию в пространстве весов» позволяла агентам на базе передовых больших языковых моделей напрямую читать веса сети и генерировать исправления, устраняя циклы рассуждений в Qwen3.5-0.8B, что требовало 158 раундов диалога и 8970 тысяч токенов. Tree-Ising переформулирует эту задачу как разреженную дискретную оптимизацию на собственных весах модели в формате BF16: целевая функция строится на основе статистики прямого прохода, ослабляя направления «циклического блуждания» и усиливая направления «формирования вывода», при этом сохраняя выходной сигнал слоя для обычных токенов; разрешенные правки ограничены инверсией знака и сдвигом экспоненты, а целевая функция точно разбивается на независимые задачи QUBO (Ising) для каждой строки вывода, которые решаются на GPU с помощью имитации отжига или имитации бифуркации. Авторы сообщают, что на тех же двух слоях результат MATH-500 достиг 54.6% (для агентных правок — 51.7%), количество измененных весов сократилось в 13%–17% раз, количество инвертированных битов — в 2.2–2.3 раз, требуется всего 4 запросов прямого прохода, а стоимость отжига составляет около 0.90 долларов; тот же метод повысил жадную точность GSM8K для Qwen3.5-2B с 21.6% до 69.4%.

Почему это важно Ранее аналогичные исправления требовали агентов на базе передовых моделей, читающих веса и расходующих огромное количество токенов; здесь достаточно нескольких статистических проходов, а стоимость вычислений на GPU составляет менее одного доллара

Лайков 75 · Звезд на GitHub 0

Причины

  • Не требуется обучение или вызов больших моделей, исправленная модель остается обычным чекпоинтом Hugging Face, который можно напрямую загрузить через transformers или vLLM
  • Конфигурация фиксирует версии модели, данных и контрольные суммы, что позволяет воспроизвести в один клик все три набора экспериментов: для моделей размером 0.8B, 2B и для итеративного исправления

Использование

  • Код: https://github.com/TheQuantumGOAT/Tree-Ising;pip install -e ".[reproduce]" -c requirements-reproduce.txt
  • Запустите run_treeising --config configs/qwen35_0.8b.yaml --only models,data,splits,check_data для подготовки данных, затем выполните practice_answers,statistics,layer_scan,treeising_sa для генерации исправленной модели

Риски

  • Метод проверен только на малых моделях размером 0.8B и 2B, исправления направлены на циклы в математических рассуждениях, возможность переноса на большие модели неизвестна
  • Для полного воспроизведения требуются Linux и видеокарта CUDA (авторы использовали A100 с 40 ГБ памяти), объем генерации велик; демонстрация квантовых вычислений из статьи не включена в код
  • Данный пункт не был выполнен

Открыть · Код · Страница статьи на Hugging Face

Hugging Face Daily Papers

Открыть последние новости ИИ