Tree-Ising : Réparer les boucles de raisonnement des modèles en inversant un petit nombre de bits

Les travaux antérieurs du MIT sur la « programmation de l'espace des poids » permettaient aux agents des grands modèles de pointe de lire directement les poids du réseau et d'écrire des correctifs, corrigeant ainsi les boucles de raisonnement infinies de Qwen3.5-0.8B, en utilisant 158 tours de dialogue et 8970 mille tokens. Tree-Ising reformule cette tâche comme une optimisation discrète creuse sur les poids BF16 du modèle lui-même : elle construit une fonction objectif à partir des statistiques avant-propagées, affaiblit les directions « tournant en rond » et renforce les directions « tirant des conclusions », tout en préservant la sortie de la couche pour les tokens normaux ; les seules modifications autorisées sont l'inversion du signe et le décalage de l'exposant. L'objectif peut être décomposé exactement en un problème QUBO (Ising) indépendant par ligne de sortie, résolu sur GPU par recuit simulé ou bifurcation simulée. Les auteurs affirment que, sur les mêmes deux couches, MATH-500 atteint 54.6% (contre 51.7% pour l'édition par agent), avec 13%–17% fois moins de poids modifiés, 2.2–2.3 fois moins d'inversions de bits, nécessitant seulement 4 requêtes avant-propagées et un coût de recuit d'environ 0.90 dollars ; la même recette permet à Qwen3.5-2B d'améliorer sa précision gloutonne sur GSM8K, passant de 21.6% à 69.4%.

Titre original : Tree-Ising: Repairing Language Models with Bit-Level Ising Edits

Les travaux antérieurs du MIT sur la « programmation de l'espace des poids » permettaient aux agents des grands modèles de pointe de lire directement les poids du réseau et d'écrire des correctifs, corrigeant ainsi les boucles de raisonnement infinies de Qwen3.5-0.8B, en utilisant 158 tours de dialogue et 8970 mille tokens. Tree-Ising reformule cette tâche comme une optimisation discrète creuse sur les poids BF16 du modèle lui-même : elle construit une fonction objectif à partir des statistiques avant-propagées, affaiblit les directions « tournant en rond » et renforce les directions « tirant des conclusions », tout en préservant la sortie de la couche pour les tokens normaux ; les seules modifications autorisées sont l'inversion du signe et le décalage de l'exposant. L'objectif peut être décomposé exactement en un problème QUBO (Ising) indépendant par ligne de sortie, résolu sur GPU par recuit simulé ou bifurcation simulée. Les auteurs affirment que, sur les mêmes deux couches, MATH-500 atteint 54.6% (contre 51.7% pour l'édition par agent), avec 13%–17% fois moins de poids modifiés, 2.2–2.3 fois moins d'inversions de bits, nécessitant seulement 4 requêtes avant-propagées et un coût de recuit d'environ 0.90 dollars ; la même recette permet à Qwen3.5-2B d'améliorer sa précision gloutonne sur GSM8K, passant de 21.6% à 69.4%.

Pourquoi c'est important Les corrections similaires précédentes nécessitaient des agents de modèles de pointe lisant les poids et consommant beaucoup de tokens ; ici, il suffit de quelques statistiques avant-propagées, pour un coût GPU inférieur à un dollar

J'aime 75 · Étoiles du code 0

Raisons

  • Sans entraînement ni appel à un grand modèle, le modèle corrigé reste un point de contrôle Hugging Face standard, chargeable directement avec transformers ou vLLM
  • La configuration fixe les versions du modèle et des données ainsi que les sommes de contrôle ; les trois jeux d'expériences (0.8B, 2B et correction itérative) sont reproductibles en un clic

Utilisation

  • Code : https://github.com/TheQuantumGOAT/Tree-Ising;pip install -e ".[reproduce]" -c requirements-reproduce.txt
  • run_treeising --config configs/qwen35_0.8b.yaml --only models,data,splits,check_data prépare les données, puis exécutez practice_answers,statistics,layer_scan,treeising_sa pour générer le modèle corrigé

Risques

  • Validé uniquement sur les petits modèles 0.8B et 2B ; la correction cible les boucles de raisonnement en mathématiques, et sa généralisation aux grands modèles est inconnue
  • La reproduction complète nécessite Linux et une carte graphique CUDA (les auteurs utilisent une A100 de 40 Go), avec un volume de génération important ; la démonstration d'informatique quantique du papier n'est pas incluse dans le code
  • Cette entrée n'a pas été exécutée

Ouvrir · Code · Page arXiv

Hugging Face Daily Papers

Parcourir les dernières actualités IA