veilletech.frCe qui se passe
Un billet de blog, non relu par des pairs, défend l'idée qu'un LLM généraliste peut lire et écrire directement les poids d'un réseau de neurones, sans optimiseur ni descente de gradient : la « programmation dans l'espace des poids ». Les auteurs donnent à GPT-6 Astra, un modèle propriétaire, les poids sous forme de texte. Selon eux, il reconnaît à quoi un petit réseau a servi (quel jeu, quelle forme, quelle langue) et en écrit de nouveaux qui jouent à de petits jeux.
L'expérience qui parle le plus aux développeurs est la dernière : améliorer Qwen3.5-0.8B (24 couches) en mathématiques, sans entraînement.
Le mécanisme
Astra dispose d'une session Python avec les poids chargés (sans GPU), de problèmes d'entraînement tirés de GSM8K (7 469) et de MATH (7 275) — jamais des jeux de test — et d'un budget de 10, 25 ou 50 passes avant. Il constate que le modèle boucle : sur ses 96 premières réponses d'entraînement, 85 vont jusqu'à la limite de 32 768 jetons. Il attribue la boucle à une direction écrite par les MLP des couches 15 et 19 et la soustrait de 64 colonnes de sortie dans chacune : 131 072 poids modifiés sur 0,8 milliard, soit 0,016 %.
Échantillonnage de l'évaluation : température 0,6, top-p 0,95, top-k 20, pénalité de présence 1,5. La fiche officielle de Qwen met déjà en garde contre les boucles de réflexion.
| Qwen3.5-0.8B | MATH-500 | GSM8K | IFEval | Atteint la limite de jetons |
|---|---|---|---|---|
| Base | 7,9 % | 13,8 % | 21,0 % | 93,0 % |
| Édité, 10 passes | 12,3 % | 25,7 % | 49,0 % | 87,2 % |
| Édité, 25 passes | 14,1 % | 25,1 % | 39,9 % | 86,4 % |
| Édité, 50 passes | 48,1 % | 67,1 % | 62,3 % | 33,1 % |
Pourquoi c'est à nuancer
- Retirer un obstacle, pas ajouter une compétence. Les auteurs le disent : la correction laisse le modèle finir des réponses qu'il savait déjà élaborer. Sur Gemma 3 270M, qui ne boucle que dans 8,5 % des cas, Astra n'a rien amélioré : MATH-500 de 6,8 % à 7,0-7,7 % selon le budget, au plus environ un point.
- Avec 10 ou 25 passes, les boucles ne disparaissent presque pas : tout se joue au budget de 50.
- Résultats précoces, auteurs eux-mêmes prudents : limites liées à la taille de contexte et à l'outillage. Ils préparent un banc d'essai.
- Le modèle qui édite est propriétaire : la méthode se reproduit mal, mais le résultat se vérifie.
Comment s'y prendre
Tout est publié : les journaux complets (invites, code exécuté, réseaux lus et écrits, évaluations) sont sur
github.com/RikiyaT/lm_understand-logs, le Qwen édité sur Hugging
Face sous RikiyaT/Qwen3.5-0.8B-weight-space-programming, et une démonstration a été reconstruite à partir des
journaux par Ahsen Khaliq (akhaliq/weight-space-programming-demo).
Enseignement pratique pour qui fait tourner un petit modèle en local : avant de conclure qu'il est faible, mesurer la part de réponses qui atteignent la limite de jetons. Une boucle de réflexion ressemble à une mauvaise réponse.
Source : rikiyat.github.io. Source en anglais.