veilletech.frCe qui se passe
Meta publie Muse Spark Open, un modèle à poids ouverts de la série Muse : environ 816 milliards de paramètres dont 42 milliards actifs par token, en mélange d'experts (256 experts par couche, 8 choisis par token). Il prend du texte, des images, de l'audio et de la vidéo, produit du texte, annonce 1 048 576 tokens de contexte et vise le code agentique : lire une base de code, déboguer, appeler des outils. Hugging Face, qui le décrit comme le modèle ouvert américain le plus capable à ce jour, publie dans le même billet les recettes pour l'exécuter.
Ce que ça coûte en mémoire
Seuls 8 experts calculent chaque token, mais les 256 restent en mémoire : il faut la mémoire d'un modèle de 816 milliards pour la vitesse d'un modèle de 42.
| Format | Taille ou matériel |
|---|---|
BF16 (Muse-Spark-Open-816B-A42B) |
environ 1,5 To ; 4 nœuds de 8 H200 avec transformers |
NVFP4 (…-NVFP4, Blackwell) |
un nœud B200 avec transformers ; 4 GB300 avec SGLang |
GGUF Q2_K (llama.cpp) |
304 Go, 18 tokens/s sur un Mac M3 Ultra de 512 Go |
MLX oQ3e (3 bits) |
344 Go, 21 tokens/s en génération, 225 en prefill, même Mac |
| Cache KV, contexte complet | environ 250 Ko par token en BF16, soit 266 Go pour 1 M tokens |
Le plus utile pour un développeur
llama.cpp le gère dans ses binaires précompilés :
curl -LsSf https://llama.app/install.sh | sh
llama serve -hf ggml-org/Muse-Spark-Open-816B-A42B-GGUF:Q2_KLe serveur répond sur l'API compatible OpenAI (/v1/chat/completions), avec une
interface web qui accepte images et audio. Les quantifications Q2_K, Q4_K_S et Q8
ont été testées sur puces Apple. En 2 bits le modèle demande « un peu plus de
guidage » ; couplé à l'agent de code Pi, il a servi à générer des assets 3D en
Three.js. vLLM (checkpoint NVFP4, GPU Blackwell, --tensor-parallel-size 4,
contexte de 128 K) et SGLang sont aussi pris en charge, ainsi que MLX
(mlx_lm.generate) et un déploiement en un hf endpoints catalog deploy sur
8 × RTX Pro 6000 (131 072 de contexte) ou 8 × H200 (le million complet).
Les limites
- Le raisonnement ne se désactive pas. On le règle de
lowàxhigh(le défaut) ; enlow, on consomme moins de tokens sur les tâches simples. - Même en 3 bits, plus de 256 Go de RAM sont nécessaires.
- Fine-tuning : LoRA sur les couches d'attention (rang 16), experts gelés, avec
TRL
SFTTrainer, sur 8 nœuds de 8 H100 — 500 pas en environ 2 heures, précision moyenne par token de 72 % à 84 %. Hors de portée d'un poste de travail. - La licence n'est pas détaillée dans l'article : la lire sur la fiche du modèle avant tout usage commercial.
Pour une machine modeste, Meta cite Muse Glimmer (sorti en août), un petit modèle dense de la même série « idéal pour tourner en local », qui partage le tokenizer.
Source : Hugging Face, « Welcome Muse Spark Open », 15 octobre 2026. Poids : collection meta-models.