ds4 : un MoE de 284 milliards sur un Mac de 128 Go

Ce qui se passe

DwarfStar 4, ou ds4, est un moteur d'inférence écrit en C, publié sous licence MIT dans le dépôt antirez/ds4. Il vise les Mac à grande mémoire et les machines CUDA ou ROCm, et prend le contre-pied des lanceurs génériques : il ne lit que des GGUF préparés par le projet, pour une poignée de familles validées de bout en bout — DeepSeek V4 et V4.1 Flash, GLM 5.x, Qwen3.8 Flash Next, en texte et en vision.

Comment un 284B tient en mémoire

DeepSeek V4 Flash compte 284 milliards de paramètres répartis en experts. Deux choix le rendent praticable :

• Quantification asymétrique 2 bits (avec imatrix) : les experts routés, qui forment l'essentiel du volume, sont fortement compressés ; les chemins partagés, empruntés à chaque jeton, gardent leur précision.
• Cache KV sur disque : les longs préfixes sont écrits sur SSD et retrouvés par l'empreinte du prompt. Un redémarrage ne force plus à tout recalculer.

Au-delà de la mémoire disponible, certains modèles sont lus depuis le SSD en flux : c'est le cas de V4.1 en Q2 sur 128 Go.

Les chiffres publiés

Mesures du projet, en q2 :

À 128 Go, V4 Flash Q2 sert de référence ; GLM 5.3 en Q2 et Qwen en Q4 y tiennent aussi. Une page dédiée décrit Qwen3.8 sur 64 Go.

Comment s'y prendre

git clone https://github.com/antirez/ds4
cd ds4 && ./download_model.sh ds4f-q2
make              # Metal
make cuda-spark   # variante CUDA pour DGX Spark
./ds4-server --ctx 100000

Trois exécutables partagent le même modèle et le même cache : ./ds4 pour le dialogue, ./ds4-server pour les API, ./ds4-agent pour des sessions de code persistantes. Le serveur parle les formats d'OpenAI et d'Anthropic : Claude Code, Codex ou OpenCode s'y branchent en changeant l'URL de base.

Les limites

• Pas de GGUF quelconque : uniquement les fichiers du projet.
• Deux bits restent une compression lourde ; la qualité est à juger sur vos propres tâches, les chiffres ci-dessus ne mesurent que la vitesse.
• Les débits viennent du projet, pas d'une mesure indépendante.

Source : DwarfStar 4 — Local frontier inference, site du projet, consulté le 3 octobre 2026. Dépôt : antirez/ds4.