Mistral Large 4 : 15 tok/s sur un M3 Ultra 512 Go

Ce qui se passe

Mistral a publié le 29 octobre les poids d'une version améliorée de Large 4, en préversion depuis ce mois-ci. Le modèle est multimodal, entraîné en Europe, et son architecture est un mixture of experts : à chaque token, un routeur sélectionne 4 experts sur 128, plus un expert partagé. D'où l'écart entre 1 000 milliards de paramètres au total et 49 milliards actifs, avec une fenêtre de contexte d'un million de tokens.

Trois niveaux de raisonnement existent : low, medium et high, ce dernier par défaut. On ne peut pas le désactiver.

Avec quoi le faire tourner

Mesures publiées par Hugging Face et par vLLM, pas par nous :

Matériel	Variante	Génération
1 M3 Ultra, 512 Go de mémoire unifiée	`Q2_K`	~15 tok/s, ~90 tok/s en prefill
4 RTX 6000 Pro	`NVFP4`, contexte 32K	~10 tok/s
4 RTX 6000 Pro	`IQ2_XXS`, contexte court	30 tok/s, 3 tok/s en contexte long
8 H200, vLLM	FP8, 131K de contexte	~65 tok/s, 120-138 avec DSpark sur du chat

Les quantifications 2 bits sont les seules à tenir sur une seule machine Apple Silicon de 512 Go. Le checkpoint FP8 pèse environ 1 061 Go.

Terminal

# llama.cpp, via Llama App
llama serve -hf ggml-org/Mistral-Large-4-1T-A52B-GGUF:Q2_K

# vLLM, FP8 sur 8 GPU, avec le drafter DSpark du checkpoint
docker pull vllm/vllm-openai:mistral-large-4
vllm serve mistralai/Mistral-Large-4-1T-A52B \
  --tensor-parallel-size 8 \
  --speculative-config '{"method": "dspark", "num_speculative_tokens": 3}' \
  --tool-call-parser mistral --enable-auto-tool-choice \
  --reasoning-parser mistral

Réglages utiles selon vLLM :

NVFP4 reste à 2,1 points de FP8 sur toutes ses évaluations, avec un écart moyen de -0,3 point. Il exige des GPU Blackwell.
DSpark double à peu près le débit de sortie sans changer le résultat, chaque token proposé étant vérifié par le modèle cible.
--decode-context-parallel-size 8 multiplie la capacité de cache KV par environ 7,9, au prix d'un décodage 16 à 28 % plus lent par token : à réserver aux contextes très longs ou aux nombreuses sessions simultanées.

Ce que ça coûte

API : 0,70 $ en entrée, 0,07 $ en entrée mise en cache, 2,10 $ en sortie, par million de tokens.
Licence : Mistral Ecosystem Open-Weight, une MIT modifiée. Usage, modification, fine-tuning et commerce sont libres ; un service de type Model-as-a-Service exige une licence commerciale distincte.

Ce que valent les scores

Presque tous viennent de Mistral ou sont cités par lui : 19,7 % sur FrontierCode 2.0, 41 % sur Terminal-Bench 4.0, 97,1 % de résistance sur B3. Le billet de Hugging Face donne d'autres valeurs (28,3 % sur Terminal-Bench 4, 93,3 % sur B3), proches des chiffres de préversion chez Mistral. Vérifiez donc à quelle version se rapporte un chiffre. Le rapport technique reste à paraître.

L'annonce la plus concrète pour un agent de code : 47 % de tokens en moins par tâche que GLM-5.3, pour un score équivalent sur le Coding Agent Index d'Artificial Analysis.

Comment s'y prendre

Mesurez sur votre propre tâche, avec reasoning_effort à medium puis high, en comparant le coût total d'une tâche réussie plutôt que le prix du million de tokens.

Source : Mistral, 29 octobre 2026. Source en anglais. Compléments : Hugging Face pour les mesures, vLLM pour le service.