Nemotron Bolt : les 24 Go annoncés, mesurés

Ce qui se passe

NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB est un modèle d'agent de 74 milliards de paramètres, multimodal texte et image, dont environ 9 milliards sont actifs par token. Stockés à près de 2 bits, ils donnent un fichier de 22,0 Go — d'où le « 24GB » du nom.

InferenceKey l'a servi sur une seule A40 (48 Go) avec llama.cpp, lecteur d'images et drafter activés : environ 27 Go occupés, 136 tokens/s avec drafter, 70 sans.

Ce que les 24 Go couvrent vraiment

La somme annoncée par NVIDIA atteint 23,83 Go :

Deux choses rongent la marge. L'unité : une carte vendue 24 Go en a 24 Gio ; lue en décimal, la marge est d'environ 1,9 Go, lue en Gio elle tombe à 0,2 Go. Le drafter : il a consommé près de 2,4 Go sur l'A40, pas 0,96.

Les 27 Go mesurés (25,2 Gio), avec les 98 304 tokens de contexte du démarrage rapide, incluent le lecteur d'images : ils ne contredisent donc pas le chiffre texte seul de NVIDIA, dont les recettes llama.cpp demandent au minimum une carte de 32 Go. La tenue sur une vraie carte de 24 Go reste non démontrée : l'essai n'a pas été fait.

Le piège llama.cpp

Bolt exige du code llama.cpp du jour de sa sortie, le 15 octobre : Kartik Gulia (NVIDIA) a ajouté le modèle et son lecteur d'images, et ggerganov a fusionné la PR #30520 le même jour. Les builds plus anciens refusent le fichier — l'automate d'InferenceKey épinglait une version antérieure de 1 920 commits, et il a fallu forcer la v0.7.0 à la main.

Puis la compilation a mangé l'horloge : 764,8 s entre la demande et la mise à disposition sur une machine neuve, dont 705 s de compilation de llama.cpp sur 9 cœurs. En cause, un cmake --build sans parallélisme tant que CMAKE_BUILD_PARALLEL_LEVEL n'est pas défini ; même avec 12 jobs forcés, la compilation représentait 92 % de l'attente. Sur une machine à 31 cœurs, la même compilation prend 2 min 41 s, et une seconde instance sur une machine déjà compilée est prête en 15,6 s. Si le temps de premier démarrage compte, comptez les cœurs CPU, pas seulement le GPU.

Le drafter est un réglage de serveur

Bolt est livré avec le drafter LiLiCorr, environ 1,1 milliard de paramètres dans un fichier de 1,0 Go. Il propose plusieurs tokens d'avance, Bolt valide le lot en une passe, accepte la série jusqu'au premier écart et écrit lui-même le token suivant. Il s'active au démarrage du serveur :

--spec-draft-hf nvidia/NVIDIA-Nemotron-3.5-Bolt-74B-A9B-24GB-LiLiCorr-GGUF \
--spec-type draft-dflash --spec-draft-n-max 6 --spec-draft-ngl 999

Sur prompts courts et moyens, le gain est net : médiane de 136 tok/s contre 70 sur 25 requêtes, plancher à 110, et 70 % des tokens proposés acceptés. Sur longs documents, le résultat s'inverse : la lecture du prompt ralentit d'environ un quart, et une question sur un document de 25 000 tokens passe de 17,5 s à 21,5 s. Comme la v0.7.0 a le contrôle par requête compilé hors du binaire, le choix se fait une fois pour tout le serveur : en trafic mixte, mesurez les deux profils avant de trancher.

Deux pièges hors du modèle

• Une carte peut répondre et rester inutilisable. Les deux premières machines avaient des RTX 5090 : nvidia-smi répondait, mais CUDA ne démarrait pas. La plateforme marquait quand même le modèle comme prêt — d'où l'absence de chiffres sur 32 Go.
• Le raisonnement caché coûte du temps. Bolt réfléchit avant de répondre, hors de votre vue : une réponse d'une phrase a coûté 374 tokens de génération. La fiche du modèle documente un interrupteur pour couper ce raisonnement, qu'InferenceKey ne transmet pas encore.

Ce que ça montre, et ce que ça ne montre pas

Les chiffres de qualité sont ceux de NVIDIA : Bolt devance Qwen3.6-35B-A3B sur la plupart des bancs d'agents (Terminal-Bench 2.1 : 50,98 contre 44,38) et perd sur le rappel factuel. La mesure d'InferenceKey porte sur environ 50 requêtes, une seule à la fois : ni le partage de la carte entre requêtes simultanées — où les drafters aident généralement moins — ni vLLM n'ont été testés. Bolt et son drafter sont publiés sous OpenMDW-1.1, qui autorise l'usage commercial.

Source : InferenceKey sur DEV Community, 29 octobre 2026. Source en anglais ; mesures détaillées sur inferencekey.com.