llmspeed : estimer un LLM local avant d'acheter

Ce qui se passe

Une fiche technique donne de la mémoire et une bande passante, pas des tokens par seconde. llmspeed, présenté sur Hacker News (« Show HN »), promet de faire sentir la vitesse d'un modèle local avant d'acheter le matériel. L'extraction de la page n'en montre que les listes et les notes de bas de page : la partie interactive n'a pas été vue.

Ce que le site recense

• 30 configurations : cartes Nvidia (de la RTX 3060 12 Go à la RTX 5090, RTX PRO 6000, DGX Spark, H100 et H200), AMD, Intel, Ryzen AI Max, Mac, et un Ryzen 9 9950X sans carte graphique avec 96 Go de DDR5.
• 15 modèles : GPT-OSS 20B et 120B, Gemma 4, Qwen, GLM-5.3, DeepSeek V4 et V4.1 Flash, Llama 3.1 8B, Nemotron 3.5 Lightning 30B A3B.

Selon la note du site, certains chiffres sont mesurés par la communauté (r/LocalLLaMA, localscore.ai et d'autres) ; les autres sont déduits de montages voisins ou projetés d'après les caractéristiques.

Limites

Le site l'écrit : ce sont des estimations pour un prompt court, sur un seul appareil. Un long contexte ou plusieurs cartes changent le résultat, et un chiffre projeté n'est pas une mesure. Le code est ouvert : github.com/nicorobinreal/llmspeed.

Comment s'en servir

Pour une liste courte, puis une mesure avec llama-bench de llama.cpp, sur sa propre quantification et avec un prompt long :

llama-bench -m ./modele.gguf -p 8192 -n 128

Source : llmspeed, projet présenté sur Hacker News le 17 octobre 2026.