veilletech.frCe qui se passe
Bart de Goede a ajouté à son blog une page « ask my blog » : la recherche, déjà faite dans le navigateur, remonte les quatre meilleurs passages, puis un petit modèle tournant dans le navigateur les résume en deux phrases. Rien ne quitte la machine du lecteur. Il a aussi mesuré à quel point ces modèles disent vrai.
Le protocole
- 30 questions auxquelles le blog répond, reprises d'une évaluation de la recherche, et 15 questions auxquelles il ne répond pas, dont beaucoup de presque-sujets (« quel GPU pour Llama 70B ? »).
- Mêmes quatre passages et même consigne pour tous : deux phrases au plus, uniquement ces passages, dire quand ils ne répondent pas.
- Chaque réponse est notée par Opus 5.5 : fidèle, non étayée ou non-réponse. L'auteur a noté 20 réponses lui-même, sans voir le verdict : accord sur 16 sur 20.
- Exécution avec transformers.js, sur WebGPU ou, à défaut, en WebAssembly.
Les résultats
| Modèle | Téléchargement | Fidèles (sur 30) | Inventées (sur 15 hors sujet) |
|---|---|---|---|
| SmolLM2-135M | 120 Mo | 0 | 14 |
| LFM2.5-350M | 258 Mo | 2 | 14 |
| SmolLM2-360M | 275 Mo | 3 | 15 |
| Gemma 3 270M | 293 Mo | 3 | 13 |
| Qwen3-0.6B | 579 Mo | 15 | 5 |
| Gemma 4 E2B | 3,1 Go | 28 | 0 |
| Claude Haiku 5.5 (API) | — | 27 | 1 |
Sous 350 Mo, aucun modèle n'est exploitable : ils répondent presque à tout, y compris à la question du GPU, avec des références de cartes confondues ou inventées. Qwen3-0.6B, à 579 Mo, fait pile ou face. Gemma 4 E2B décline les questions pièges.
Ce qui ne marche pas
- Le seuil de pertinence : « comment faire du pain au levain » score 0,25 et est bloqué par un seuil à 0,45. Mais les questions voisines scorent 0,54 à 0,63, plus que plusieurs questions légitimes ; pour les bloquer il faudrait rejeter 13 des 30 vraies questions.
- La boucle : les petits modèles répètent les mêmes lignes. Une pénalité de répétition de 1,15 coupe la boucle, pas l'invention.
- Les réponses plus longues : Qwen3 passe de 15 à 9 puis 5 fidèles sur 30 quand on autorise 2, 4 puis 6 phrases ; Gemma 4 E2B de 28 à 26 puis 24.
Le coût
Héberger Gemma 4 E2B sur un GPU L4 chez Google Cloud coûte environ 0,71 $ l'heure, soit 516 $ par mois. Haiku 5.5 a répondu aux 45 questions pour 0,006 $. Pour un vrai usage, l'auteur conseille de partir d'une API, sans jamais y mettre la clé dans un site statique.
Comment s'y prendre
- Avant de choisir un modèle local pour du RAG, bâtir son propre jeu de questions, avec des questions sans réponse, et noter la fidélité plutôt que le style.
- Ne pas descendre sous quelques centaines de Mo de poids sans mesurer.
- Demander des réponses courtes : plus de phrases, plus d'invention.
Source : Running RAG with a (small) language model in the browser, Bart de Goede, 12 octobre 2026.