veilletech.frCe qui se passe
Le relecteur de code à base d'IA de Cloudflare coûtait 1,19 $ par revue en avril. Fin août : environ 2,46 $, sans changement d'architecture (le même coordinateur, les mêmes relecteurs spécialisés, les mêmes niveaux de risque). À partir de la mi-septembre, Cloudflare a demandé à ses agents de chercher où partaient les jetons. Résultat : 0,77 $ par revue avec le contrôle de qualité à effort élevé, soit −68 % par rapport aux 2,43 $ de ses deux semaines les plus chères. La revue médiane passe de 4 min 09 s à 1 min 32 s, le 99e centile de 15 min 20 s à 4 min 41 s. Environ 40 % de l'économie vient du code du relecteur, le reste du choix des modèles et de l'effort demandé.
Pourquoi la facture avait doublé
Surtout à cause des modèles : au début d'août, tous les relecteurs sont passés sur des modèles Anthropic, ce qui a fait monter le coût par job de 1,38 $ à 2,03 $. Le taux de lecture du cache était pourtant bon (85,7 % en avril, 97 % en septembre), mais le nombre de jetons par revue a plus que triplé, de 0,91 à 2,99 millions. Avant la chasse, la dépense se répartissait ainsi : 23 % en sortie, 43 % en écriture de cache, 34 % en lecture de cache.
Le plus gros gain : un préfixe commun mis en cache
Le cache de prompt ne reconnaît que des préfixes : le début de la conversation. Une écriture coûte 1,25 fois le prix d'entrée, une lecture 0,1 fois, et une entrée expire au bout de cinq minutes si personne ne la relit. Or chaque appel renvoie toute la conversation.
Cloudflare a enregistré, à partir du 14 septembre, l'usage de la première requête de chaque relecteur et une empreinte de son premier bloc système. Constat : elle ne trouvait un préfixe en cache que 14 à 26 % du temps, alors que 11 000 à 21 000 jetons (outils et prompt de l'agent) sont identiques dans tous les dépôts relus. La cause : OpenCode v1 construisait un seul bloc système, le prompt de l'agent suivi du dossier de travail et de la date, avec un unique point de cache à la fin. La partie commune n'était jamais stockée seule, donc une revue dans un dépôt ne profitait jamais de ce qu'une autre avait écrit.
Le 16 septembre, un marqueur ajouté en fin de prompt et un hook de plugin qui coupe le bloc à cet endroit ont séparé le bloc en deux : la première moitié, qui ne contient que ce que tous les jobs partagent, a son propre point de cache. Pour que cela tienne, tout ce qui est propre à un dépôt a été retiré de devant (liste des skills désactivée, descriptions d'outils figées). La part de premières requêtes qui lisent le cache est montée à 91–99,5 %. Avec le déplacement de l'index du relecteur de standards dans son prompt, le même jour, le coût par revue est passé de 2,47 $ à 2,02 $.
Les autres leviers, un à un : retirer aux sous-relecteurs l'outil de publication qu'ils tentaient d'appeler (57 à 76 % des sessions, un appel perdu) ; lire plusieurs fichiers en parallèle ; sauter des relecteurs aux revues répétées (AGENTS.md ignoré dans 56 % des cas, performance 23 %, documentation 13 %) ; ne plus relancer le modèle après la publication du résultat (environ 0,07 $ par job) ; arrêter les jobs annulés, dont 358 sur 446 continuaient à tourner. Au total, 0,65 $ de la baisse de 1,67 $ vient du code, 1,06 $ des changements de modèle et d'effort (Opus 5.5 à effort moyen, Sonnet 5.5 à la place de Sonnet 5, 47 à 62 % moins cher par job).
Les limites, que Cloudflare signale
- Pour le relecteur « qualité du code » à effort élevé, la qualité tient : il signale 40 % de constats graves en moins, mais les auteurs agissent sur 59 % d'entre eux contre 34 % avant, et les constats importants par revue restent à 0,30 contre 0,28.
- Mais à effort moyen, la performance a perdu de vrais constats (environ 64 % de problèmes importants en moins) et la sécurité a peut-être aussi reculé, sans que ce soit statistiquement net. Les deux sont à tester à effort élevé.
- Les juges sont eux-mêmes des modèles, les groupes comparés comptent 35 à 66 constats, la fenêtre « maintenant » ne dure qu'un jour, et chaque étape compare des heures ouvrées avant et après : ce n'est pas une expérience contrôlée.
Que faire
Si vous faites tourner des agents en volume, Cloudflare conseille de vérifier deux choses d'abord : la première requête de chaque session lit-elle bien le cache, et vos relecteurs trouvent-ils encore de vrais problèmes au niveau d'effort que vous payez. Pour le premier point, enregistrez l'usage de la première requête et une empreinte de son premier bloc système.
Source : Cutting our inference bill by 68% by being obsessive about optimization, blog Cloudflare, 19 octobre 2026. Source en anglais.