veilletech.frCe qui se passe
Ollama prépare sa version 0.33, aujourd'hui publiée en candidate à la sortie. L'annonce visible, c'est l'intégration avec Claude Desktop : depuis la barre de menus, vous activez ou désactivez individuellement les modèles que Claude pourra utiliser, une vue « Apps » regroupe les intégrations avec des commandes à copier, et les modèles hébergés n'apparaissent qu'une fois connecté.
Mais les lignes qui comptent vraiment sont dans la section consacrée au cache.
Le pré-remplissage ne repart plus de zéro
Le pré-remplissage (prefill) est l'étape où le modèle ingère le contexte avant de produire le premier jeton. Sur un agent de code, ce contexte pèse souvent des dizaines de milliers de jetons, et il est largement identique d'une requête à l'autre — d'où les points de reprise, qui permettent de repartir du travail déjà fait.
Trois corrections dans cette version :
- Une interruption est corrigée lorsqu'un client d'agent annule un pré-remplissage long.
- Un pré-remplissage annulé conserve désormais tous les points de reprise qu'il a traversés. La tentative suivante reprend là où elle s'est arrêtée au lieu de tout recalculer.
- Un pré-remplissage repris n'enregistre plus de point de reprise qui couvrirait moins que ce qu'il annonce. Le cas cité est spectaculaire : sur les modèles à couches récurrentes, une requête qui correspondait déjà à 46 000 jetons sur 47 000 était retraitée depuis le début.
Le correctif le plus instructif
Ollama désactive le message système de décompte des jetons restants de Claude Code. La raison mérite d'être lue deux fois : ce message était placé en tête de prompt, et comme son contenu change à chaque requête, il invalidait le cache clé-valeur… à chaque requête.
C'est la règle générale du cache de préfixe : tout ce qui varie doit être placé après ce qui ne varie pas. Un compteur, un horodatage ou un identifiant de session en début de contexte annule le bénéfice de tout ce qui suit. La leçon vaut pour n'importe quelle application qui construit ses prompts, pas seulement pour un client d'agent.
Ce que ça change pour vous
Si vous faites tourner un agent de code sur un modèle local, les interruptions et relances sont la norme, pas l'exception : on annule, on reformule, on relance. C'est exactement le scénario que ces correctifs visent — le gain se mesure sur le temps avant premier jeton après une annulation.
La limite est nette : tout cela porte sur le pré-remplissage, pas sur la génération. Si votre lenteur vient du débit de sortie, aucune de ces corrections n'y changera quoi que ce soit.
Parmi les autres améliorations : le lanceur DeepSeek Harness bascule sur npx
quand l'installation globale npm échoue, avec prise en charge des raccourcis de
commande sous Windows, et le parcours de première utilisation a été retouché.
À retenir
Une version dont l'annonce parle d'intégration, et dont la vraie valeur est un cache qui tient ses promesses. Testez la candidate, et comparez vos temps de première réponse avant et après : c'est la seule mesure qui tranchera pour votre configuration.
Source : Ollama