veilletech.fr
vLLM : n'importe quel LLM décide en un jeton
Privatemode montre comment obtenir d'un LLM ordinaire une décision typée avec une probabilité par option, en une seule passe et un seul jeton : options numérotées, réponse préremplie, lecture des logprobs sur vLLM. Sur 28 jeux de données, GLM-5.3-Flash égale Jev, un modèle entraîné pour cela. Code et banc d'essai sont publiés ; les chiffres viennent de l'éditeur.