Dynamo : le cache KV suit la session de l'agent
NVIDIA Dynamo, le routeur au-dessus de vLLM et SGLang, regroupe les requêtes d'un agent par identifiant de session — reconnu d'office pour Claude Code, Codex et OpenCode. Il peut ainsi mettre en pause, à la frontière d'un appel d'outil, les sessions qui saturent le cache KV au lieu de l'évincer. Gain annoncé : 12 à 16 % de débit sur SWE-bench face au routage par requête.

