Le constat de départ
Demandez à une équipe comment fonctionne sa chaîne de recherche augmentée. On vous parlera du modèle d'embedding, de la base vectorielle, peut-être du reclassement.
Demandez maintenant comment les documents sont découpés. La réponse est presque toujours : « euh, 500 tokens avec un peu de recouvrement ? Ce qui était par défaut. »
Cette valeur par défaut décide pourtant silencieusement de la qualité de chaque réponse que le système produira.
L'exemple qui rend ça concret
L'auteur prend une politique de remboursement en trois règles :
- retour possible sous 30 jours après livraison, remboursement intégral
- articles non ouverts, dans leur emballage d'origine
- 15 % de frais de remise en stock sur l'électronique ouverte
Découpée au mauvais endroit, la troisième règle se retrouve dans un fragment différent des deux premières.
Le système retrouve alors la règle des 30 jours sans la condition qui l'accompagne, et répond avec assurance quelque chose de faux.
C'est là que se situe le vrai danger. Ce n'est pas une réponse manquante — on verrait le problème. C'est une réponse complète, cohérente et fausse, celle qui passe tous les contrôles superficiels.
Pourquoi ça reste invisible
Les autres composants d'une chaîne RAG font l'objet de comparaisons, de bancs d'essai et de discussions publiques. Le découpage, lui, est un paramètre de configuration qu'on renseigne une fois et qu'on ne revoit jamais.
Or il détermine ce que le système est capable de retrouver. Aucun modèle d'embedding, si bon soit-il, ne peut rapprocher deux informations qui n'ont jamais été placées dans le même fragment.
Ce qu'il faut en faire
C'est le premier endroit à examiner quand les réponses sont plausibles mais inexactes — un symptôme qu'on attribue spontanément au modèle, alors qu'il vient souvent de ce qui lui a été donné à lire.
À retenir
La décision la plus déterminante d'une chaîne RAG est aussi la moins discutée. Un fragment qui sépare une règle de sa condition ne dégrade pas la réponse : il la rend fausse tout en la gardant crédible.
Source : dev.to