veilletech.frCe qui se passe
Aujourd'hui, refuser l'entraînement des modèles d'IA dans robots.txt oblige à lister chaque robot : GPTBot
(OpenAI), ClaudeBot (Anthropic), Google-Extended (Google, proposé depuis 2023). Selon heise, qui cite le blog
Google Search Central, Google compte à partir de 2027 reconnaître un signal commun, fondé sur le travail du groupe
AI Preferences (AIPREF) de l'IETF.
Le mécanisme
Aucune syntaxe nouvelle dans le protocole d'exclusion des robots (RFC 9309) : le brouillon
draft-kelley-aipref-training-preference-signal réutilise la ligne User-Agent avec un jeton de politique,
__usage_ai-training. Il ne désigne pas un robot précis mais un usage, valable pour tous les fournisseurs
participants :
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/Cet exemple refuse tout l'entraînement sauf le dossier /press-kit/. Un analyseur qui ne connaît pas le jeton ignore
le bloc, comme tout agent inconnu selon la RFC 9309.
Ce que ça change
- Les règles par fournisseur restent et prennent le dessus : un refus général via le jeton peut être nuancé robot par robot.
- Si vous refusez via le jeton sans rien écrire sur
Google-Extended, Google le traite comme unDisallow. - Autoriser explicitement
Google-Extendedouvre aussi l'entraînement, mais Google en fait la condition pour apparaître, avec des clics, dans les réponses des applications Gemini par ancrage (le modèle s'appuie sur des sources web à la volée).
Limites
C'est un brouillon, pas un standard publié ; le reste du vocabulaire AIPREF (autres usages de l'IA) est encore en
discussion. robots.txt demeure un accord volontaire, pas un contrôle d'accès : certains fournisseurs ignorent déjà ses
règles. Google juge la proposition cohérente avec le code de bonne pratique de l'EU AI Act, qui reconnaît ce fichier
comme moyen principal d'exprimer une réserve de droits lisible par machine.
Source : heise Developer, qui cite le blog Google Search Central et le brouillon IETF. Source en allemand ; les faits se recoupent avec ces deux documents.