NumActu

Un jeton robots.txt commun pour refuser l'entraînement des IA dès 2027 chez Google

· Par NumActu · 3 min de lecture

Google, Microsoft et OpenAI prévoient de respecter une même ligne dans le fichier robots.txt pour signaler un refus d'entraînement des IA. Google la prendrait en compte à partir de 2027. Elle repose sur un brouillon de l'IETF daté du 30 octobre 2026, qui n'a pas valeur de norme.

Ce qui change pour les éditeurs de sites

Jusqu'ici, un administrateur qui voulait refuser l'entraînement des IA devait lister dans robots.txt chaque robot ou chaque jeton propre à un fournisseur, rappelle heise. Le nouveau dispositif vise à remplacer cette liste par une seule ligne.

Le jeton s'écrit « User-Agent: __usage_ai-training ». Selon l'IETF, le brouillon définit ce seul jeton, placé dans un groupe User-Agent ordinaire. Il n'ajoute ni directive ni grammaire nouvelle. Heise précise que les analyseurs qui ne le reconnaissent pas ignorent simplement le bloc.

Search Engine Journal donne un exemple : un site exclut l'ensemble de son contenu de l'entraînement, sauf un dossier de kit de presse. Tech Insider traite aussi du sujet et associe le jeton à une règle Disallow. Son contenu n'a toutefois pas pu être récupéré, et nous ne pouvons pas en dire plus.

Qui est concerné ?

D'après Search Engine Roundtable, Google prévoit de respecter ce « policy token » partagé, que toute entreprise d'IA participante peut lire. Le média attribue la proposition à Kevin Kelley, d'Anthropic.

Les sources ne sont pas tout à fait alignées sur la liste des entreprises. Search Engine Journal cite Google, Microsoft et OpenAI, mais, d'après le résumé consulté, pas Anthropic. D'autres médias incluent cette dernière.

Côté calendrier, heise indique que Google traitera le jeton à partir de 2027. Le brouillon est daté du 30 octobre 2026 et expire le 3 mai 2027, toujours selon heise.

Le lien avec Google-Extended

Le contrôle Google-Extended ne disparaît pas. Heise précise qu'il reste disponible pour les exceptions. Search Engine Roundtable le décrit comme un contrôle distinct. Google affirme que ce choix n'a aucun effet sur l'inclusion dans la recherche ni sur le classement.

Les deux médias rapportent une règle d'interprétation : si un site utilise le jeton sans nommer Google-Extended, Google le traite comme s'il avait interdit Google-Extended.

Heise ajoute que cela couvre aussi le grounding dans les applications Gemini. Selon le média, refuser l'entraînement peut donc réduire la visibilité dans l'IA.

Search Engine Journal note que Microsoft sépare l'entraînement du grounding. Un même opt-out n'aura donc pas le même effet chez Google et chez Microsoft.

Les limites à garder en tête

  • Ce n'est pas une norme. Il s'agit d'une soumission individuelle, non approuvée par l'IETF. Aucun groupe de travail ne l'a adoptée et elle n'a pas de statut de RFC.
  • Le respect est volontaire. Selon le brouillon, la conformité le resterait, sauf soutien par des mesures légales ou réglementaires.
  • Aucune garantie d'exclusion. Heise précise que le jeton ne garantit pas l'exclusion de l'entraînement. Les règles propres à chaque entreprise restent en vigueur.

Les informations de heise, de Search Engine Roundtable et de Search Engine Journal proviennent de résumés de recherche, pas d'une lecture intégrale des articles. Elles sont à confirmer à la lecture des pages d'origine.

Sources

PartagerXLinkedInWhatsApp