48 des 76 sites qui refusent l’entraînement de l’IA n’ont pas écrit ce refus
Sur trois strates de domaines cités, 48 des 76 refus de l’entraînement de l’IA venaient d’un défaut de CDN, et 53 des 81 signaux tapés l’autorisent.
Un Content Signal est la seule ligne lisible par machine qui dit ce qu’un système d’IA peut faire de votre page après l’avoir lue. Nous l’avons demandée à trois strates disjointes de domaines cités. 2 002 ont servi un robots.txt et 129 déclarent un signal, et le nombre intéressant n’est ni l’un ni l’autre : sur les 76 qui refusent l’entraînement de l’IA, 48 n’ont pas écrit ce refus, et sur les 81 déclarations qu’une personne a bien tapées, 53 autorisent l’entraînement.
Tout décompte de « le web coupe l’entraînement de l’IA » lu dans les robots.txt à grande échelle compte, en partie, la décision produit d’un fournisseur. Voici la taille de cette partie sur une population mesurable.
Transparence : EchoWi vend de la mesure de visibilité IA, donc une étude sur qui déclare correctement ses préférences est une étude qui a un intérêt. La méthode est une requête GET sur
/robots.txtpar domaine et une vérification de si chaque ligneContent-Signal:tombe dans un bloc# BEGIN Cloudflare Managed content. La date est les 24 et 25 août 2026, les trois populations et tous les seuils ont été écrits avant leur première requête, chaque domaine qui déclare est nommé dans notre registre de mesures, et n’importe qui peut le refaire contre nous en une minute.
La version courte
-
547 domaines interrogés, 511 ont servi un robots.txt. 26 ont répondu par un défi de bot, 5 étaient injoignables, 5 n’avaient pas de fichier. Ces trois-là sont comptés à part, car un défi n’est pas un fichier absent.
-
31 des 511 déclarent un Content Signal. Un sur 16, sur une population choisie pour avoir été citée dans des réponses d’IA.
-
10 des 31 portent toutes leurs lignes dans un bloc géré de Cloudflare. Personne sur ces sites ne les a tapées.
-
Les 10 lignes gérées sont la même chaîne, octet pour octet. Un réglage par défaut, pas dix décisions.
-
16 domaines refusent l’entraînement de l’IA. Pour 10 d’entre eux, le refus est le réglage par défaut. C’est le résultat : déclarer est surtout un acte humain, refuser surtout pas.
-
Et parmi les 21 qui ont bien tapé quelque chose, il n’y a que 6 formulations distinctes. Trois d’entre elles couvrent 18 domaines. Cette partie n’était pas prédite dans le premier bras et y est rapportée comme une observation.
-
Répété sur 379 domaines disjoints, cela tient. 24 déclarent, 9 sont le réglage par défaut géré, la formulation gérée reste une seule chaîne, et le décompte des formulations, cette fois figé comme prédiction, est revenu à 3 formulations couvrant 11 sur 15.
-
Posée à une seconde convention, ce sont les mêmes vingt sites qui reviennent. Sur les 120 domaines qui interdisent un robot d’IA nommé, 20 ne le font qu’à cause du bloc géré, et 19 de ces 20 sont les mêmes domaines dont le Content Signal était le réglage par défaut. Une seule fonctionnalité produit écrit les deux.
-
Le défaut n’est pas un interrupteur, c’est une position. Il exclut
GPTBot,ClaudeBotetGoogle-Extendedet laisse tranquillesOAI-SearchBot,Claude-UseretGooglebot: bloquer l’entraînement, garder la recherche, sur vingt sites qui ne l’ont pas écrit. -
Et sur une troisième strate de 1 221 domaines cités une fois, le mécanisme se retourne. En agrégeant les trois, 48 des 76 sites qui refusent l’entraînement de l’IA n’ont pas écrit ce refus, et sur les 81 déclarations qu’une personne a bien tapées, 53 autorisent l’entraînement. Deux signaux tapés par un humain sur trois disent oui ; celui qu’écrit la machine dit toujours non.
Pourquoi la question est celle de l’auteur et non de l’adoption
La convention est simple. Une ligne dans le robots.txt dit search=yes, ou ai-train=no, ou ai-input=yes, et une machine qui lit le fichier apprend ce que l’éditeur permet. Dix jours plus tôt, nous avons posé la même question aux fournisseurs de visibilité IA, et la réponse y était 9 sur 80.
Ce qui a changé entre les deux études, ce n’est pas la question. C’est que l’instrument a appris à en poser une seconde.
Cloudflare, qui a proposé la convention, peut insérer un bloc géré dans le robots.txt d’un client. Ce bloc porte son propre en-tête de commentaires et sa propre ligne Content-Signal. Lue à plat, une déclaration à l’intérieur ressemble exactement à une déclaration qu’un éditeur a tapée. Le fichier dit la même chose dans les deux cas, et le décompte est le même dans les deux cas.
Ce ne sont pas la même affirmation. « Cet éditeur a décidé de ne pas autoriser l’entraînement » et « la CDN de cet éditeur a un réglage par défaut, et l’éditeur ne l’a pas changé » décrivent des mondes différents, et un seul est une preuve de ce que veulent les éditeurs. Les séparer ne coûte rien dès qu’on cherche les marqueurs du bloc, et cela change le titre.
Ce que nous avons demandé
La population, ce sont les domaines enregistrables que ce registre a notés comme cités dans trois endroits ou plus de ses mesures, en ramenant www. et les sous-domaines au nom enregistrable. Cela fait 547 domaines. Tous ont été interrogés. Aucun n’a été choisi.
| Interrogés | 547 |
| Ont servi un robots.txt | 511 |
| Ont répondu par un défi de bot | 26 |
| Injoignables | 5 |
| Sans fichier | 5 |
Les trois seaux qui suivent le premier restent séparés exprès. Un défi est un fait sur le bord et non sur le fichier, et un hôte qui ne répond jamais est un fait sur notre lecture et non sur le site. Verser l’un ou l’autre dans « ne déclare pas » gonflerait la majorité silencieuse avec des sites que nous n’avons simplement pas lus.
31 des 511 déclarent au moins une ligne Content-Signal. Un sur seize, et cela sur une population choisie pour avoir été citée dans des réponses d’IA, ce qui, si tant est, penche vers des sites attentifs à ce sujet.
Un tiers des déclarations n’ont été tapées par personne
La prédiction, figée avant la première requête, était que 60 pour cent ou plus des domaines déclarants porteraient toutes leurs lignes dans un bloc géré, avec 30 pour cent ou moins retirant l’idée entièrement.
La réponse est 10 sur 31, soit 32 pour cent, ce qui tombe un point au-dessus du seuil de retrait et se publie pour ce que c’est : partiel, et bien plus petit que prédit. La majorité des déclarations sur cette population ne sont pas un réglage par défaut de CDN. Environ un tiers le sont.
Cela mérite d’être dit clairement, car le titre inverse était disponible et aurait été plus spectaculaire. Ce n’est pas ce que dit la donnée.
La deuxième prédiction a tenu exactement. Les 10 déclarations gérées portent la chaîne identique, search=yes,ai-train=no,use=reference, espacement compris, et dans tous les fichiers que nous avons ouverts elle se trouve à la même ligne d’un bloc structurellement identique. C’est un réglage par défaut déployé 10 fois, pas 10 sites convergeant vers la même formulation.
Les refus vont dans l’autre sens
La troisième prédiction est là où l’étude gagne son titre.
Sur les 31 domaines déclarants, 16 refusent l’entraînement de l’IA : leur ligne contient ai-train=no. Réparti selon qui l’a écrite :
| Refus tapés hors d’un bloc géré | 6 |
| Refus qui sont le réglage par défaut géré | 10 |
Les deux statistiques pointent donc dans des directions opposées sur la même population. Déclarer est surtout un acte humain, et refuser surtout pas. Deux tiers des refus de cet échantillon ont été placés par un réglage par défaut que le propriétaire du site n’a peut-être jamais vu, et encore moins choisi.
Rien ici ne dit que ces éditeurs sont en désaccord avec le refus. Un réglage par défaut peut très bien exprimer ce que quelqu’un souhaite. Ce qu’il ne peut pas faire, c’est servir de preuve qu’ils ont décidé quoi que ce soit, et un titre de la forme « N pour cent des sites bloquent désormais l’entraînement de l’IA » est exactement ce genre d’affirmation.
Six formulations pour vingt et une déclarations
Cette partie n’était pas prédite, et elle est rapportée comme observation et non comme résultat, car l’analyse a été choisie après avoir vu les données.
Parmi les 21 domaines qui déclarent hors d’un bloc géré, il y a 6 formulations distinctes, et 3 d’entre elles expliquent 18 domaines. Sept entreprises sans lien publient ai-train=yes, search=yes, ai-input=yes. Six publient les mêmes trois champs dans un autre ordre. Cinq publient ai-train=no, search=yes, ai-input=yes. Seuls 3 domaines de tout l’ensemble portent une formulation qui n’apparaît qu’une fois.
Nous avons vérifié si la chaîne des sept domaines venait d’un seul système de gestion de contenu produisant un seul fichier, car cela aurait été l’explication bon marché. Ce n’est pas le cas. Leurs robots.txt vont de 9 à 130 lignes et la ligne Content-Signal tombe de la première à la 132e, dans des contextes complètement différents.
Puis nous avons vérifié la source évidente, ce qui a coûté une requête. contentsignals.org, le site de référence de la convention, publie cette chaîne exacte avec cet espacement exact. La lecture la plus probable est donc que sept éditeurs ont copié l’exemple, ce qui est une chose normale et raisonnable à faire et n’est pas non plus la même chose qu’écrire une préférence.
Relancé sur un échantillon où il n’avait pas été trouvé
Un chiffre trouvé dans un échantillon est un chiffre sur cet échantillon jusqu’à ce qu’il apparaisse dans un autre. Les mêmes questions sont donc allées à une strate disjointe : les 379 domaines enregistrables que ce registre a vus cités exactement deux fois, qui ne partagent aucun membre avec les 547 ci-dessus. Les quatre prédictions et leurs seuils ont été écrits avant la première requête.
361 ont servi un robots.txt, 12 ont répondu par un défi, 5 étaient injoignables, 1 n’avait pas de fichier. 24 déclarent un Content Signal.
| Bras 1, cités 3 fois ou plus | Bras 2, cités exactement deux fois | |
|---|---|---|
| Domaines interrogés | 547 | 379 |
| Déclarants | 31 | 24 |
| Déclarants entièrement gérés | 10, soit 32 pour cent | 9, soit 38 pour cent |
| Formulations gérées distinctes | 1 | 1 |
| Refusant l’entraînement | 16 | 19 |
| Refus qui sont le réglage par défaut | 10 | 9, soit 47 pour cent |
La part gérée se réplique. La prédiction était de 17 à 47 pour cent, c’est-à-dire à moins de quinze points du premier bras, et elle est revenue à 38.
La formulation unique se réplique. Les 9 déclarations gérées du second bras portent la même chaîne que les 10 du premier.
L’affirmation sur les refus se réplique en direction et pas au niveau prédit, et cela mérite d’être dit exactement. La prédiction écrite était « la moitié ou plus », et 9 sur 19 fait 47 pour cent, elle échoue donc d’un domaine. Le seuil de retrait était d’un sur cinq, et on en est loin. La phrase honnête est donc que le réglage par défaut explique près de la moitié des refus dans les deux bras, pas la majorité.
Et le décompte des formulations, qui était hier une observation, a été figé comme prédiction et a tenu. Dans le second bras, 15 domaines déclarent hors d’un bloc géré en utilisant 7 formulations, et les 3 plus courantes en couvrent 11, soit 73 pour cent, contre un seuil de la moitié. En agrégeant uniquement cette affirmation, car c’est la seule que les deux bras font sur le même objet : 36 déclarations tapées, 10 formulations distinctes, dont 3 en couvrent 28.
La formulation tapée la plus courante des deux bras n’est pas la permissive. C’est ai-train=no, search=yes, ai-input=yes, sur 11 domaines sans lien, octet pour octet.
Le facteur de confusion que le protocole a nommé à l’avance
Un domaine cité deux fois est une strate moins citée qu’un domaine cité trois fois ou plus, et les deux bras diffèrent sur quelque chose que le protocole n’avait pas prédit : 19 des 24 déclarants refusent l’entraînement dans le second bras, contre 16 sur 31 dans le premier. Cela fait 79 pour cent contre 52.
Ce protocole ne peut pas dire s’il s’agit de la strate, du type de site ou du hasard sur de petits nombres. C’est écrit ici plutôt qu’expliqué, car une différence de cette taille mérite d’être nommée même quand l’étude qui l’a trouvée ne peut pas la résoudre.
Ce que « tapée » peut et ne peut pas vouloir dire
C’est la limite qui compte, et le décompte des formulations ci-dessus est ce qui la rend mesurable plutôt que rhétorique.
Notre instrument sépare les lignes situées dans un bloc géré de Cloudflare de celles qui sont dehors. C’est une distinction réelle et c’est exactement ce que les marqueurs du bloc permettent de voir. C’est plus étroit que la paternité. Une ligne collée depuis un site de référence, une ligne ajoutée par un plugin, une ligne héritée d’un gabarit comptent toutes comme tapées, car aucune ne vit dans un bloc géré.
Donc 21 est un plafond du nombre de déclarations avec un auteur dans cet échantillon, pas une estimation. Le plancher, si l’on traite toute formulation répétée comme copiée, est 3. La vérité est entre les deux, et aucune lecture du robots.txt seule ne peut la situer.
Nous préférons publier cette fourchette plutôt que le plafond avec une étiquette rassurante dessus.
La même question à un second fichier, et les mêmes vingt sites
Un Content Signal est une ligne d’une convention jeune. La façon ancienne de dire à un robot d’IA de ne pas entrer est une règle Disallow avec le robot nommé, et elle existe depuis des années. Si la paternité est une propriété réelle et non un artefact d’une convention, elle doit apparaître là aussi.
Les mêmes 870 fichiers servis ont donc été relus, cette fois pour le verdict que quatorze robots d’IA nommés obtiennent à la racine du site, puis une seconde fois avec le bloc géré retiré, pour voir quels verdicts produisent les lignes propres du site.
| Bras 1 | Bras 2 | |
|---|---|---|
| Domaines servant robots.txt | 510 | 360 |
| Interdisent au moins un robot d’IA | 82 | 38 |
| Parmi eux, le blocage n’est que le texte géré | 10 | 10 |
| Domaines ne nommant aucun robot d’IA | 349 | 271 |
La prédiction, écrite avant la requête, était qu’au plus un bloqueur sur cinq serait le réglage par défaut, au motif qu’un Disallow nommé est un acte plus ancien et plus délibéré qu’une ligne de signal. Elle est revenue à 12 % dans le premier bras, confortablement dedans.
Le nombre était juste et le raisonnement était faux, ce qui est pire que d’avoir tort, parce que personne ne le revérifie.
Les vingt domaines dont le blocage de robots n’est que le texte géré sont, à dix-neuf, les mêmes domaines dont le Content Signal n’est que le texte géré. Pas une population semblable. La même liste. La différence entre 12 % des bloqueurs et 32 % des déclarants n’est donc pas un fait sur des règles Disallow plus délibérées que des lignes de signal. Ce sont les mêmes vingt sites divisés par deux dénominateurs différents.
Ce que dit vraiment le réglage par défaut
Voici le bloc, pris chez l’un des vingt, sans rien retirer :
# BEGIN Cloudflare Managed content
User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /
User-agent: Amazonbot
Disallow: /
...
User-agent: Google-Extended
Disallow: /
User-agent: GPTBot
Disallow: /
User-agent: meta-externalagent
Disallow: /
# END Cloudflare Managed Content
Il autorise tout à tout le monde, puis nomme neuf robots et ferme la porte à chacun. Lisez la liste et c’est une position, pas un interrupteur : GPTBot dehors et OAI-SearchBot non. ClaudeBot dehors et Claude-User non. Google-Extended dehors et Googlebot non.
C’est bloquer l’entraînement et garder la recherche, exprimé à l’identique sur vingt sites de deux strates disjointes, et aucun des vingt ne l’a écrit.
Savoir si ces éditeurs sont d’accord est une autre question à laquelle ceci ne répond pas, et un réglage par défaut peut très bien refléter la volonté du propriétaire du site. Ce que voit notre instrument, c’est qui a tapé la ligne, et c’est tout ce que nous en affirmerons.
Pourquoi il importe que le défaut ait un avis
Toute lecture de ces fichiers qui les traite comme une préférence exprimée a désormais un plancher dessous. Non parce que les éditeurs seraient négligents, mais parce que la couche est assez petite pour qu’une seule fonctionnalité produit la déplace.
Il y a un effet de second ordre qui mérite d’être nommé, et il pointe à l’opposé de l’inquiétude habituelle. Ce registre mesure, sur la même population, que les robots d’entraînement sont refusés bien plus souvent que ceux de recherche. Le défaut géré est une politique de blocage de l’entraînement avec maintien de la recherche, donc une partie de cet écart pourrait venir du défaut et non du web. En retirant le texte géré et en recomptant, l’écart se resserre et tient : GPTBot passe de 3,4 fois OAI-SearchBot à 2,6, et ClaudeBot de 2,5 fois Claude-User à 1,9.
La direction est celle du web. Une partie de la taille était celle du fournisseur.
Ce que coûte le verdict à la racine, mesuré
La limite ci-dessous dit qu’ici un verdict de robot est le verdict à la racine du site, et qu’un domaine pourrait toujours interdire un robot sur une section. Cela mérite un chiffre plutôt qu’une réserve, et le chiffre vient des fichiers que le balayage avait déjà, il n’a donc coûté aucune requête.
Les 120 bloqueurs utilisent tous un Disallow: / nu. Aucun ne restreint le blocage à une section. Deux routes s’accordent là-dessus, le parseur et un balayage de texte des groupes écrit à la main, ce qui est la façon dont ce registre vérifie une affirmation qu’il compte mettre en avant.
L’autre moitié, ce sont les domaines qui laissent passer tous les robots d’IA à la racine. Ils sont 750, et dix chemins courants ont été soumis à chacun : sections d’article et de blog, une page de recherche, un préfixe d’API et un fichier téléversé.
| Sur les 750 qui autorisent tous les robots d’IA à la racine | |
|---|---|
| En interdisent un sur un chemin testé | 130 |
| …où la même règle arrête aussi Googlebot | 114 |
| …où Googlebot passe et pas le robot d’IA | 16 |
Cette ligne du milieu est tout l’enjeu. Une règle de chemin qui arrête aussi Googlebot est une règle robots ordinaire sur une section, pas une politique sur l’IA, et les compter ensemble donne 130 blocages d’IA par chemin là où il y en a 16. Un balayage qui ne demanderait pas si la règle est spécifique à l’IA surestimerait cette couche d’un facteur huit.
Les 16 sont /api/, /search et /wp-content/uploads/ : de l’infrastructure, pas de l’éditorial. Le verdict à la racine est donc la réponse entière pour tous les bloqueurs, et il en manque environ un sur cinquante du reste, sur des chemins où personne ne publie d’articles.
Dix chemins sont dix chemins, donc 16 est un plancher et non un décompte.
Une troisième strate, et le taux de blocage baisse avec la profondeur de citation
Les deux bras ci-dessus faisaient 547 et 379 domaines. Le 25 août nous avons lu les mêmes deux fichiers pour les 1 221 domaines enregistrables que notre registre a vus cités exactement une fois, une strate disjointe des deux et plus grande que les deux réunies. Les mêmes quatorze agents, le même détecteur de bloc géré, le même jour que son jumeau llms.txt.
| Des domaines ayant servi un robots.txt | Cités 3+ | Cités deux fois | Cités une fois |
|---|---|---|---|
| Servis | 510 | 360 | 1 132 |
| En interdisent un des dix publiés | 15,5 % | 10,3 % | 9,0 % |
| Nomment une règle de robot d’IA | 32 % | 25 % | 27 % |
| Des bloqueurs, valeur par défaut gérée | 12 % | 26 % | 28 % |
Le taux de blocage baisse de façon monotone avec la fréquence à laquelle nous avons vu un domaine cité, et le taux de nommage non. Trois strates disjointes, un instrument, un jour. C’est le contraire de ce que prédit l’histoire selon laquelle bloquer vous coûte des citations, et ce n’est pas une affirmation causale : la lecture évidente est que les domaines que nous voyons cités le plus souvent sont de grands éditeurs, et que les grands éditeurs sont ceux qui ont une position juridique sur l’entraînement de l’IA.
Et la part du blocage que personne n’a tapée va dans l’autre sens. Parmi les sites qui bloquent, la proportion dont le blocage est entièrement la valeur par défaut gérée passe à 12, 26 et 28 % à mesure que la strate est moins citée. Plus on regarde loin dans la queue, plus le refus du web est la décision produit d’un CDN et non celle d’un éditeur, ce qui est le constat de cet article mesuré sur une population où il n’a pas été trouvé.
Face aux seuils que cette étude a gelés avant sa première requête : le taux des dix publiés tombe à 9,0 %, sous la borne basse de 11,6 de l’intervalle autour des 20 % publiés à l’origine, donc ce chiffre ne décrit pas cette strate et l’article le dit plutôt que de le moyenner. Le contrôle Googlebot passe à 1 130 sur 1 132, et l’agent le plus bloqué est de nouveau un robot d’entraînement, CCBot à 80.
La strate de la queue, et deux signaux tapés sur trois disent oui
L’étude publiée a lu deux strates. La troisième a été gelée avant la première requête, sur les 1 221 domaines enregistrables que ce registre a cités exactement une fois, disjoints des deux bras ci-dessus, et elle a été choisie parce que la moitié « robots » de cette même pièce venait de mesurer un gradient : la part gérée des bloqueurs monte quand la citation baisse. Si cette forme appartient au web et non à une convention, elle devait apparaître ici aussi.
| Prédit | Seuil | Mesuré | |
|---|---|---|---|
| Taux de déclaration | 4 à 9 % | hors de la bande | 6,5 %, 74 sur 1 130 |
| Part gérée des déclarants | 40 % ou plus | 30 ou moins l’annule | 39 %, partiel |
| Part gérée des refusants | 45 % ou plus | 25 ou moins retire le titre | 71 %, 29 sur 41 |
| Trois formulations tapées majeures | la moitié ou plus | 73 %, 33 sur 45 |
L’adoption se réplique trois fois et presque à la décimale. 6,1 %, 6,6 et 6,5, sur trois strates disjointes allant d’une citation à plus de trois. Écrire un Content Signal n’est pas une propriété de la fréquence à laquelle on vous cite.
La deuxième prédiction s’est arrêtée à un dixième de point de son seuil et se publie comme partielle. La barre était à 40 et le chiffre est 39,2. La direction est monotone, 32, 38 et 39, et la force n’arrive pas, donc le gradient ne peut pas être déclaré transversal aux conventions. Arrondir 39,2 en « pratiquement 40, confirmé » aurait été choisir la lecture après avoir vu la donnée.
La quatrième a tenu au 73 % exact du deuxième bras, ce qui fait deux fois qu’une prédiction promue depuis une observation postérieure revient sur un échantillon où elle n’avait pas été trouvée.
Le résultat que le protocole n’avait pas prédit
En agrégeant les trois strates disjointes, l’étude dit une chose qu’elle ne pouvait pas dire avec une seule : sur 2 002 domaines qui servent un robots.txt, 129 déclarent un Content Signal, 76 d’entre eux refusent l’entraînement de l’IA, et 48 de ces 76 n’ont pas écrit ce refus.
Maintenant, retournez-le. 81 des déclarations ont été tapées par une personne, et 53 de ces 81 autorisent l’entraînement de l’IA.
Deux signaux sur trois tapés par un humain disent oui. Celui qu’écrit une machine dit toujours non. Le réglage par défaut émet une seule chaîne et cette chaîne est un refus, donc toute déclaration gérée refuse : elle sature les refusants et se dilue parmi les déclarants. C’est exactement pourquoi la deuxième prédiction est sortie partielle et la troisième élevée, et le protocole gelé disait à l’avance qu’un tel partage signifierait que la différence porte sur ce qui est déclaré et non sur qui le déclare.
Donc un décompte de « le web coupe l’entraînement de l’IA », lu dans les robots.txt à cette échelle, mesure la décision produit d’un fournisseur plus qu’une opinion. Les gens qui prennent la peine de taper une préférence disent majoritairement d’entrer.
Ce qu’a fait l’instrument, dit à voix haute
Le balayage a été lancé trois fois le même jour, parce que le répéter ne coûte rien. Déclarants 74, gérées 29, tapées 45, refus 41 et formulations gérées 1, les trois fois. Le seul chiffre qui a bougé est le dénominateur, 1 131, 1 132 et 1 130, un ou deux hôtes clignotant entre répondre et ne pas répondre. Une statistique dont le numérateur se répète trois fois et dont le dénominateur oscille de deux vaut bien plus qu’une lecture unique.
Le décompte des refus est un plancher à exactement un près, et le détecteur a été laissé tel quel exprès. Un site écrit indexed-content=allow, ai-training=disallow, ai-search=allow, qui ne sont pas les clés que définit Content Signals : la spécification connaît search, ai-input et ai-train. Notre détecteur cherche ai-train=no, donc cette ligne ne compte pas comme un refus même si l’intention est claire. Élargir le détecteur déplacerait les deux bras publiés sans que personne sache combien de leurs lignes utilisent un autre vocabulaire, alors l’exception est déclarée à la place.
Et une chose de plus que seule une personne écrit : un site publie ai-train=si, la valeur en espagnol à l’intérieur d’une spécification qui ne connaît que yes et no. Une machine ne fait pas cette faute. C’est la preuve la moins chère qui soit que les 45 déclarations tapées l’ont été par quelqu’un.
Ce que ceci ne montre pas
Deux conventions, deux jours, trois populations. 547 domaines cités trois fois ou plus, 379 cités exactement deux fois et 1 221 cités exactement une fois, lus les 24 et 25 août 2026, et tous trois choisis par citation, donc aucun n’est un échantillon du web et aucune part d’ici ne s’y transfère.
Déclarer n’est pas se conformer, et ne pas déclarer n’est pas bloquer. Un Content Signal exprime une préférence. Il n’impose rien, un robot est libre de l’ignorer, et les 1 873 domaines qui ne déclarent rien n’ont rien refusé pour autant. Le silence est le silence.
Un réglage par défaut géré n’est pas un désaccord. Nous pouvons voir qui a tapé la ligne. Nous ne pouvons pas voir si l’éditeur est d’accord avec elle, s’il a activé la fonction délibérément, ni s’il a déjà lu son propre robots.txt.
Un robots.txt est ce que sert le bord, pas ce que contient le dépôt. Nous le savons d’expérience : une de nos déclarations est restée invisible pour un balayage parce qu’une CDN servait encore une version en cache avec un an de TTL.
Les deux bras diffèrent sur un point qu’aucun n’avait prédit. La strate la moins citée refuse l’entraînement bien plus souvent, 19 déclarants sur 24 contre 16 sur 31, et ce protocole ne peut pas dire s’il s’agit de la strate, du type de site ou du hasard sur de petits nombres.
Un verdict de robot ici est le verdict à la racine du site. Un domaine qui autorise GPTBot sur / peut l’interdire sur une section, et un domaine compté comme bloqueur peut autoriser un chemin que nous n’avons pas demandé. La racine est la question comparable entre 870 fichiers ; ce n’est pas le fichier entier. Ce que cela coûte est mesuré plus haut plutôt que laissé en réserve.
Et nous n’avons pas mesuré si tout cela change la citation. Rien ici ne relie une déclaration au fait d’être cité plus ou moins souvent. Cela demande un autre protocole, et le dire coûte moins cher que de suggérer le lien.
Ce qu’un éditeur devrait en retenir
Si vous avez un Content Signal que vous n’avez pas écrit, vous avez une position déclarée sur l’entraînement de l’IA que vous n’avez pas choisie. Cela vaut trente secondes : ouvrez votre propre /robots.txt, cherchez Content-Signal, et regardez si la ligne se trouve dans un bloc dont le commentaire nomme votre CDN.
Si c’est le cas, la décision reste disponible. Transformez-la en votre propre ligne, ou laissez le réglage par défaut en place délibérément. L’un ou l’autre convient. Ce qui ne convient pas, c’est de l’apprendre par l’étude de quelqu’un d’autre.
Et si vous lisez un titre sur la part du web qui a coupé l’entraînement de l’IA, la question à poser est celle que cette étude existe pour poser : combien l’ont tapée ?
La même discipline est ce qui sépare un chiffre de visibilité exploitable d’un chiffre qui ne l’est pas. Savoir qu’un assistant vous a nommé n’est pas savoir qu’il a cité votre page, et savoir qu’une préférence est déclarée n’est pas savoir qu’une personne l’a déclarée. Cette distinction est ce que mesure notre plateforme, une surface et un marché à la fois, et c’est la raison pour laquelle cette étude a pu être menée.
Chaque chiffre ici côtoie toutes les autres mesures que nous publions, chacune avec sa date, sa population et sa méthode, dans notre registre de mesures.
Questions fréquentes sur qui déclare les préférences d’IA
Qu’est-ce qu’un Content Signal ?
Une ligne dans le robots.txt qui indique ce que les systèmes automatiques peuvent faire d’une page après l’avoir récupérée. Le vocabulaire vient d’une norme proposée à l’IETF par le groupe de travail AI Preferences, et les champs d’usage courant sont search, ai-input et ai-train, chacun à oui ou non. Cela exprime une préférence et n’impose rien.
Combien de sites en déclarent un ?
31 des 511 domaines que nous avons pu lire, le 24 août 2026. Cela fait environ 1 sur 16, sur une population de 547 domaines enregistrables choisis pour avoir été cités dans des réponses d’IA. Ce n’est pas un échantillon du web, et une part mesurée sur une autre population serait un autre chiffre.
Une CDN peut-elle ajouter un Content Signal à mon robots.txt ?
Oui, et 10 des 31 déclarations que nous avons trouvées sont exactement cela. Cloudflare peut insérer un bloc géré dans le fichier qu’elle sert, marqué par un commentaire # BEGIN Cloudflare Managed content, et la ligne Content-Signal à l’intérieur est un réglage par défaut de la plateforme et non quelque chose que le propriétaire du site a écrit. Les 10 de cet échantillon portent la chaîne identique.
Comment savoir si j’ai écrit moi-même mon Content Signal ?
Ouvrez votre propre /robots.txt et regardez ce qui entoure la ligne. Si elle se trouve entre des commentaires nommant un bloc géré, c’est votre CDN qui l’a placée. Si elle se trouve parmi vos propres règles, quelqu’un de votre site l’y a mise, même si cela ne dit toujours pas s’il l’a écrite ou collée depuis une page de référence.
Refuser l’entraînement de l’IA dans le robots.txt l’empêche-t-il vraiment ?
Non, et rien dans cette étude ne mesure la conformité. Un Content Signal est une préférence déclarée dans un fichier que les robots peuvent lire et peuvent ignorer. Ce qu’il vous donne, c’est un enregistrement public, daté et lisible par machine de ce que vous avez demandé, ce qui est une chose différente et plus modeste qu’une contrainte.
Pourquoi est-il important de savoir qui a tapé la ligne ?
Parce qu’un décompte de préférences déclarées est lu comme une preuve de l’intention des éditeurs. Sur cette population, déclarer est surtout un acte humain et refuser surtout pas : 10 des 16 refus sont la même chaîne par défaut. Toute conclusion de la forme « les éditeurs se retournent contre l’entraînement de l’IA » doit soustraire ceux que personne n’a choisis.
Interrogez une IA sur cet article
Ouvre votre assistant avec cette page déjà chargée, pour vérifier les chiffres, discuter la méthode ou demander ce que cela change pour vous.
- ChatGPT (ouvre un nouvel onglet. la question est pré-remplie, appuyez sur entrée pour l’envoyer)
- Claude (ouvre un nouvel onglet. la question est pré-remplie, appuyez sur entrée pour l’envoyer)
- Perplexity (ouvre un nouvel onglet)
- Google AI Mode (ouvre un nouvel onglet)
Perplexity et Google répondent directement. ChatGPT et Claude remplissent le champ et attendent que vous appuyiez sur entrée, ce qui relève de leur comportement et non du nôtre.