Nous avons testé 26 hôtes de publication contre 14 robots d'IA. Onze laissent entrer Google et ferment la porte à l'IA.

Le conseil est partout en ce moment : publiez votre page sur un grand domaine qui n’est pas le vôtre, et elle rankera en heures au lieu de mois. La version la plus récente utilise des artefacts Claude publiés et se vend explicitement comme une tactique de l’ère de l’IA. Nous avons lu le robots.txt de 26 hôtes contre 14 robots, puis nous avons doublé la liste et l’avons relue. Onze d’entre eux admettent Googlebot et refusent au moins un robot d’IA, et les deux entreprises d’IA qui vous laissent publier une page se bloquent l’une l’autre. Et sur les 68 éditeurs vendant de la visibilité IA, 0 n’en bloquent aucun des 14.

Transparence : EchoWi vend de la mesure de visibilité IA, donc une étude qui conclut qu’une tactique gratuite ne donne pas de visibilité IA est une étude qui a un intérêt dans son propre résultat. La réponse à un conflit d’intérêts est une méthode reproductible : chaque hôte, le chemin exact, les 14 noms de robots, la date et le groupe de user-agent qui a décidé chaque verdict sont ci-dessous et dans notre registre de mesures. Le côté éditeurs est notre catalogue public, donc les deux populations sont des listes que vous pouvez reconstituer. Ce sont tous des fichiers publics que vous pouvez récupérer vous-même en une seconde.

Mise à jour du 21 août 2026. La moitié éditeurs de cette étude a été remesurée après la croissance du catalogue, et le zéro ci-dessus n’a pas survécu : 77 fournisseurs servent un fichier et 1 interdit désormais 7 des 14 robots. Le 68 et le 0 restent tels quels, car c’est ce qu’a trouvé le balayage du 17 août et un chiffre gelé ne doit pas suivre une mesure ultérieure. Ce qui a changé, et pourquoi ce blocage est un réglage géré par défaut et non une règle écrite par le fournisseur, est dans la suite.

La version courte

1. 26 hôtes ont servi un robots.txt. Deux non, et ils sont rapportés à part : l’un a répondu par un défi anti-robot, l’autre ne sert aucun fichier. Bloqué n’est pas absent, et absent n’est pas permission.
2. Onze hôtes admettent Googlebot et interdisent au moins un robot d’IA. C’est l’écart qu’un acheteur ne peut pas voir de l’extérieur, parce que la page ranke et ne peut pas être lue.
3. Les entreprises d’IA se bloquent entre elles. Quatre de ces hôtes laissent un utilisateur publier une page. Deux des quatre interdisent les robots de leurs concurrents et autorisent le leur.
4. Elles bloquent l’entraînement plus que la recherche. GPTBot est refusé par 6 et OAI-SearchBot par 4. ClaudeBot par 8 et Claude-User par 4.
5. Googlebot entre dans 25 sur 26. La seule exception les interdit tous, Google compris.
6. Et il existe un second mécanisme qui n’a rien à voir avec robots.txt. Pour la tactique qui a déclenché tout ceci, le contenu de la page n’est pas dans le HTML.
7. Les éditeurs vendant de la visibilité IA ne bloquent rien. Sur les 68 qui ont servi un fichier, 0 n’en interdisent aucun. Sur les hôtes que ce conseil nomme, 12 sur 26 le font.
8. Nous avons doublé la liste et la proportion a tenu. 9 des 25 suivants admettent Googlebot et refusent un robot d’IA, contre 11 sur 26 au premier balayage.

Pourquoi nous avons mesuré au lieu de discuter

La tactique est ancienne et le cadre est neuf. Publier sur un domaine plus établi que le sien est une tactique de référencement depuis deux décennies. Ce qui a changé, c’est qu’elle est désormais recommandée pour la visibilité dans les réponses d’IA, ce qui est une affirmation différente sur un ensemble de machines différent, et personne ne semblait avoir vérifié si ces machines ont le droit d’entrer.

Cette vérification coûte une requête HTTP par hôte. Il paraissait raisonnable de la faire avant d’écrire quoi que ce soit sur le fonctionnement de la tactique.

Ce que nous avons mesuré et ce que nous n’avons pas mesuré

Un robots.txt par hôte, récupéré deux fois le 17 août 2026, analysé par groupes et jugé sur le chemin qu’utilise réellement la tactique. Donc claude.ai est jugé sur /public/artifacts/, chatgpt.com sur /share/, linkedin.com sur /pulse/ et le reste à la racine.

L’analyse est toute la difficulté, et c’est là qu’une réponse rapide se trompe. Un robots.txt est une liste de groupes. Un groupe, ce sont une ou plusieurs lignes User-agent: consécutives qui partagent les règles en dessous. Un robot obéit au groupe dont le jeton est la correspondance la plus longue avec son propre nom, et ne retombe sur * que si aucun groupe nommé ne correspond. Un fichier dont le groupe * autorise tout peut donc interdire GPTBot deux groupes plus bas, et qui s’arrête à * rapporte exactement l’inverse de la vérité.

Les deux lectures ont concordé sur chaque hôte et chaque robot, sans un seul écart. C’est le contrôle de stabilité dont ce genre de balayage a besoin et qu’il a rarement.

Ce que cela ne mesure pas, indiqué ici parce que c’est la limite honnête : si les robots obéissent au fichier, si ces pages sont citées dans des réponses d’IA, et si le classement suit. Une déclaration est une déclaration. Ce qu’un fichier dit et ce que fait le serveur en frontal sont deux couches différentes, et la seconde exige des données serveur d’un domaine que vous contrôlez. Cela ne rend pas non plus causale la comparaison avec les éditeurs : deux populations lues de la même façon le même jour se décrivent, elles ne s’expliquent pas.

Les 14 robots sont GPTBot, OAI-SearchBot et ChatGPT-User d’OpenAI ; Google-Extended et Googlebot de Google ; ClaudeBot, anthropic-ai et Claude-User d’Anthropic ; PerplexityBot et Perplexity-User ; et CCBot, Applebot-Extended, Bytespider et meta-externalagent. Entraînement, recherche et récupération pour le compte d’un utilisateur sont trois permissions distinctes, et les séparer s’est avéré important.

Les entreprises d’IA se bloquent entre elles

Quatre des hôtes de ce balayage laissent désormais un utilisateur publier une page que tout le monde peut lire. Deux d’entre eux interdisent les robots de leurs rivaux.

Les deux fichiers qui bloquent le font différemment et arrivent au même endroit. Anthropic empile quatre noms d’agents au-dessus d’un unique Disallow: /, ce qui explique qu’un analyseur supposant un agent par groupe y lise un blocage pour un et une autorisation pour trois. OpenAI écrit un groupe par concurrent. Les deux autorisent leur propre robot, et les deux autorisent Googlebot.

Si vous publiez une page sur l’un de ces deux hôtes pour être lu par les assistants d’IA, l’assistant le plus susceptible de la lire est celui de l’entreprise sur le domaine de laquelle vous avez publié.

Googlebot entre presque partout, et l’exception est ce qu’il y a d’intéressant

Googlebot est interdit par exactement un hôte sur les 26, et ce n’est aucune des entreprises d’IA. C’est Reddit.

Le robots.txt entier de Reddit fait 538 octets. Après un commentaire renvoyant à sa politique de contenu public, il dit User-agent: * puis Disallow: /. C’est tout le fichier. Il interdit tous les robots de cette étude, Googlebot compris.

Le contenu de Reddit est évidemment dans Google. Il y est en vertu d’un accord commercial entre deux entreprises, pas parce que le fichier accorde une permission. Donc qui publie sur Reddit pour être repris par la recherche IA dépend d’un accord privé auquel il n’est pas partie, sur un domaine dont l’instruction publique à tout robot est de rester dehors.

Elles bloquent l’entraînement plus que la recherche

C’est le résultat que nous n’attendions pas, et celui qui montre que le secteur est plus fin qu’on ne le lui accorde d’habitude.

Lisez les paires. Le robot d’entraînement d’OpenAI est refusé par 6 hôtes et son robot de recherche par 4. Celui d’Anthropic par 8 et son agent de récupération par 4. Le même ordre tient chez Perplexity.

Ces hôtes ne bloquent pas l’IA. Ils tracent une ligne entre servir de matériel d’entraînement et être trouvables, et laissent passer la recherche plus souvent. C’est une position cohérente, elle est visible dans un fichier public, et elle signifie que « cet hôte bloque-t-il les robots d’IA ? » est la mauvaise question. La bonne est de savoir laquelle des trois permissions vous est nécessaire.

Pour une marque qui publie une page afin d’être trouvée, la permission nécessaire est celle de la recherche. C’est celle qu’on refuse le moins, et c’est la petite bonne nouvelle de cette étude.

Les éditeurs qui vendent ceci laissent tous entrer l’IA

Un balayage de plus, le même jour, les mêmes 14 robots, le même instrument. Nous l’avons pointé sur les 69 outils de notre catalogue vérifié, c’est-à-dire sur les entreprises dont le produit est la visibilité IA.

Sur les 68 qui ont servi un robots.txt, 0 n’interdisent aucun des 14 robots. Pas un seul. Et ce ne sont pas des fichiers sans règles : Semrush porte 60 lignes Disallow, Ahrefs 26 et HubSpot 356. Ils ont des règles de chemins en quantité et aucune politique sur les robots d’IA. Le soixante-neuvième a répondu par un défi anti-robot et reste exclu plutôt que compté comme une permission.

Mettez les deux populations côte à côte et la forme du conseil apparaît.

Le secteur qui vend ceci s’applique à lui-même ce qu’il prêche. Les plateformes vers lesquelles il vous envoie publier, non.

Ce contraste mérite d’être formulé avec soin, car il est descriptif et non causal. Ce sont deux populations aux finalités différentes : le site d’un éditeur existe pour être trouvé, et une plateforme de publication a des utilisateurs, des limites de débit et des accords de licence à considérer. Ce que les deux décomptes partagent, c’est le jour, la liste de robots et l’instrument, et c’est la seule raison pour laquelle on peut les comparer.

Et deux d’entre eux publient une page d’accueil qu’aucun robot ne peut lire

Le contraste ci-dessus porte sur ce qu’un fichier autorise. Il existe une seconde permission que personne n’écrit : vos mots sont-ils dans la réponse. Une page dont le texte n’arrive qu’après l’exécution de JavaScript est illisible pour tout robot qui ne fait pas de rendu, quoi qu’autorise le robots.txt.

Nous avons pointé la même mesure vers le même catalogue, une page d’accueil chacun. 67 ont été lues et 2 ont répondu par un défi anti-robot, ces deux-là sont donc déclarées non lues plutôt que comptées dans un sens ou dans l’autre.

1 des 67 ne sert son propre texte nulle part. Bluefish AI répond avec 114 octets : un script qui envoie le navigateur ailleurs, et rien d’autre. Pas de titre, pas de phrase, pas de description, pas de données structurées, pas même un lien qu’un robot pourrait suivre.

La seconde page est autre chose, et nous l’avons d’abord publiée comme la même chose. GEO-Vantage répond avec un fichier bien plus gros dont le corps ne porte rien, et nous l’avons comptée comme illisible. Elle ne l’est pas. Son en-tête porte un titre, une description et des données structurées, une couche de récupération a donc de quoi travailler ; elle n’utilise simplement pas le corps pour cela. Nous avons publié 2 sur 67 et le compte exact est 1, avec une seconde page qui porte son contenu dans l’en-tête. Aucune des deux n’offre de solution de repli en noscript, et les deux ont renvoyé des réponses identiques octet par octet sur deux lectures le même jour.

Pour l’échelle, la page d’accueil suivante la plus mince du catalogue porte 446 caractères de corps et la médiane en porte environ dix mille.

Le bilan du secteur dépend donc de l’axe sur lequel on l’interroge. Sur robots.txt, il applique ce qu’il prêche. Sur le rendu, deux entreprises qui vendent de la visibilité IA publient une porte d’entrée qu’un robot d’IA ne peut pas lire, ce qui est une correction d’une ligne et une seule requête à vérifier.

Toutes les pages citées par une IA étaient lisibles, et un tiers le garde dans l’en-tête

Les deux populations ci-dessus, c’est nous qui les avons choisies. Pas celle-ci. Notre registre contient 79 URL qu’un moteur d’IA a réellement citées dans une de nos études, l’échantillon a donc été choisi par les moteurs. 64 ont pu être lues, 14 ont répondu par un défi anti-robot et 1 n’a pas répondu du tout.

0 des 64 étaient illisibles. Pas une seule page citée n’a manqué de porter son propre contenu quelque part dans la réponse.

Mais 18 des 64 le portent seulement dans l’en-tête, et toutes sont YouTube ou Facebook. Une page vidéo de YouTube répond avec environ 1,4 Mo dont le corps fait 217 caractères de pied de page et pas un mot de la vidéo. Son en-tête porte le titre, la description, les mots-clés et un VideoObject complet en JSON-LD.

Cela mérite qu’on s’y arrête, car YouTube est le domaine le plus cité de tout ce corpus. Le corps n’est pas là où vit la citabilité pour le domaine qui gagne le plus souvent. Ce dont une couche de récupération a besoin, c’est de la réponse quelque part de lisible par machine, et l’en-tête compte comme un endroit.

Ce que cela ne peut pas montrer, et la raison tient au design lui-même : l’échantillon est sélectionné sur le résultat. « Les pages citées sont lisibles » ne peut pas vouloir dire que le rendu cause la citation, car les pages qui finissent citées sont peut-être lisibles pour des raisons qui les rendent aussi dignes d’être citées. Ce qu’un tel design peut faire, c’est tuer l’affirmation inverse. Si une grande part des pages citées avait été illisible, servir son texte ne serait manifestement pas une condition pour être cité. Zéro sur soixante-quatre l’étaient.

Nous avons doublé la liste, et la proportion a tenu

Le chiffre ci-dessus compte des hôtes, c’est donc autant une affirmation sur notre échantillon que sur le web. Nous en avons interrogé 32 de plus, un autre jour, avec les mêmes 14 robots et le même instrument, et la prédiction a été écrite avant la première requête : le résultat tient si les nouveaux hôtes tombent entre 30 et 55 pour cent.

25 des 32 ont servi un fichier. 9 des 25 admettent Googlebot et refusent au moins un robot d’IA, contre 11 sur 26 au premier balayage.

Ensemble, cela fait 20 hôtes sur 51. Deux échantillons indépendants des plateformes que ce conseil nomme, et l’écart se place de part et d’autre de quatre sur dix les deux fois.

L’admission de Googlebot a tenu aussi, 24 sur 25 contre 25 sur 26 au premier balayage, et la seule exception est l’hôte deux paragraphes plus bas.

Le second balayage a apporté deux choses que le premier ne pouvait pas apporter.

Sur 5 des 32 il n’y a aucun robots.txt. C’est l’extrême permissif et non un refus : sans fichier, rien n’est interdit à personne. Ils sont comptés à part des 2 qui ont répondu par un défi anti-robot, car non lu et non restreint sont deux états différents et un seul des deux est une permission.

Et un hôte ferme ses propres pages publiées à tout le monde. grok.com nomme GPTBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended et Applebot-Extended dans un seul groupe et les interdit sur tout le site, ce qui est le motif de la section ci-dessus. Et puis /share renvoie 404 tandis que /share-links renvoie 200, ses pages publiques vivent donc sur le seul chemin que le groupe * refuse, et sur ce chemin les 14 robots sont interdits, Googlebot compris. C’est le premier hôte ici où une page que vous publiez est fermée à tout, la tactique échoue donc dès l’étape de la recherche et pas seulement à celle de l’IA. Nous l’avons trouvé en demandant sur quel chemin les pages se trouvent réellement au lieu de mesurer la racine.

Le bras IA a été doublé aussi. 5 hôtes de publication de plus ont servi un fichier et 1 des 5 exclut un rival, le résultat de deux sections plus haut se situe donc à 3 sur 9 sur les deux balayages. C’est un tiers au lieu de la moitié, et c’est la direction que prend presque toujours un petit échantillon quand on l’agrandit, et la raison de l’agrandir.

Le second mécanisme, qui n’a rien à voir avec robots.txt

La tactique qui a déclenché tout ceci consiste à publier un artefact Claude. Nous avons donc récupéré des artefacts publiés comme un client ordinaire qui n’exécute pas JavaScript.

Chaque artefact renvoie la même chose. Octet pour octet la même chose : exactement le même nombre d’octets, sur deux identifiants d’artefact différents, avec trois agents utilisateurs. Le décompte exact est dans le registre, qui le tire de la donnée et ne peut donc pas s’en écarter. Cette charge contient un titre de repli qui dit Claude Artifact, une balise noindex, nofollow et 78 caractères de texte visible une fois les scripts et les balises retirés. Aucun de ces 78 caractères n’appartient à l’artefact.

Envoyer un agent Googlebot ne change rien. Le nombre d’octets est identique, il n’existe donc pas de version pré-rendue à part pour les moteurs. Google a ces pages dans son index avec leurs vrais titres parce que Googlebot exécute JavaScript et lit la page qu’un navigateur construirait.

C’est la partie qui compte, et elle est indépendante de tout ce qui précède. Un robot qui ignorerait entièrement le robots.txt recevrait quand même 78 caractères d’habillage. La tactique échoue deux fois pour la visibilité IA, par deux mécanismes qui ne dépendent pas l’un de l’autre : le fichier dit non, et la page est vide pour tout ce qui ne fait pas de rendu.

Nous décrivons le comportement d’une application monopage. Ce n’est pas une critique du produit, qui n’est pas conçu pour être une plateforme de publication du marketing d’autrui. C’est une description de ce que reçoit celui qui la demande.

Si vous étiez sur le point de faire ceci

La tactique n’est pas fausse. Ces pages sont indexées, en quantité, dans beaucoup de langues, et certaines sont franchement commerciales. Si votre objectif est une page qui ranke vite dans la recherche web de Google sur un terme peu concurrentiel, elle fait ce qu’elle annonce.

Elle est vendue comme autre chose. Ranker dans la recherche web de Google et être lisible par des assistants d’IA sont deux résultats avec deux portiers différents, et ce balayage montre qu’ils se séparent sur 11 hôtes sur 26.

Vérifiez le fichier avant de publier, pas après. Cela coûte une requête. Récupérez https://lhote.exemple/robots.txt, trouvez le groupe qui nomme le robot qui vous intéresse, et lisez la règle. S’il n’y a aucun groupe nommé, c’est le groupe * qui s’applique. Et si la page que vous publiez est rendue côté client, récupérez-la avec quelque chose qui n’exécute pas JavaScript et regardez si vos mots sont dans la réponse.

Et préférez un domaine que vous contrôlez. Tout ce qui précède est une décision que quelqu’un d’autre prend sur vos contenus, peut changer sans vous prévenir, et a des raisons commerciales de changer. Sur votre propre domaine, le fichier est le vôtre.

Limites

• Un fichier par hôte, à une date. Un robots.txt est un fait d’un jour. Chaque ligne porte son nombre d’octets pour qu’un fichier modifié apparaisse comme une ligne modifiée la prochaine fois.
• Déclaration, pas comportement. Rien ici ne mesure si un robot obéit, si la page est citée, ni si le classement suit.
• 51 hôtes sur deux balayages, pas le web. Ils ont été choisis parce que ce sont ceux que ce conseil nomme réellement. Une autre liste donnerait d’autres proportions, donc le nombre figure partout où figure une proportion.
• Le résultat sur le rendu concerne une plateforme. Nous avons récupéré des artefacts Claude publiés. Les autres hôtes de la liste font leur rendu autrement et n’ont pas été testés ainsi.
• 9 hôtes n’ont donné aucun verdict et restent hors de tout décompte plutôt que d’être comptés comme une permission.

Questions fréquentes sur la publication sur le domaine d’un tiers

Publier sur un domaine faisant autorité fonctionne-t-il encore pour Google ?

Oui, pour le peu que cela fait. Ces pages sont indexées et certaines rankent sur des termes peu concurrentiels. Ce que cette étude mesure est une autre question : si les machines qui répondent aux questions, plutôt que celle qui liste des liens, ont le droit de les lire.

De quel robot dois-je réellement me préoccuper ?

De celui qui correspond au résultat voulu. Les robots d’entraînement comme GPTBot et Google-Extended décident si votre texte pourra informer un modèle plus tard. Les robots de recherche comme OAI-SearchBot décident s’il peut être récupéré et cité maintenant. Les agents utilisateurs comme ChatGPT-User et Claude-User récupèrent une page parce que quelqu’un l’a demandée. Pour être trouvé dans une réponse aujourd’hui, c’est la recherche qui compte, et c’est elle qu’on refuse le moins.

Si un hôte bloque un robot, ce robot reste-t-il vraiment dehors ?

Non, et cette étude ne l’affirme pas. Un robots.txt est une instruction, pas un mur. Ce qu’il établit, c’est l’intention, et il vaut mieux la connaître avant de bâtir une stratégie sur un domaine, indépendamment du fait qu’elle soit respectée.

Pourquoi Reddit interdit-il Googlebot alors que Reddit est partout dans Google ?

Parce que l’accès y est négocié commercialement plutôt qu’accordé publiquement. Le fichier est le même pour tous, et la présence de Google est le fruit d’un accord. C’est précisément pour cela que c’est un mauvais socle pour le plan de visibilité d’un tiers.

Le résultat sur l’artefact Claude est-il un bug ?

Non. C’est ainsi que se comporte une application rendue côté client : le serveur envoie une application, le navigateur construit la page. Google s’en sort parce qu’il exécute JavaScript. Tout ce qui ne récupère que du HTML voit la coquille, et cela vaut pour beaucoup de robots, pas seulement ceux de l’IA.

Que devrais-je vérifier chez un hôte avant d’y publier ?

Trois choses, toutes gratuites. Récupérez son robots.txt et trouvez le groupe du robot que vous voulez. Récupérez la page publiée avec un client simple et vérifiez que votre texte est dans la réponse. Et demandez-vous si l’hôte peut changer l’un ou l’autre sans vous prévenir, car il le peut.

Méthode et sources

Chaque hôte, le chemin jugé, le nombre d’octets du fichier, les robots interdits à cet endroit et le groupe de user-agent qui a décidé chaque verdict sont dans notre registre de mesures, avec les chiffres de la coquille d’artefact. Le registre garde aussi les deux hôtes qui n’ont donné aucun verdict, dans leur propre catégorie.

Les noms de robots viennent de la documentation de leurs opérateurs : la liste d’OpenAI, celle de Google et celle d’Anthropic. Les règles de correspondance par groupe sont dans la spécification robots.txt de Google.

Si vous voulez le refaire sur votre propre liste d’hôtes, toute la méthode tient en une requête par hôte et les règles d’analyse ci-dessus. Choisir les hôtes vous prendra plus de temps que le faire tourner.