Le New York Times et CNBC bloquent tous les robots d'IA que nous avons vérifiés. L'AI Overview de Google les cite quand même.

Toutes les études de citation en IA, la nôtre comprise, enregistrent quels domaines une machine cite et s’arrêtent là. Personne ne vérifie si la citation résout, ce qui coûte une requête HTTP. Nous avons pris chaque URL imprimée dans neuf réponses d’AI Overview en quatre langues, 79 citations sur 58 hôtes, et les avons toutes demandées. Aucune n’était morte. Puis nous avons lu le robots.txt de chaque hôte cité, et 11 d’entre eux interdisent des robots d’IA tout en étant cités dans la réponse. Deux, le New York Times et CNBC, interdisent les dix robots que nous avons vérifiés, Google-Extended compris, et chacun est la deuxième source de sa réponse.

L’utile n’est pas la contradiction. C’est que ce qu’on dit aux gens de faire au sujet du crawl par les IA, et ce qui décide si vous apparaissez dans une réponse d’IA, sont deux systèmes distincts qui ne se parlent pas.

Transparence : EchoWi vend de la mesure de visibilité en IA, donc un résultat disant que le robots.txt ne contrôle pas la présence dans AI Overview nous arrange. Les neuf questions, le marché et la langue de chacune, chaque URL avec son statut HTTP et chaque ligne de robots.txt citée plus bas sont dans notre registre de mesures, et les fichiers robots.txt sont publics, donc tout cela peut être refait contre nous en un après-midi.

La version courte

1. 79 citations, 58 hôtes, 9 questions, 4 langues, une lecture d’AI Overview chacune. Quatre aux États-Unis en anglais, deux en Espagne, deux en Allemagne et une en France, chacune dans sa langue.
2. Rien n’était mort. 71 URL ont répondu, 8 ont refusé un client HTTP ordinaire avec un 403, et aucune n’a renvoyé 404.
3. Rien n’avait bougé non plus. Zéro des 79 n’a redirigé ailleurs que vers elle-même, donc l’URL qu’une réponse imprime est l’URL qui sert la page.
4. Sur les 55 hôtes qui nous ont laissé lire leur robots.txt, 17 nomment un robot d’IA. Les 38 autres n’ont tout simplement jamais écrit de règle à ce sujet.
5. 11 de ces 17 interdisent au moins un robot, et les 11 sont cités quand même.
6. Le New York Times et CNBC interdisent chacun les dix que nous avons vérifiés, Google-Extended compris. Wirecutter est la deuxième citation de la question sur les casques et CNBC la deuxième de celle sur la paie.
7. Forbes en interdit six et autorise explicitement OAI-SearchBot, et c’est la première citation de cette même question. Ce n’est pas un oubli, c’est une politique : dehors le robot qui entraîne, dedans celui qui répond à une recherche. Et cette politique n’est pas propre à Forbes : en lisant les mêmes fichiers chez les hôtes où l’on conseille de publier, le robot qui entraîne est refusé bien plus souvent que celui qui cherche, et onze de ces hôtes admettent Googlebot tout en fermant la porte à au moins un robot d’IA.
8. Donc un robots.txt ne dit rien sur le fait qu’un site apparaîtra dans AI Overview, dans aucun des deux sens, ce qui veut dire aussi que le robots.txt d’un concurrent ne vous apprend rien du sien.

Ce que nous avons fait

Neuf questions d’achat, chacune posée une fois à l’AI Overview de Google, dans le marché et la langue où un acheteur la poserait. Quatre sont du logiciel d’entreprise, où notre registre a déjà des lignes de comparaison. Les autres sont des catégories grand public, cartes de voyage et casques, ajoutées en deux passes ultérieures : d’abord parce que les éditeurs qui écrivent des règles de crawl sont des médias, et que les questions de logiciel d’entreprise n’en citent presque aucun, ensuite en Espagne, en France et en Allemagne parce que tous ceux qui bloquaient dans les deux premières passes étaient américains.

Pour chaque citation nous avons fait une requête GET, suivi les redirections et enregistré le statut et l’URL finaux.

GET et non HEAD, et ce choix porte une cicatrice. Notre propre vérificateur de liens utilisait HEAD à ses débuts et signalait cinq sources mortes ; deux des cinq répondent 200 à un GET. Une méthode qu’un serveur n’est pas tenu de supporter ne prouve pas qu’une page manque, et avec cette liste nous aurions annoté comme cassées deux citations parfaitement vivantes.

Ensuite, pour chaque hôte distinct, nous avons demandé https://hote/robots.txt et cherché un groupe adressé à chacun de dix robots d’IA nommés : GPTBot, OAI-SearchBot, ChatGPT-User, Google-Extended, PerplexityBot, ClaudeBot, CCBot, Applebot-Extended, Bytespider et anthropic-ai. Un hôte compte comme bloquant seulement quand le groupe adressé à cet agent interdit tout.

Rien n’était mort, et cela mérite un paragraphe

71 sur 79 ont répondu. 8 ont renvoyé 403 au client que nous avons utilisé. Zéro ont renvoyé 404, 410 ou quoi que ce soit d’autre dans la plage des mortes, et zéro ont redirigé vers une adresse différente.

Nous nous attendions à trouver au moins quelques citations périmées, car c’est la forme du reproche que l’on fait aux réponses générées. Dans cet échantillon il n’y en a aucune. Les pages vers lesquelles une réponse pointe sont bien là.

Les 403 ne sont pas un résultat sur ces pages et nous n’allons pas les déguiser en un. C’est de la protection anti-robot refusant un client inconnu depuis un endroit, et la machine qui les a citées est manifestement entrée. Cette distinction n’est pas un détail technique, c’est celle qui fait tenir le reste de cet article : ce qu’un serveur vous fait n’est pas ce qu’il fait à un crawler.

Les éditeurs qui bloquent un robot et sont cités quand même

Les deux lignes qui portent l’argument ont été relues à la main plutôt que confiées au parseur qui les a trouvées, car un parseur qui définit son propre univers est la façon la plus courante dont une étude de ce genre se trompe :

www.cnbc.com/robots.txt
User-agent: Google-Extended
Disallow: /

www.forbes.com/robots.txt
User-agent: GPTBot
Disallow: /

User-Agent: OAI-SearchBot
Allow: /

CNBC est la deuxième citation de la réponse d’AI Overview à « quel est le meilleur service de paie pour une petite entreprise ? ». Forbes est la première.

Ceux qui n’ont jamais écrit de règle

Les 11 qui bloquent sont la minorité intéressante. Le grand nombre du tableau est celui d’en dessous : sur les 55 hôtes dont nous avons pu lire le robots.txt, 38 ne nomment aucun des dix robots d’IA. Ni pour les autoriser, ni pour les bloquer. Ils n’ont pas de position.

Cela vaut la peine d’être posé à côté de ce que vend la catégorie. Toute une industrie du conseil a poussé autour des directives de crawl par les IA, et la plupart des éditeurs qui tiennent réellement des places de citation dans ces réponses n’en ont jamais écrit une. Ils sont cités parce que Googlebot les a indexés, ce qui était déjà vrai avant que tout cela existe.

Cela fixe aussi le prix du conseil. Si vous écrivez une règle, vous rejoignez une minorité de 17 dans cet échantillon, et 11 de ces 17 sont cités malgré ce qu’ils ont écrit. La règle n’est pas ce qui tient la place. Notre audit séparé de ce que cette catégorie implémente elle-même a trouvé le même ordre, des fournisseurs adoptant la convention sans lecteur démontré et sautant celle qui a une spécification.

Pourquoi cela arrive, et pourquoi ce n’est pas une combine

Google-Extended n’est pas le robot qui va chercher les pages pour Google. C’est un contrôle sur l’usage, pour Gemini et pour le grounding, du contenu que Google possède déjà. AI Overview est assemblé à partir de l’index de recherche de Google, que construit Googlebot, et aucun éditeur de cet échantillon n’interdit Googlebot, car cela le retirerait de la recherche entière.

La séquence est donc : Googlebot crawle, l’index se construit, AI Overview tire sa réponse de cet index, et les règles qu’un éditeur a écrites pour GPTBot et Google-Extended n’ont jamais été sur ce chemin.

Ce n’est une combine de personne. Forbes a la configuration la plus cohérente du tableau : dehors le robot qui construit un corpus d’entraînement, dedans celui qui répond à une recherche. Ce que cela démontre, c’est que ce sont des leviers séparés, et qu’un seul est relié à ce que la plupart des gens craignent de perdre.

Et ce n’est pas une habitude américaine

Tous ceux qui bloquaient dans les deux premières passes étaient américains : CNBC, Forbes, le New York Times, NerdWallet. C’est un vrai facteur de confusion, et l’article ne pouvait pas distinguer « les éditeurs bloquent » de « les éditeurs américains bloquent », parce que ses questions espagnole et allemande portaient sur du logiciel d’entreprise, qui ne cite presque aucun média.

Nous avons donc posé trois questions de plus, une par marché européen, dans les catégories qui avaient produit les Américains : cartes de voyage en Espagne et en Allemagne, casques en France.

Ils bloquent aussi. Viajes National Geographic en Espagne interdit sept des dix, GPTBot compris, et c’est la première citation de cette réponse. 01net en interdit deux et Frandroid un, deux titres technologiques français, cités tous les deux. Il y a désormais des bloqueurs dans les quatre marchés.

Et la version élégante ne survit pas. En lisant les seules lignes européennes, le motif ressemble à des Américains bloquant les grands robots et des Européens ne bloquant que les moissonneurs de faible valeur : les deux titres français interdisent CCBot et Bytespider et laissent passer GPTBot. Cela colle parfaitement à ces lignes. Cela meurt contre le reste du tableau, car le National Geographic espagnol bloque GPTBot et l’Equal Pay Today américain ne bloque rien d’autre que CCBot. Onze bloqueurs répartis sur quatre marchés ne soutiennent pas une affirmation sur le tempérament d’un marché, et nous n’en ferons pas.

Le seul contraste qui mérite un nom est un éditeur, pas un pays. BILD autorise explicitement PerplexityBot, CCBot, Applebot-Extended et Bytespider, ce qui est la posture inverse des autres médias cités ici et ressemble à un accord de licence écrit dans un robots.txt.

Ce que cela change pour trois personnes différentes

Si vous publiez et avez bloqué les robots d’IA pour protéger votre travail, vous ne vous êtes pas retiré des réponses d’IA de Google, et ce n’était peut-être pas votre intention. Il vaut la peine de savoir laquelle de vos règles fait quoi, car le résultat visible, être cité sans clic, est produit par le robot que vous ne pouvez pas bloquer sans quitter la recherche.

Si vous vendez ou achetez de la visibilité en IA, le robots.txt d’un concurrent n’est pas un renseignement sur sa présence. 11 des 17 hôtes ici qui mentionnent un robot d’IA en bloquent un et sont cités malgré tout. Tout audit qui lit le robots.txt et en déduit qui apparaîtra dans une réponse lit le mauvais fichier.

Si vous construisez des outils de mesure, les 403 comptent plus que les blocages. 8 URL citées sur 79 refusent un client ordinaire. Un vérificateur tournant depuis une seule adresse et les marquant injoignables signalerait ces 8 sources d’une réponse vivante comme cassées, et se tromperait sur chacune.

Ce que cela ne montre pas

Neuf questions, une surface, une lecture chacune, un jour. C’est Google AI Overview le 14 août 2026 sur quatre marchés. Cela ne dit rien de ChatGPT, Perplexity ni Gemini, qui récupèrent différemment et demanderaient chacun leur propre mesure.

Les catégories ne sont pas un échantillon. Elles ont été choisies parce que notre registre les couvre déjà, ce qui rend ces lignes comparables aux précédentes. C’est l’inverse d’un tirage aléatoire.

17 hôtes nommant un robot, cela reste peu pour raisonner, et 11 sur 17 n’est pas un taux que nous défendrions comme celui du secteur. Ce que soutiennent les 11 est une affirmation d’existence, et c’est tout ce dont l’argument a besoin : bloquer les robots d’IA est compatible avec le fait d’être une source de premier plan dans une réponse d’IA, et voici 11 sites qui le font. Cet article a été élargi deux fois, de 4 sur 8 à 8 sur 12 à 11 sur 17, et chaque fois la proportion a tenu au lieu de s’effondrer. Cela mérite d’être dit parce que cela aurait pu aller autrement, et le lecteur ne peut pas le deviner à partir du chiffre final.

Trois hôtes ne nous ont pas servi leur robots.txt, répondant 403, et ils sont comptés à part.

Rien ici n’est causal. Nous n’avons pas modifié un robots.txt pour voir bouger une citation. Cette expérience est possible et personne ne l’a publiée.

Questions fréquentes sur le blocage des robots d’IA

Bloquer GPTBot me retire-t-il de l’AI Overview de Google ?

Non. GPTBot est le robot d’OpenAI et n’intervient pas dans la façon dont Google construit AI Overview, qui puise dans l’index de recherche de Google. Dans notre échantillon, 11 éditeurs interdisent des robots d’IA et les 11 sont cités dans des réponses d’AI Overview, dont deux qui interdisent les dix robots vérifiés.

Google-Extended contrôle-t-il mon apparition dans AI Overview ?

Rien de ce que nous avons observé ne le dit. Google-Extended régit l’usage du contenu pour Gemini et pour le grounding, pas le fait que Googlebot vous crawle ni que l’index de recherche alimente un AI Overview. CNBC interdit Google-Extended et est la deuxième source citée dans la réponse sur la paie que nous avons mesurée le 14 août 2026.

Les réponses d’IA citent-elles des pages qui n’existent plus ?

Pas dans cet échantillon. Nous avons demandé les 79 URL imprimées par neuf réponses d’AI Overview et aucune n’a renvoyé un statut de page morte, et aucune n’a redirigé ailleurs. Huit ont renvoyé 403 au client que nous avons utilisé, ce qui est de la protection anti-robot et non une page manquante.

Puis-je savoir par le robots.txt d’un concurrent s’il apparaîtra dans les réponses d’IA ?

Non, et c’est la conséquence pratique. Sur les 17 hôtes cités qui nomment un robot d’IA, 11 en bloquent un et sont cités quand même. Un robots.txt décrit ce qu’un site demande à des robots nommés, pas quelle surface le citera.

Dois-je vérifier les sources citées avec une requête HEAD ?

Non. Un serveur n’est pas tenu de supporter HEAD, et traiter un échec de HEAD comme une page manquante produit des faux positifs. Notre propre vérificateur de liens faisait exactement cela et signalait deux pages vivantes comme mortes avant d’être passé à GET avec suivi des redirections.