Un compte de sources durables n'est pas ce qu'il paraît. Voici ce qui prédit vraiment un ensemble de réponse nommable.
Six questions lues en profondeur, puis la même intention posée de trois façons. Une seule formulation renvoie un ensemble de sources nommable.
Hier nous avons publié un mécanisme : on lit une question d’achat huit fois et douze sources reviennent dans sept passages chacune, avec un passage qui ne cite que Google, si bien qu’une barre stricte fait tomber les douze d’un coup dès que votre échantillon contient ce passage. Nous l’avons écrit comme une propriété de la surface. Aujourd’hui nous avons posé quatre questions de plus sur le même énoncé, la même surface et le même marché, et la forme n’apparaît dans aucune des 4 questions ajoutées. Le CRM renvoie neuf domaines et les neuf franchissent chaque passage, mesuré deux fois. L’hébergement en renvoie 41 et aucun ne franchit. L’ecommerce en renvoie 64 et aucun ne franchit. Donc « zéro source durable » recouvre au moins trois faits différents sous un seul nombre, et nous avions généralisé depuis le cas du milieu.
L’utile n’est pas la rectification. C’est que les trois cas appellent des réponses opposées, et que le nombre ne les distingue pas.
Transparence : EchoWi vend de la mesure de visibilité IA, et ceci restreint une affirmation publiée hier et une statistique que nous utilisons dans neuf études. Chaque question, avec la surface et le marché où elle a été posée, son nombre de passages et chaque domaine avec son compte, est dans notre registre de mesures, la chose peut donc être répétée contre nous. La pièce a grandi bien au-delà de la surface unique et du marché unique par lesquels elle a commencé, et la section des limites, à la fin, dit exactement de combien.
La version courte
- Le balayage : six questions, un énoncé, une surface, un marché, un jour. Seule la catégorie change. Tout ce qui suit élargit un de ces axes.
- Le CRM renvoie neuf domaines et les neuf sont cités dans chaque passage ayant répondu, pour cette chaîne. Relu le même jour, les mêmes neuf domaines, tous à nouveau. L’unanimité est atteignable, et le point 7 dit ce qu’elle coûte.
- Trois questions ne gardent rien de durable, et pas pour la raison d’hier. Gestionnaires de mots de passe, hébergement et ecommerce montrent une dispersion ordinaire : pas de compte partagé, pas de Google solitaire, juste une longue traîne.
- La forme d’hier apparaît dans 2 des 6 questions. Elle est réelle et elle n’est pas la surface.
- Le contrôle qui compte : le CRM et la comptabilité ont répondu cinq passages tous les deux. Même profondeur, même surface, même marché, même énoncé. Neuf sur neuf contre zéro sur treize.
- Lu en profondeur, un seul ensemble fixe survit. Cette forme à trois passages est surtout une barre peu profonde, et une cellule qui semblait fixe au Royaume-Uni ne garde plus rien à sept passages.
- La même intention en trois formulations : 9 cités et 9 gardés, puis 80 et aucun, puis 100 et aucun. Même marché, même surface, même jour. Un ensemble de réponse fixe appartient à la surface et à la chaîne ensemble, et poser la même chose sur l’autre surface est ce qui montre laquelle des deux .
- Ce qui prédit un ensemble nommable n’est pas le nombre de passages, c’est la largeur de ce que la réponse cite. Les lectures qui citent neuf domaines ou moins en gardent 56 à 100 pour cent ; celles qui en citent treize ou plus en gardent au plus 40 pour cent.
- Et la catégorie la plus large n’est pas large sur l’autre surface. Trois des mêmes chaînes sur AI Overview citent 6 ou 7 domaines chacune, toutes durables. Le commerce en ligne fait 104 en AI Mode et 6 ici, donc l’énigme dont traite le reste de cette page appartient à AI Mode et non aux catégories.
Ce que nous avons fait
La lecture d’hier a pris deux questions sur AI Mode aux États-Unis et a demandé dix passages chacune. Aujourd’hui nous avons repris le même énoncé, « quel est le meilleur X pour une petite entreprise », et lancé quatre catégories de plus de la même façon. Rien n’a changé sauf la catégorie.
Chaque lecture s’est arrêtée avant dix. C’est dit parce que le dénominateur de chaque compte ci-dessous est le nombre de passages qui ont eu lieu, pas ceux demandés, et ces dénominateurs diffèrent d’une ligne à l’autre.
Six questions, trois formes
| Catégorie | Passages ayant répondu | Domaines cités | Cités dans tous | Compte le plus haut |
|---|---|---|---|---|
| CRM | 5 | 9 | 9 | 5, par les neuf |
| Paie | 8 | 13 | 0 | 7, par douze |
| Comptabilité | 5 | 13 | 0 | 4, par douze |
| Gestionnaires de mots de passe | 4 | 19 | 0 | 3, par deux |
| Hébergement web | 7 | 41 | 0 | 5, par trois |
| Plateformes ecommerce | 4 | 64 | 0 | 3, par quatre |
Lisez la dernière colonne avant la quatrième. Quatre de ces six lignes déclarent zéro source durable, et la dernière colonne dit qu’elles y sont arrivées de trois façons différentes.
Le CRM est unanime. Neuf domaines, chacun dans les cinq passages, et aucune traîne. Rien n’est sorti une seule fois.
Paie et comptabilité sont la forme d’hier. Douze domaines posés sur le compte identique, un en dessous de tous les passages, et un domaine seul dans le passage qui leur manque à tous. Un passage diffère ; les sept ou quatre autres s’accordent entièrement.
Mots de passe, hébergement et ecommerce sont de la dispersion. Le compte le plus haut est atteint par deux, trois ou quatre domaines, et tout le reste s’effiloche. L’ecommerce cite 64 domaines sur quatre passages, dont 52 apparaissent exactement une fois.
Ces trois-là n’ont pas de passage dégénéré à accuser. Ils ont une récupération qui choisit un ensemble différent à chaque fois.
Le contrôle, et pourquoi c’est la ligne importante
L’objection évidente au CRM est la profondeur : il a répondu cinq passages et la paie huit, donc le CRM ne paraît peut-être unanime que parce qu’il a été lu moins profondément.
La comptabilité a répondu cinq passages elle aussi. Même profondeur, même surface, même marché, même énoncé, même jour. La comptabilité renvoie zéro source durable sur treize citées. Le CRM en renvoie neuf sur neuf.
Le nombre de passages n’explique donc pas la différence, et la barre non plus. Ce qui les sépare, c’est la catégorie.
Nous avons relu le meilleur nombre, justement parce que c’était le meilleur
Neuf sur neuf sans traîne est le genre de résultat qui est d’ordinaire un artefact. Notre propre règle est de reprendre le nombre qui changerait le plus la conclusion s’il tombait, le CRM a donc été redemandé le même jour.
Trois passages ayant répondu la seconde fois. Les mêmes neuf domaines, vérifiés par leur nom, et les neuf cités dans les trois passages : www.youtube.com, www.reddit.com, www.salesforce.com, slack.com, www.pcmag.com, www.uschamber.com, www.zoho.com, www.hubspot.com et fayedigital.com.
Il a survécu. Cela compte plus que la première lecture, car cela veut dire qu’il existe des catégories où cette surface répond depuis un ensemble fixe, et qu’un acheteur de l’une d’elles peut se voir nommer les neuf pages qui détiennent la réponse à cette question telle qu’elle est formulée. Deux sections plus bas, la reformuler emporte l’ensemble.
Et l’ensemble fixe appartient au marché, pas à la catégorie
Le résultat du CRM appelle une question évidente, nous l’avons donc posée le même jour : un ensemble de réponse fixe est-il une propriété de la catégorie ou du marché où il a été mesuré ? La même question, traduite, sur la même surface en Espagne, en France et en Allemagne.
| Marché | Passages ayant répondu | Domaines cités | Cités dans tous |
|---|---|---|---|
| États-Unis | 5 | 9 | 9 |
| Espagne | 4 | 50 | 0 |
| France | 6 | 42 | 0 |
| Allemagne | 6 | 63 | 1 |
Une catégorie, un énoncé, 4 marchés. Les États-Unis citent neuf sources et les gardent toutes les neuf. Les trois autres en citent entre 42 et 63 et en gardent au plus une.
Un contrôle avant de lire ce tableau comme une histoire de marchés. Toutes ses lignes sont AI Mode, et notre comptage de la couche éditeurs a été mesuré sur AI Overview. Posée sur AI Overview en France le même jour, la même question cite 8 domaines et en garde 5 sur quatre passages ayant répondu. Sur AI Mode dans le même marché elle en cite 42 et n’en garde aucun. Cette paire n’est cependant pas appariée sur les passages, et l’écart compte : quatre contre six, et plus de passages font plus d’occasions de citer du nouveau. Apparié correctement, sur les 10 cellules où les deux surfaces ont été lues trois fois, AI Mode en cite davantage dans 7 et la médiane du rapport est de 1,39, avec une plage de 0,92 à 6,50. La direction survit donc et la taille non : la surface change bien combien de sources sont citées tout court, d’environ la moitié en plus dans la cellule typique et non du quintuple, et une place mesurée sur une surface ne dit toujours rien de l’autre.
L’Espagne renvoie 50 domaines sur quatre passages ayant répondu, et aucun cité dans tous. Relu, 34 domaines sur cinq passages avec exactement un cité à chaque fois. Aucune des deux lectures ne ressemble au neuf sur neuf sans traîne qu’ont donné les États-Unis.
Les deux lectures espagnoles ne s’accordent même pas entre elles. Le domaine que la première avait le plus haut, à trois passages sur quatre, est à un sur cinq dans la seconde. Le domaine que la seconde a dans les cinq passages était à deux sur quatre dans la première.
Et l’ensemble américain a tenu d’un jour à l’autre, puis a tenu face à la profondeur. Redemandé le lendemain avec six passages, les mêmes neuf domaines sont revenus, chacun cité dans chaque passage, et redemandé une quatrième fois avec huit, encore les mêmes neuf. La profondeur est l’axe qui menace le plus un ensemble fixe, car plus de passages sont plus d’occasions de citer du nouveau, et ici elle n’a rien acheté du tout. Cela fait 4 lectures sur 2 jours et 22 passages ayant répondu, renvoyant l’ensemble identique par son nom à chaque fois et sans traîne à aucun moment. Notre travail sur deux jours pour d’autres questions donnait une médiane de recouvrement des sources de 0,63 ; cette cellule est à un.
Et celle-ci a tenu quand une seconde catégorie a été posée, ce qui est la première chose d’aujourd’hui à le faire. La banque d’entreprise aux États-Unis cite 7 domaines et les garde tous les 7 à huit passages, la cellule étroite la plus nette d’ici. Posée en Espagne, en espagnol et sur la même surface, elle en cite 14 et en garde 2. Même catégorie, même surface, autre marché, et la forme bascule exactement comme celle du CRM.
Cinq passages ayant répondu contre huit, et les deux moitiés jouent en faveur du résultat : moins de passages ne peuvent citer que moins de domaines, et moins de passages rendent l’unanimité plus facile.
Trois affirmations de cet article ont été bornées quelques heures après leur publication aujourd’hui, chacune par la cellule suivante. Celle-ci a été testée de la même façon et n’a pas bougé : c’est donc sur elle qu’il faut s’appuyer : un ensemble de réponse fixe appartient à une catégorie dans un marché, et le marché fait plus de travail que la catégorie.
La phrase ci-dessus a donc besoin d’un marché accolé. Il existe des catégories dans un marché où cette surface répond depuis un ensemble fixe. La même catégorie à une frontière de là est assemblée à neuf, et on ne peut pas y nommer à un acheteur les pages qui détiennent la réponse, puisqu’il n’existe pas d’ensemble à nommer.
Et il appartient à la formulation et à la surface, pas seulement au marché
Il restait ensuite une question, et c’est celle qui décide si tout cela sert à quelque chose. Les neuf domaines ont tenu sur 4 lectures, 22 passages et deux jours : ce n’est donc pas le hasard d’une session. Mais ces quatre lectures posaient la même chaîne. Nous avons donc posé la même intention, dans le même marché, sur la même surface et le même jour, avec d’autres mots : quel CRM une petite entreprise devrait-elle choisir ?
Sept passages ayant répondu. 80 domaines cités et aucun dans tous les passages, le compte le plus élevé 5 sur 7, et 59 domaines cités exactement une fois. C’est la lecture la plus large du registre, et elle vient de la cellule que nous venions d’appeler le seul endroit où l’on peut remettre une liste à un acheteur.
Les neuf n’ont pas disparu, et c’est la partie à relire. Huit sont dans cette
lecture, entre 1 et 3 passages sur 7 : slack.com à 3, www.hubspot.com à 2,
puis www.youtube.com, www.reddit.com, www.salesforce.com, www.pcmag.com,
www.zoho.com et fayedigital.com à 1 chacun. Seul www.uschamber.com manque.
Les sources sont toujours là. Ce qui change, c’est si la réponse se construit
avec elles à chaque fois ou à partir d’une longue traîne qui les contient.
Les deux reformulations précédentes utilisaient le même cadre, nous en avons donc posé une troisième qui ne le fait pas. « Quel CRM une petite entreprise devrait-elle choisir » reste une question avec un modal dedans, et l’élargissement pouvait appartenir à cette construction plutôt qu’au fait de reformuler. Nous avons donc posé un impératif sans aucune question : recommandez un CRM pour une petite entreprise. Huit passages demandés et huit obtenus, la lecture la plus profonde du registre. Elle cite 100 domaines et n’en garde aucun, le compte le plus élevé 5 sur 8, et 66 domaines cités exactement une fois. Quatre des neuf fixes ont disparu et le meilleur des survivants est à 3 sur 8.
| La même intention, de trois façons | Passages | Cités | Dans tous |
|---|---|---|---|
| Quel est le meilleur CRM pour une petite entreprise ? | 5 | 9 | 9 |
| Quel CRM une petite entreprise devrait-elle choisir ? | 7 | 80 | 0 |
| Recommandez un CRM pour une petite entreprise. | 8 | 100 | 0 |
Deux reformulations structurellement différentes élargissent toutes les deux : ce n’est donc pas une construction qui se comporte mal.
Mais c’est bien une surface qui se comporte mal, et c’est la borne qui manquait à ce résultat. L’impératif a été reposé le même jour, sur le même marché et avec la même chaîne, sur AI Overview au lieu d’AI Mode. Il cite 12 domaines et en garde 3, contre 100 et aucun. Huit des neuf fixes y figurent, dont trois dans chaque passage ayant répondu.
L’effondrement appartient donc à AI Mode et non à la reformulation en soi. Sur AI Overview, la même reformulation qui a fait voler en éclats l’ensemble d’AI Mode en laisse un étroit debout. La lecture honnête des trois tableaux ci-dessus est que la surface fixe l’ampleur possible d’une réponse et que la formulation choisit un point à l’intérieur de cet intervalle.
Et cette lecture est déjà trop forte, car la seconde intention ne la reproduit pas. La question de visibilité IA a été posée sur les deux surfaces le même jour avec la même chaîne, et les deux lectures ont obtenu cinq passages : il n’y a donc pas de profondeur à discuter. AI Mode cite 29 contre 21 pour AI Overview, et les deux en gardent 2.
Ce rapport vaut 1,38, et ce registre a déjà publié une médiane de 1,39 sur dix cellules appariées par passages. La paire fraîche tombe sur notre propre médiane, ce qui fait de la paire CRM à 100 contre 12 l’exception et non la règle.
Aucun axe ne domine donc à lui seul. La surface, la chaîne et le marché déplacent tous la largeur d’une cellule, la catégorie non, et le résultat CRM est l’endroit où les trois se sont alignés en même temps. Qui ne retient qu’un chiffre de cet article devrait retenir la médiane et non l’extrême.
Les passages sont cinq contre huit, et les deux moitiés de cet écart jouent en sens inverse, donc les deux sont dites. Moins de passages ne peuvent citer que moins de domaines : l’écart de largeur est donc conservateur et survivrait à davantage. Moins de passages rendent aussi l’unanimité plus facile : le 3 est la direction généreuse et nous ne nous appuyons pas dessus. Et ce tableau se lit de haut en bas et non en largeur : la ligne étroite est une formulation sur trois, et c’est la moins profonde des trois. Un ensemble de réponse fixe n’est pas un endroit qu’on peut trouver puis occuper. C’est une chaîne parmi les nombreuses qu’un acheteur peut taper.
Un ensemble de réponse fixe appartient donc à la surface et à la chaîne ensemble, puis au marché, et pas du tout à la catégorie.
Hors de l’anglais, la même reformulation fait autre chose, et c’est la moitié
la plus utile. Le CRM français sur AI Overview, lu deux fois, garde 5 domaines
sur 9 cités puis 5 sur 8. Posé avec le même cadre impératif,
recommandez un CRM pour une petite entreprise, il en cite 18 et en garde 4.
Le compte durable a à peine bougé. Ses noms, si : seuls www.shine.fr et
foxeet.fr sont dans les deux, 2 des 7 domaines distincts que les deux lectures
gardent entre elles.
Le résultat anglais, où la reformulation ramène le compte durable à zéro, n’est donc pas la forme générale. En français le compte survit à la reformulation et les noms en dessous se renouvellent, ce qui est la même asymétrie que ce registre a déjà mesurée sur d’autres axes, et la plus dangereuse des deux : un compte qui ne bouge pas se lit comme un ensemble qui ne bouge pas.
Ce que voit vraiment un suivi à un seul prompt
Les trois formulations CRM sont la même intention, le même marché, la même surface et le même jour : leurs sources peuvent donc être réunies. À elles trois, elles citent 131 domaines distincts, et voici ce que chacune, seule, vous aurait montré.
| Formulation | Domaines cités | Part des 131 |
|---|---|---|
| Quel est le meilleur CRM pour une petite entreprise ? | 9 | 7% |
| Quel CRM une petite entreprise devrait-elle choisir ? | 80 | 61% |
| Recommandez un CRM pour une petite entreprise. | 100 | 76% |
Cinq domaines apparaissent dans les trois : www.youtube.com,
www.reddit.com, www.salesforce.com, slack.com et www.hubspot.com.
78 des 131, soit 60%, n’apparaissent que dans une seule des trois.
Refaites le calcul : réunissez les listes de domaines des trois lectures dans notre registre de mesures, comptez les entrées distinctes, puis divisez le compte de chaque lecture par ce total.
C’est la version pratique de tout ce qui précède. Un outil qui suit un prompt par intention, ce qui est la façon dont cette catégorie se vend et dont notre propre panneau fonctionne aujourd’hui, vous montre entre 7 et 76 pour cent des sources qui construisent les réponses à cette intention, et vous ne pouvez pas savoir de quel côté vous êtes sans poser la question autrement. Ce qu’atteint une seule formulation n’en est pas l’essentiel, et ce qui survit aux trois tient en cinq domaines, dont deux plateformes plutôt que des éditeurs.
La seconde intention borne cet écart, et affine le résultat au lieu de l’adoucir. La question de visibilité IA a été posée de trois façons elle aussi, et ses trois lectures ont obtenu cinq passages : cette courbe ne porte donc aucune différence de profondeur. Elles réunissent 44 domaines distincts, et chaque lecture en voit 41 à 52 pour cent, loin du plancher de 7 pour cent de l’ensemble CRM. L’écart large ci-dessus appartient donc à cette intention, et précisément au fait qu’elle contient une formulation exceptionnellement étroite.
Ce qui tient sur les deux intentions, c’est l’autre nombre. 32 des 44 domaines, soit 73 pour cent, n’apparaissent que dans une seule des trois formulations, contre 60 pour cent en CRM. Et la courbe se réplique : une formulation atteint une médiane de 48 pour cent de ce que trouvent les trois, deux atteignent 75, contre 61 et 79 en CRM. La part de la couche qu’atteint une formulation seule varie beaucoup d’une intention à l’autre. La part accessible par une seule formulation, non : c’est la majorité dans les deux cas.
Alors qu’achète une seconde formulation ? En prenant les trois lectures CRM dans tous les ordres possibles, pour que la réponse ne dépende pas de celle par laquelle on a commencé : une formulation atteint une médiane de 61 pour cent de ce que les trois trouvent ensemble, deux atteignent une médiane de 79 pour cent.
La médiane n’est pas l’intéressant. Le plancher, si. Une formulation va de 7 à 76 pour cent selon celle qu’on a prise. Deux vont de 62 à 99. La seconde formulation achète très peu un bon jour et vous sauve entièrement un mauvais, ce qui est la forme d’une prime d’assurance et non d’une extension de couverture.
Et la troisième affiche 100 pour cent par construction, pas par mesure. Le dénominateur est l’union des formulations que nous avons lancées : la dernière le referme toujours. Ce nombre est de l’arithmétique, pas une preuve, et quiconque vous montre une courbe de couverture tirée d’un échantillon de prompts vous doit la même mise en garde. Nous pouvons dire ce qu’une formulation manque face à trois ; nous ne pouvons pas dire ce que les trois manquent.
Et dans la catégorie dont parle cet article, aucune formulation ne marche
Tout ce qui précède est mesuré dans des catégories tierces, et c’est délibéré : elles sont encombrées, commerciales et sans rapport avec nous. Mais la personne qui lit ceci cherche en général un outil de visibilité IA, alors nous avons passé le même protocole sur cette question, sur AI Overview aux États-Unis.
Les deux lectures ont obtenu cinq passages, ce qui en fait la seule paire de formulations du registre sans aucune différence de profondeur entre ses côtés.
| Outils de visibilité IA, États-Unis | Passages | Cités | Dans tous |
|---|---|---|---|
| Quel est le meilleur outil de suivi de visibilité IA pour une marque ? | 5 | 21 | 2 |
| Recommandez un outil de suivi de visibilité IA pour une marque. | 5 | 18 | 3 |
Aucune des deux formulations ne produit un ensemble qu’on pourrait donner à un
acheteur, y compris le cadre « quel est le meilleur » qui avait produit les
neuf fixes en CRM. Les deux ensembles cités partagent 7 domaines sur 32
distincts, un recouvrement de 0,22, et sur les cinq places durables des deux
lectures exactement un domaine tient dans les deux : www.youtube.com.
Cela mérite qu’on s’y arrête si l’on vend dans cette catégorie, et ce n’est un résultat confortable pour personne qui s’y trouve. Celui qui demande à un assistant quel outil utiliser n’obtient pas une liste courte stable, en obtient une différente selon la façon dont il formule sa question, et la seule source qui survit à la reformulation est une plateforme vidéo, et non un fournisseur, un site d’avis ou un comparatif.
Et cela s’est répliqué dans une autre catégorie et sur l’autre surface. La
banque d’entreprise aux États-Unis citait 7 domaines et les gardait tous les 7 à
huit passages, la cellule étroite la plus nette du registre. Posée comme quel
compte une petite entreprise devrait-elle ouvrir, elle en cite 25 et en garde
3. Six des sept d’origine sont encore là, de 1 à 5 passages sur 5, et
www.nerdwallet.com est toujours cité à chaque fois.
Les nombres de passages diffèrent, cinq contre huit, et cela joue en faveur du résultat plutôt que contre lui. Moins de passages ne peuvent citer que moins de domaines, et celle-ci en a cité trois fois et demie plus. Moins de passages rendent aussi l’unanimité plus facile, et la part durable est quand même tombée de tous les domaines à trois sur vingt-cinq. Nous connaissions déjà la version à barre stricte, avec quatre formulations d’une question d’hôtel où aucun domaine n’a survécu aux quatre. Voici la forme forte : non pas que l’ensemble durable rétrécisse en reformulant, mais qu’une cellule passe de neuf sur neuf sans traîne à quatre-vingts cités et rien de durable, à une reformulation près.
Et un ensemble fixe à trois passages n’en est généralement pas un
La forme qui rendait le CRM spécial, chaque domaine cité franchissant chaque passage, n’est pas rare à trois passages. Notre étude par catégories appariées contient de telles cellules dans plusieurs marchés, nous avons donc pris la plus forte hors États-Unis et l’avons lue en profondeur sur sa propre surface.
La paie au Royaume-Uni citait 8 domaines à trois passages et les 8 franchissaient. Lue sept fois de la même façon, elle en cite 19 et 0 franchissent, le compte le plus haut étant de 6 sur 7.
La version à trois passages de cette forme est donc surtout une barre peu profonde. Elle dit qu’une catégorie a peu de sources évidentes, pas qu’elle a un ensemble fixe, et les deux sont identiques jusqu’à ce que quelqu’un lise plus profond. De toutes les cellules que nous avons lues en profondeur, celle du CRM américain est le seul ensemble fixe qui ait survécu.
C’est aussi une mise en garde sur nos propres tableaux publiés. Tous les comptes durables de l’étude par catégories appariées sont à trois passages, ce qui en fait une base honnête pour comparer les cellules entre elles et une mauvaise base pour dire à un acheteur quelles pages détiennent une réponse.
Nous avons lu une question six fois de suite, et le compte a bougé à chaque fois
Tout ce qui précède lit une question une fois, en profondeur, ou la relit un autre jour. Ni l’un ni l’autre ne répond à la question la plus simple, celle que pose d’abord un acheteur : si je lance ça demain et après-demain, est-ce que je regarde le même chiffre ?
Nous avons donc lu une question six fois de suite, sur une seule surface, trois passages par lecture, puis recommencé avec une deuxième question dans un autre marché et une autre langue. Cela fait 13 appels et 38 passages répondus, tous le 14 août 2026. Le protocole a été écrit avant le premier appel, y compris ce qui le tuerait, parce que le registre portait déjà cette question ouverte et que nous ne voulions pas y répondre en choisissant l’analyse après coup.
Cette question ouverte était de savoir si mesurer de façon répétée rétrécit ce que l’on voit. Cinq lectures d’un prompt le 10 août ont donné 18, 14, 11, 13 et 9 domaines cités, elles ont été prises dans l’ordre, et une séquence décroissante prise dans l’ordre ne se distingue pas du bruit. Si c’était réel cela concernerait tout le monde, car cela voudrait dire que l’acte de surveiller dégrade ce qui est surveillé.
Ce n’est pas réel. Six lectures de la question espagnole ont donné 7, 6, 7, 9, 8 et 10 domaines, et la plus haute des six est la dernière. La question américaine a été lue six fois aussi, dont cinq ont bouclé trois passages et une s’est arrêtée à deux ; les cinq ont donné 7, 15, 7, 7 et 7. Rien ne rétrécit.
La session ne l’explique pas davantage, et l’établir a coûté une cellule de plus. En position six du premier bras, nous avons inséré une question jamais posée dans cette session, même marché, même intention, et volontairement aucune des formulations lues avant. Si la baisse avait tenu au fait d’être tard dans une session, la question nouvelle serait revenue petite. Elle a rendu 8 domaines, ce qui est à l’intérieur de la plage de la question déjà lue cinq fois. La séquence du 10 août était donc du bruit tombé dans l’ordre, et c’est désormais écrit comme du bruit au lieu de rester ouvert.
Ce qui a bougé
Le compte de domaines durables. Six lectures d’une question ont rapporté entre 2 et 5 domaines durables, avec le même prompt, la même surface et les mêmes trois passages, lues l’une après l’autre.
En agrégeant les 18 passages, 3 des 16 domaines vus ont manqué au plus un passage. Deux autres restent à 12 sur 18, et ces deux-là sont la raison pour laquelle les lectures isolées divergent : une lecture a promu les deux au rang de durables, une autre a rétrogradé l’un des trois qui ne manquent presque jamais. Une lecture à trois passages n’est pas une estimation bruitée de l’ensemble durable. C’est un tirage qui tombe sur un ensemble différent à chaque fois, et il ne porte aucun signal sur lesquels de ses membres sont les fiables.
Le seul ensemble fixe, et sa queue
La question américaine est la cellule que ce corpus avait déjà désignée comme le seul ensemble fixe ayant survécu à une lecture profonde. Elle survit aussi à ceci, et de façon plus convaincante qu’avant. Quatre des cinq lectures à trois passages ont rendu exactement ces 7 domaines et rien d’autre, et les sept sont les mêmes sept, nom pour nom, qu’une lecture longue de la même cellule a rendus le même jour.
La cinquième lecture a rendu ces sept plus 8 domaines qui ne sont jamais revenus. L’ensemble fixe décrit donc le noyau, pas l’ensemble. Lisez cette cellule deux fois et vous avez une vraie chance de tirer la lecture sur six qui fait passer une catégorie fixe pour une catégorie qui tourne.
La règle que nous n’avons pas pu garder
L’explication élégante est que la variation vit entre les appels plutôt qu’à l’intérieur : un lot de passages partage ce que partage un lot, donc plus de passages dans un appel achètent moins que les mêmes répartis sur plusieurs. Cela colle parfaitement à ce bras. La lecture longue n’a vu aucune queue, et la queue n’est apparue qu’en redemandant.
Cela meurt contre nos propres lignes antérieures. Dans la même catégorie en Espagne, en France et en Allemagne, des appels isolés ont rendu 50, 42 et 63 domaines dont 39, 28 et 36 vus exactement une fois, le tout dans un seul appel. Les queues surviennent bel et bien à l’intérieur d’un appel. Ce qui est vrai est plus étroit et tient : dans cette cellule américaine, les 6 appels ont rendu le noyau et 1 d’entre eux a apporté autre chose.
Nous écrivons la version morte parce que c’est celle que proposera la prochaine personne qui regardera ces données, et c’était nous.
Puis la version bon marché, sur cinq questions à la fois
La section ci-dessus lit deux questions de nombreuses fois. Personne qui achète un outil ne fera cela. Il lira une question, regardera le chiffre, et la relira la semaine suivante. Nous avons donc fait cela, sur cinq catégories que le registre couvre déjà, AI Overview, trois passages par lecture, deux lectures comparables chacune.
Deux lectures consécutives ont nommé les mêmes sources durables dans 2 des 5 questions et des sources différentes dans 3. Le recouvrement médian entre les deux lectures d’une question est de 0,67.
La pire cellule mérite la place. Le logiciel de comptabilité a cité 9 domaines et 0 n’a franchi tous les passages. Relue quelques minutes plus tard, la même question en a cité 8 et les 8 ont franchi. Une troisième fois, les mêmes 8. Les sources n’avaient pas changé du tout : les huit étaient déjà là dans la première lecture, à deux passages sur trois, parce qu’un passage de cette première lecture n’a cité que Google. Un passage sur trois a décidé si cette catégorie n’avait aucune source durable ou huit.
C’est le mécanisme par lequel cet article commence, vu de l’autre bout. Là, il expliquait pourquoi une lecture profonde renvoie zéro. Ici, il fait basculer une catégorie entre deux lectures qu’un acheteur prendrait à une semaine d’écart et lirait comme une tendance.
Celle qui passerait inaperçue
L’hébergement a rapporté 5 domaines durables dans les deux lectures, et ce ne sont pas les mêmes cinq. Deux des cinq ont changé de place pendant que le compte restait immobile. Tout ce qui rapporte un compte plutôt qu’une liste n’aurait montré aucun changement, ce qui est pire que montrer un chiffre faux, car il n’y a rien à remarquer.
C’est pourquoi le registre garde les deux chiffres par cellule et pourquoi le tableau imprime des domaines et non des totaux.
De quoi sont faits les accords, ce qui est la partie gênante
Les deux accords parfaits sont des cellules où chaque domaine cité a franchi la barre dans les deux lectures, 2 sur 5. Notre protocole disait d’avance que cette forme est la barre trop basse et non un ensemble fixe, et cet article a déjà publié qu’un ensemble fixe à trois passages n’en est généralement pas un. La lecture honnête n’est donc pas que deux questions sur cinq sont stables. C’est que les deux questions qui se sont accordées sont les deux où la statistique n’avait rien à se tromper.
Ce que cela ne règle pas
Cinq questions, une surface, un jour, et des catégories choisies parce que nous avions déjà des lignes pour elles. Les deux lectures sont à quelques minutes, donc cela mesure l’accord au sein d’une session et ne dit rien d’une semaine. Et deux lectures se sont arrêtées tôt à deux passages ; elles sont au registre avec leur compte réel et hors de tout chiffre apparié, car une barre exigeant l’unanimité est plus faible à deux passages qu’à trois.
Et un zéro a deux formes, que l’on peut désormais compter
Le chapeau de cet article dit qu’une barre stricte fait tomber douze sources d’un
coup quand un passage ne cite que Google. C’était un mécanisme vu dans une
lecture. Il laisse une forme derrière lui, et cette forme se compte sans rien
mesurer de neuf : google.com cité exactement une fois, et tous les autres
domaines à exactement un passage de la barre.
En comptant toutes les lectures de notre registre ayant trois passages répondus ou plus, et en laissant de côté les relectures ci-dessous parce qu’elles ont été choisies pour être nulles et gonfleraient la part par construction : 80 lectures, dont 18 rendent zéro source durable. 8 de ces 18 ont la forme de peu et 10 sont de la dispersion ordinaire, où le meilleur domaine se situe très en dessous de la barre plutôt qu’à un passage. La forme n’est pas seulement l’apparition de Google, car 14 lectures le citent et 8 seulement y correspondent.
Ces deux zéros appellent des réponses opposées. Un zéro de peu dit que les sources sont probablement là et que la barre a attrapé un mauvais passage. La dispersion dit qu’il n’y a rien à nommer. Le chiffre rapporté est le même.
Si le zéro de peu se récupère, testé avec un témoin
Nous avons relu deux cellules de chaque forme à trois passages. Ici le témoin compte plus que le test, car ce registre a déjà mesuré que relire à soi seul déplace beaucoup la statistique : une récupération ne veut donc rien dire si quelque chose qui ne devrait pas se récupérer ne s’en abstient pas.
| cellule | forme | part durable à la relecture |
|---|---|---|
| Gestionnaires de mots de passe, États-Unis | de peu | 47 pour cent |
| CRM, Allemagne | de peu | 3 pour cent |
| Commerce en ligne, États-Unis | dispersée | 3 pour cent |
| Hébergement, Espagne | dispersée | 0 pour cent |
Le meilleur cas est net : les gestionnaires de mots de passe ont cité 19 domaines les deux fois et sont passés d’aucun franchissant chaque passage à neuf. Rien n’a changé du côté des sources ; c’est la barre qui a changé. Sur AI Overview la veille, une cellule de comptabilité a fait la même chose et est passée à tous les domaines cités franchissant.
Nous avons porté chaque bras à 5 cellules, et les bras se recouvrent toujours par le bas. Les parts de quasi sont de 2, 3, 47, 100 et 100 pour cent, médiane 47. Les dispersées sont de 0, 0, 0, 3 et 6, médiane 0. La cellule de quasi la plus basse reste sous la dispersée la plus haute, une règle disant « quasi veut dire que les sources sont là » se trompe donc deux fois sur cinq.
Ce qui a séparé, c’est l’autre sens. Aucune cellule dispersée n’a dépassé 6 pour cent, et 3 des 5 cellules de quasi sont revenues à 47 pour cent ou plus. L’information va dans un seul sens : un zéro dispersé a prédit un autre quasi-zéro à chaque fois, et un zéro de quasi n’a rien prédit. C’est plus faible que l’affirmation symétrique que nous aurions préférée et c’est ce que portent dix lectures.
Une réserve tient au plafond de ce bras et non à son plancher. 2 des 10 relectures ont rendu durables tous les domaines qu’elles citaient, les deux cellules de quasi à 100 pour cent, et ce corpus appelle déjà cela une barre basse et non un ensemble fixe. Une partie de cette reprise est une réponse plus étroite et non des sources qui reviennent.
La forme pratique reste bon marché. Si votre zéro a la forme de peu, relisez-le avant d’agir dessus. Une lecture de plus ne coûte presque rien et fait la différence entre « aucune source ne tient cette catégorie » et « neuf la tiennent ».
Trois passages est une barre plus faible que les quatre à neuf des lectures d’origine, donc relire favorise la récupération dans les deux bras. C’est pourquoi la seule chose citée ci-dessus est le contraste, et pourquoi le contraste est rapporté comme ne séparant pas.
Ce qui prédit vraiment un ensemble de réponse nommable
En lisant ensemble toutes les mesures profondes du registre, ce qui sépare une cellule avec ensemble fixe d’une cellule sans n’est pas le nombre de passages. Les médianes par nombre de passages font 78, 0, 3, 2, 0, 0, 100 et 20 pour cent, ce qui n’est aucun motif.
Ce qui les sépare, c’est combien de domaines la réponse cite au départ. Sur 59 lectures profondes, 14 citent neuf domaines ou moins, 40 en citent treize ou plus, et cinq se placent entre les deux : les étroites gardent entre 56 et 100 pour cent de ce qu’elles citent, les larges au plus 40 pour cent. La profondeur ne l’explique pas non plus, car la lecture étroite la plus profonde fait 9 passages et la large la plus profonde 10.
Et le prédicteur tient en place, ce qui décide s’il est utilisable. Un prédicteur qui bouge d’un jour à l’autre n’en est pas un, alors la cellule la plus large du balayage a été relue un jour plus tard avec le même prompt, le même marché, la même surface et le même nombre de passages. Elle a cité 64 domaines un jour et 63 le lendemain, et n’en a gardé aucun les deux fois.
Les sources en dessous n’ont pas tenu du tout : 24 domaines sur 103 distincts figurent dans les deux lectures, un recouvrement de 0,23. Le nombre se reproduit donc pendant que presque toute l’appartenance se renouvelle.
Cette asymétrie traverse ce registre, et partout ailleurs c’est le nombre stable qui trompait : une part qui tenait pendant que ses sources changeaient entièrement, un taux de stabilité parcourant cinquante points sur un numérateur qui ne quittait pas sept. C’est le seul endroit où cela joue dans l’autre sens. La largeur est ce qui est affirmé, et elle appartient à la cellule et non aux pages revenues ce jour-là.
Nous avons donc prédit avant de mesurer, ce qui est la seule façon d’en faire autre chose qu’une description. La banque d’entreprise aux États-Unis citait quatre domaines à trois passages. Le motif dit qu’une cellule qui cite peu les garde, elle a donc été lue huit fois : elle en cite 7 et les garde tous les 7, sans traîne. C’est une quatrième cellule du côté étroit, dans une combinaison de marché, de catégorie et de surface qui n’y était pas.
Deux choses que ceci n’est pas. Le côté étroit fait 10 cellules distinctes contre 29 du côté large, le côté qui porte l’affirmation est donc le maigre. Et un compte à trois passages ne prédit pas le profond : la paie au Royaume-Uni citait huit à trois passages et dix-neuf à sept, ce qui l’a mise du côté large. On apprend quel type de cellule on a en la lisant en profondeur, pas en comptant une lecture superficielle.
Le facteur de confusion évident est la surface, et il ne survit pas au test. AI Overview cite moins de domaines qu’AI Mode, « étroit » pourrait donc être une surface sous un autre nom. Séparé par surface, l’écart tient à l’intérieur de chacune : sur AI Overview les lectures étroites gardent de 56 à 100 pour cent et les larges au plus 40, et sur AI Mode les étroites gardent 100 et les larges au plus 25. Ce test montre aussi où c’est mince, et il faut le dire dans la même phrase : le côté étroit d’AI Mode fait 1 cellule et le côté large d’AI Overview en fait 8.
La prédiction a ensuite visé le cas conçu pour la casser. Le CRM au Royaume-Uni est étroit à trois passages, sept domaines, et aucun durable. Le motif de largeur dit qu’une cellule étroite garde ce qu’elle cite ; la lecture à trois passages dit qu’elle ne garde rien. Lue huit fois, elle en cite 6 et les garde tous les 6. Le compte superficiel n’y était pas seulement superficiel, il était inversé : la même cellule se lit comme rien de stable à trois passages et comme six sources à chaque fois à huit.
Et l’inversion s’est répliquée dans une catégorie que nous n’avions jamais lue. Le VPN aux États-Unis était le même montage, six domaines cités à trois passages et aucun durable. Lu huit fois, il en cite six et les garde tous les six. Deux cellules indépendantes, toutes deux déclarant rien de stable à trois passages, toutes deux renvoyant un ensemble fixe complet une fois lues en profondeur.
Ce que cela fait à l’affirmation d’hier
La pièce d’hier disait que les sources ne clignotent pas et qu’un passage sur cinq à huit répond autrement. Les deux moitiés restent vraies des deux questions qu’elle a mesurées, et son arithmétique de probabilité ne change pas pour elles.
Ce qu’elle n’aurait pas dû laisser entendre, et ce qu’un lecteur en retirerait raisonnablement, c’est que cela décrit AI Mode. Cela décrit 2 des 6 questions que nous avons maintenant lues en profondeur sur AI Mode aux États-Unis. Les quatre autres se répartissent en deux groupes, et l’une d’elles n’a aucun passage à part.
C’est la deuxième fois en deux jours qu’un de nos résultats doit être restreint quand d’autres questions arrivent, et la forme de l’erreur est identique les deux fois : un mécanisme propre qui explique le lot qui l’a suggéré, publié avant d’avoir été vérifié contre un lot qui ne le montre pas.
Quoi rapporter à la place d’un compte de durables
Un compte durable de zéro n’est pas un résultat en soi. Ce qui sépare les trois cas est la distribution des comptes, et cela tient en une ligne d’arithmétique :
- Tous les domaines cités au maximum, comme le CRM, signifie un ensemble de réponse fixe. On travaille ces pages.
- Presque tous à un du maximum, un seul en dessous, comme la paie, signifie un unique passage à part. L’ensemble durable est réel et votre échantillon l’a manqué. Relisez avant de conclure.
- Des comptes qui s’effilochent avec une grande traîne à un passage, comme l’ecommerce, signifie une réponse assemblée à neuf chaque fois. Il n’y a pas d’ensemble stable à travailler, et rapporter zéro est correct et inutile sans la forme à côté.
Tout produit qui rapporte « sources durables : 0 » pour le deuxième et le troisième donne le même nombre à un quasi-succès et à une absence.
Où la différence n’est pas : la page qui se classe
L’explication évidente du fait que le CRM réponde depuis un ensemble fixe et pas le commerce en ligne, c’est que leurs résultats de recherche diffèrent, l’un installé et l’autre encombré. Le vérifier avec l’instrument qui a produit l’énigme reviendrait à raisonner en rond, il faut donc un second instrument qui ne sait rien du premier : les résultats organiques de Google eux-mêmes pour la chaîne identique, lus le même jour.
Six catégories, la même chaîne posée aux deux couches, États-Unis en anglais.
| Catégorie | Passages en AI Mode | Domaines cités | Aussi dans le top 20 organique | Cités hors de la page qui se classe |
|---|---|---|---|---|
| CRM | 8 | 9 | 8 | 1 |
| Paie | 8 | 13 | 10 | 3 |
| Logiciels de comptabilité | 5 | 13 | 6 | 7 |
| Gestionnaires de mots de passe | 4 | 19 | 7 | 12 |
| Hébergement web | 7 | 41 | 8 | 33 |
| Plateformes de commerce en ligne | 9 | 104 | 7 | 97 |
Le compte de domaines cités qui se classent aussi se situe entre 6 et 10 dans les six. Ce qui va de 1 à 97, c’est la colonne d’à côté.
La version en pourcentage, une part qui tombe de 89 pour cent à 7, n’est pas un second résultat et ne doit pas se lire comme tel. Le numérateur étant quasi constant, la part tombe par arithmétique. L’observation, c’est le numérateur quasi constant.
Il y a aussi une comparaison que ce tableau ne fait pas. Le compte de domaines distincts de la page organique elle-même va de 13 à 16 dans les six, ce qui ressemble à un résultat plat et n’en est pas un : une page de vingt positions est bornée à vingt par construction, donc cette platitude appartient à l’instrument. Seul le recouvrement est lu ici.
Le contrôle qui autorise la comparaison entre catégories
Les lignes sont lues à des profondeurs différentes, de quatre passages ayant répondu à neuf, et l’ampleur croît avec les passages. Si le recouvrement croissait avec eux aussi, le tableau mesurerait la profondeur. La cellule la plus large a été lue deux fois exactement pour cela : 64 domaines cités à quatre passages ayant répondu, et 104 à neuf. Le recouvrement avec la page qui se classe valait 7 les deux fois, et les mêmes sept domaines nommément. Les 40 domaines nouveaux venaient tous de hors de la page.
Le même écart lu par l’autre bout
Retourné, le tableau dit quelque chose qu’un fournisseur paie directement. Entre 6 et 9 des domaines qui se classent ne sont jamais cités, dans chaque catégorie. En commerce en ligne cela inclut quatre des plateformes elles-mêmes : Shopify, Wix, BigCommerce et Sellfy se classent toutes dans le top vingt pour cette chaîne exacte, et aucune des quatre n’est citée en neuf passages.
Cité n’est pas nommé. Ce registre garde ces deux résultats séparés partout, et la distinction pèse ici : une réponse peut recommander longuement un produit tout en citant la page d’un autre à son sujet. Ce qui est mesuré, c’est à qui appartenait la page citée.
Donc une position en première page achète un siège à la table de la réponse dont la taille bouge à peine selon la catégorie, et ce qui bouge, c’est la taille du reste de la table. En CRM ce siège vaut 8 sources sur 9. En commerce en ligne, 7 sur 104. Le même classement vaut deux choses très différentes, et laquelle des deux vous concerne se mesure avant d’y dépenser quoi que ce soit.
Ce que cela ne répond toujours pas, c’est pourquoi. Cela dit où la différence n’est pas. Elle n’est pas sur la page qui se classe, car cette page apporte à peu près la même chose partout. Ce qui fait qu’une catégorie répond depuis un ensemble fixe se joue dans ce que la surface va chercher au-delà, et cette mesure n’atteint pas cela non plus.
Et un contrôle venu d’ailleurs que les questions d’achat. Toutes les cellules ci-dessus demandent le meilleur produit d’une catégorie. En demandant plutôt comment se classer dans les AI Overviews, une autre intention dans un autre secteur, AI Mode sur 6 passages a cité 36 domaines dont 8 figuraient dans le top 20 organique. Cela fait 53 pour cent de la page qui se classe, la médiane des douze. Sept domaines classés n’ont pas été cités en six passages, dont Ahrefs en cinquième position.
Et un contrôle sur l’autre surface, qui borne tout ce qui précède. Toutes les cellules ci-dessus sont AI Mode. Trois des mêmes chaînes posées à AI Overview le même jour, sur le même marché, citent 6 ou 7 domaines chacune, toutes dans chaque passage ayant répondu, et prennent de 21 à 33 pour cent de leur page qui se classe. Le commerce en ligne est le cas le plus net : 104 domaines cités en AI Mode et 6 en AI Overview, pour la question identique. L’ampleur par catégorie dont traite toute cette section est donc une propriété d’AI Mode, et sur AI Overview la catégorie large est aussi fixe que l’étroite.
Le même dispositif sur un second marché
Tout ce qui précède est un seul marché, et la règle de ce registre est qu’un résultat mesuré sur un marché est un résultat mesuré sur un marché. Les six catégories ont donc été reprises en Espagne, en espagnol, face à la page qui se classe en Espagne pour la chaîne espagnole identique, le 14 août 2026.
L’Espagne répond plus large partout. Sa catégorie la plus étroite cite 25 domaines là où la plus étroite aux États-Unis en cite 9, donc rien en Espagne ne ressemble à l’ensemble fixe de neuf.
| Catégorie | Domaines cités | Aussi dans le top 20 organique | Part de la page qui se classe |
|---|---|---|---|
| Paie | 25 | 6 | 67 pour cent |
| Gestionnaires de mots de passe | 27 | 6 | 40 pour cent |
| Logiciels de comptabilité | 39 | 8 | 50 pour cent |
| Hébergement web | 50 | 4 | 50 pour cent |
| CRM | 77 | 12 | 75 pour cent |
| Plateformes de commerce en ligne | 114 | 9 | 56 pour cent |
Sur les 18 cellules des 3 marchés, l’ensemble cité va de 9 à 114 et le compte de domaines cités qui se classent aussi va de 4 à 12.
La dernière colonne est ce sur quoi les trois marchés doivent être comparés, et c’est la raison de son existence. Un compte brut de recouvrement est borné par le nombre de domaines que la page qui se classe contient, et deux des pages espagnoles ont renvoyé neuf et huit domaines organiques au lieu de quinze. Une part de la page dont chaque cellule disposait réellement ne l’est pas. Aux États-Unis cette part va de 44 à 63 pour cent, en Espagne de 40 à 75 et en Allemagne de 27 à 63. Les deux premiers marchés tombent juste au-dessus de la moitié. L’Allemagne tombe à 44 et devient le premier marché en dessous, ce qui est exactement ce qu’un troisième marché sert à trouver.
Donc environ la moitié de la première page est citée, sur les trois marchés, que la réponse s’appuie sur neuf sources ou sur cent quatorze.
Deux choses que cette série fait mieux que la première. Chaque cellule espagnole a obtenu exactement six passages, donc la comparaison entre catégories est appariée par passages, alors que les lignes américaines allaient de quatre à neuf passages ayant répondu et avaient besoin du contrôle de profondeur pour tenir. Et le résultat ne repose plus sur un seul marché, ce que ce registre exige d’une affirmation avant de l’énoncer en général.
Ce que dix-huit cellules ne peuvent pas trancher, c’est si cette part bouge avec la largeur de ce qu’une cellule cite. Ce qu’elles montrent, ce sont les deux étendues : un ensemble cité allant de 9 à 114, et une part de première page allant de 27 à 75 pour cent.
Et un troisième marché, lu moins profond
Tout ce qui précède fait deux marchés lus à six passages ou plus. Les mêmes six catégories ont été relancées en Allemagne, en allemand, le 14 août 2026, avec le même dispositif et la même chaîne posée aux deux couches. Les six ont répondu trois passages sur trois.
| Catégorie | Domaines cités | Aussi dans le top 20 organique | Part de la page qui se classe |
|---|---|---|---|
| Logiciel de comptabilité | 11 | 7 | 44 pour cent |
| CRM | 12 | 5 | 29 pour cent |
| Paie | 13 | 10 | 63 pour cent |
| Gestionnaires de mots de passe | 16 | 4 | 27 pour cent |
| Hébergement web | 45 | 9 | 60 pour cent |
| Plateformes e-commerce | 45 | 4 | 44 pour cent |
Il faut lire la colonne du milieu, pas celle de gauche. Ce sont des lectures à trois passages là où l’Espagne en a fait six, et cette pièce a déjà montré qu’un compte cité à trois passages ne prédit pas le profond : la paie au Royaume-Uni citait huit à trois passages et dix-neuf à sept. Une étendue citée de 11 à 45 n’est donc pas comparable à l’espagnole, et l’étroitesse de gauche est en partie de la profondeur.
La colonne comparable est celle que défend le contrôle de profondeur de cette étude. Lire la cellule américaine la plus large à quatre passages puis à neuf a porté son ensemble cité de 64 à 104 et laissé le compte qui se classe aussi à 7 les deux fois : le cité bouge avec la profondeur, le recouvrement non. En Allemagne ce recouvrement va de 4 à 10, à l’intérieur du 4 à 12 que les deux premiers marchés avaient déjà fixé. Une troisième langue n’a bougé aucune des deux bornes.
Ce que l’Allemagne bouge, c’est la part de la page qui se classe, vers le bas. Son plancher est de 27 pour cent contre 40 en Espagne, et sa médiane est de 44, la première des trois à passer sous la moitié.
Et l’autre surface va ici dans l’autre sens, ce que le contrôle américain ne laissait pas prévoir.
Trois de ces chaînes allemandes sont passées sur AI Overview le même jour, les trois mêmes catégories déjà contrôlées aux États-Unis. Là-bas AI Overview s’appuie moins que AI Mode sur la page qui se classe, de 21 à 33 pour cent contre 44 à 63. En Allemagne il s’appuie davantage, dans les trois : 59 contre 29, 50 contre 44 et 89 contre 44.
Trois cellules aussi nettes tiennent d’habitude à la phrase et non au marché, alors les trois mêmes ont été reposées en allemand autrement, sur les deux surfaces. AI Overview est revenu à 53, 59 et 47 contre les 35, 53 et 47 d’AI Mode. Sur les deux formulations cela fait 6 paires, 5 avec AI Overview au-dessus, 1 égalité exacte et 0 dans l’autre sens.
Le sens n’est donc pas la formulation. La taille, si : l’e-commerce est passé de 45 points d’écart à aucun. Ce que ces paires soutiennent, c’est qu’en Allemagne AI Overview n’a jamais été la surface qui s’appuie le moins sur la première page, et aucune distance particulière.
Deux limites, parce que c’est le genre de contraste qui appelle une affirmation plus grande qu’il ne peut porter. Le côté américain fait trois cellules avec une seule formulation, donc la moitié non répétée de la comparaison est celle sur laquelle repose le contraste. Et les chaînes américaines sont anglaises là où les allemandes sont allemandes, si bien que cette moitié déplace encore pays et langue ensemble, ce qui est exactement le facteur de confusion que la nouvelle formulation allemande a retiré du seul côté allemand.
Ce que cela ne montre pas
Nos comptes AI Mode sont des planchers, pas des comptes. Sur 5 questions dans 3 marchés, une réponse d’AI Mode imprime des marqueurs de citation numérotés dans son corps et la liste structurée en porte de 21 pour cent à la totalité, tandis que celle d’AI Overview les a tous portés dans chaque cellule. Nous avons mesuré cela d’abord sur deux cellules, l’avons lu comme une moitié constante, et un troisième marché a renvoyé une réponse d’AI Mode portant chaque marqueur qu’elle imprimait. Tout chiffre d’ampleur AI Mode ici vaut donc au moins ce qu’il dit, d’une quantité qui varie par cellule et que nous ne pouvons pas cerner. Il se trouve que c’est la direction sûre pour cet article : là où nous rapportons qu’AI Mode cite bien plus large qu’AI Overview, un AI Mode sous-capturé rend l’écart réel plus grand et non plus petit. Ce que cela exclut, c’est de corriger l’un de ces nombres vers le haut par un facteur fixe, ce à quoi invitait la version à deux cellules.
Il a dépassé sa propre première limite, et voici celle d’aujourd’hui. Cela a commencé comme AI Mode aux États-Unis en anglais sur une seule journée, et cette phrase est restée ici après avoir cessé d’être vraie. Les lectures couvrent désormais 2 surfaces, 5 marchés, 4 langues et 4 jours. Chaque section dit laquelle elle a utilisée, et aucun chiffre ici ne dépasse la section où il se trouve.
Les catégories ne sont l’échantillon de rien. Elles ont été choisies parce que nos travaux antérieurs les couvrent déjà, ce sont donc les catégories contre lesquelles nous pouvons comparer, pas un tirage dans l’économie.
Les passages ayant répondu vont de quatre à huit et nous ne les contrôlons pas. L’outil s’arrête tôt et dit combien ont répondu. Une barre qui demande l’unanimité est plus dure à huit passages qu’à quatre, les lignes ne sont donc pas interchangeables et la comparaison qui pèse est celle où les profondeurs coïncident.
Pourquoi le CRM est fixe et l’ecommerce non, nous ne pouvons toujours pas le dire. La section ci-dessus écarte une réponse et une seule : ce n’est pas que la page qui se classe diffère, car cette page apporte de six à dix sources quelle que soit la catégorie. Cela laisse le mécanisme là où la mesure n’atteint pas, dans ce que la surface récupère au-delà de la première page, et une histoire plausible sur les petits viviers et les catégories encombrées reste une hypothèse pour une étude plus grande, pas un résultat.
Rien ici n’est causal et rien ne prévoit. Ce sont des lectures, pas une intervention avec témoin.
Questions fréquentes sur les ensembles durables de citation
Zéro source durable veut-il dire que le moteur est instable ?
Pas en soi. Dans nos six lectures le zéro est arrivé de deux façons : l’une où douze sources sur treize s’accordaient et où un seul passage différait, l’autre où des dizaines de sources apparaissaient chacune une fois. La première est un quasi-succès et la seconde une absence, et le compte durable est identique pour les deux.
Une réponse IA peut-elle renvoyer les mêmes sources à chaque fois ?
Oui, dans certaines catégories. Demander le meilleur CRM pour une petite entreprise sur AI Mode a renvoyé neuf domaines, tous cités dans chaque passage ayant répondu, et une seconde lecture le même jour a renvoyé les mêmes neuf par leur nom. C’est une cellule où l’on peut montrer à un acheteur exactement quelles pages détiennent la réponse à cette question telle qu’elle est formulée. La même intention posée avec d’autres mots, le même jour sur la même surface et dans le même marché, a cité 80 domaines et aucun durable : la liste appartient donc à la formulation avant d’appartenir à la catégorie.
Se classer en première page suffit-il à être cité dans une réponse IA ?
En partie, et pour une quantité qui change à peine selon la catégorie. En posant la chaîne identique aux résultats organiques de Google et à AI Mode le même jour dans six catégories, le nombre de domaines cités qui se classent aussi dans le top 20 organique est tombé entre 6 et 10 à chaque fois, alors que l’ensemble cité allait de 9 à 104. Une position en première page apporte donc un nombre de sources à peu près fixe, et ce qui décide si cela représente presque toute la réponse ou une fraction, c’est ce que la surface cite hors de la page qui se classe. Dans la catégorie la plus étroite, 8 sources sur 9 ; dans la plus large, 7 sur 104.
Est-ce que cela tient sur AI Overview ?
Non, et c’est la limite la plus importante de cette page. Trois des mêmes chaînes posées à AI Overview le même jour citent 6 ou 7 domaines chacune, toutes dans chaque passage ayant répondu, et prennent de 21 à 33 pour cent de leur page qui se classe. Le cas le plus net est le commerce en ligne : 104 domaines cités en AI Mode et 6 en AI Overview pour la question identique. La division entre large et étroit sur laquelle cette page est bâtie est une propriété d’AI Mode, donc un chiffre mesuré sur une surface ne dit rien de l’autre.
Pourquoi votre article précédent disait-il qu’un passage sur huit répond autrement ?
Parce que c’est ce qu’ont fait ses deux questions, et cela reste vrai d’elles. Quatre questions de plus sur le même énoncé et la même surface ne le montrent pas, le mécanisme appartient donc à ces questions plutôt qu’à la surface. Cette pièce est cette correction, publiée plutôt qu’appliquée en silence.
Combien de passages une mesure de stabilité devrait-elle utiliser ?
Plus de trois, et le nombre doit être imprimé à côté du chiffre. Une barre qui demande une source dans chaque passage devient plus dure à mesure que les passages s’ajoutent, la même question honnêtement mesurée à trois et à dix produit donc des comptes différents. Dans notre registre une question donne treize domaines durables à trois passages et quatre à dix.
Que faut-il demander à un fournisseur là-dessus ?
Trois choses maintenant. Si ses passages sautent le cache, combien de formulations il suit par intention, et ce que devient son chiffre de stabilité quand le nombre de passages monte. Et une quatrième s’il rapporte un zéro : est-il venu d’un passage à part ou de cent sources apparues une fois, car il ne pourra pas répondre sans la distribution des comptes.
Comment répéter ceci ?
Prenez une question d’achat, posez-la quatre à dix fois sur une surface dans un marché, et notez combien de passages ont cité chaque domaine plutôt que de savoir si chaque domaine a franchi tous les passages. Puis recommencez avec une seconde catégorie dans la même session. Si les deux distributions ont des formes différentes, vous avez reproduit ceci, et le compte durable seul l’aurait caché. Reposez ensuite la première question avec d’autres mots, sur la même surface le même jour, et réunissez les deux listes de domaines : c’est l’étape sur laquelle repose cet article, et celle que la méthode ci-dessus n’atteint pas seule.
Interrogez une IA sur cet article
Ouvre votre assistant avec cette page déjà chargée, pour vérifier les chiffres, discuter la méthode ou demander ce que cela change pour vous.
- ChatGPT (ouvre un nouvel onglet. la question est pré-remplie, appuyez sur entrée pour l’envoyer)
- Claude (ouvre un nouvel onglet. la question est pré-remplie, appuyez sur entrée pour l’envoyer)
- Perplexity (ouvre un nouvel onglet)
- Google AI Mode (ouvre un nouvel onglet)
Perplexity et Google répondent directement. ChatGPT et Claude remplissent le champ et attendent que vous appuyiez sur entrée, ce qui relève de leur comportement et non du nôtre.