Nous avons lu une question huit fois. Les sources n'ont pas bougé, la réponse si, et cela casse la métrique que tout le monde utilise.

Tous les chiffres de stabilité de ce site reposent sur la même barre : une source compte si elle a été citée dans chaque passage ayant répondu, trois passages par question. Hier cette barre a fait passer une cellule de zéro source durable à douze entre deux lectures séparées d’une heure, nous avons donc cessé d’ajouter des cellules et lu une seule question en profondeur. Huit passages ayant répondu. Douze domaines cités dans sept d’entre eux, et un domaine, google.com, cité dans un seul. Une deuxième question a donné la forme identique avec cinq passages : douze dans quatre, google.com dans un. Les sources ne clignotent pas. Un passage sur cinq à huit renvoie une autre réponse, et la barre stricte fait tomber les douze d’un coup quand votre échantillon le contient.

Cela fait de «cité à chaque passage» une mesure de votre chance d’échantillonnage plutôt que de quoi que ce soit au sujet des sources, et nous l’avons publiée.

Restreint le même jour . Quatre questions de plus sur cet énoncé et cette surface ne montrent pas le mécanisme ci-dessous, il appartient donc à ces deux questions et non à AI Mode : un compte durable de zéro se révèle être trois faits différents, et une catégorie renvoie les mêmes neuf sources dans chaque passage. L’arithmétique d’ici ne change pas pour les deux questions sur lesquelles elle a été mesurée.

Transparence : EchoWi vend de la mesure de visibilité IA, et cette pièce retire une statistique que nous utilisons dans neuf études publiées et que les produits de cette catégorie affichent comme chiffre principal. Les deux questions, la surface, le marché et le nombre de passages sont dans notre registre de mesures, l’arithmétique ci-dessous peut donc être vérifiée et refaite contre nous.

La version courte

1. Douze domaines, un seul comptage. Lue huit fois, douze sources ont été citées dans exactement sept passages chacune. Un clignotement indépendant disperse les comptages ; douze qui tombent sur le nombre identique, c’est un passage manquant partagé.
2. Le passage à part cite Google et rien d’autre. google.com est le seul domaine présent dans le passage dont les douze autres sont absents, dans les deux questions.
3. La barre est donc tout ou rien. Échantillonnez trois passages sans celui-là et vous avez douze sources durables. Trois avec, et vous avez zéro. Rien des sources n’a changé.
4. La probabilité de l’attraper à trois passages est de 33 à 49 % sur ces deux questions. Ce n’est pas une marge d’erreur, c’est un pile ou face qui tranche entre une réponse vide et une réponse pleine.
5. Ce qu’il faut rapporter, c’est la fréquence, sept sur huit, et non un réussi ou raté face à une barre qu’un seul passage peut opposer.

Ce que nous avons fait exactement

L’étude entre surfaces d’hier a publié que quatre cellules ne renvoyaient aucune source durable sur AI Mode. Reposées une heure plus tard, les quatre en ont renvoyé une, et la paie américaine est passée de zéro à douze, ces douze étant exactement les domaines qui étaient dans deux passages sur trois la première fois. Nous avons retiré l’affirmation le jour même, et la question évidente était de savoir si c’était la barre ou les sources qui bougeaient.

Donc au lieu d’une autre cellule, une question lue aussi profondément que l’outil le permet. Nous avons demandé dix passages et en avons obtenu huit, ce qui est dit parce que le dénominateur de chaque comptage ci-dessous, ce sont les passages qui ont eu lieu et non ceux demandés.

Deux questions, une forme

La colonne importante est la troisième. Douze sources auxquelles il manque exactement un passage, dans les deux questions, sans aucune source à six sur huit ni à huit sur huit.

Si chaque source était peu fiable de son côté, les comptages se disperseraient : certaines à huit, certaines à six, certaines à cinq. Ils ne se dispersent pas du tout. Douze domaines partageant un seul comptage, c’est ce à quoi ressemble de l’extérieur un passage manquant, et c’est pourquoi l’agrégat mérite d’être lu et non survolé.

Le contrôle : les mêmes deux questions sur AI Overview

Si un passage sur cinq à huit répond autrement, la question évidente est de savoir si cela appartient à AI Mode ou à la mesure. Les deux questions ont donc été lues de la même façon sur AI Overview.

Aucune lecture d’AI Overview n’a la forme. Aucun domaine ne se retrouve seul à un passage pendant que tout le reste se tient à un de moins que le total, le passage dégénéré est donc une propriété d’AI Mode dans ces quatre lectures et non de l’outil qui mesure les deux.

Mais AI Overview n’est pas déterministe non plus, et la première lecture a failli nous en convaincre. La paie a renvoyé six domaines, les six cités dans les neuf passages ayant répondu, sans aucune traîne. C’est le maximum de stabilité qu’atteint une couche de récupération, et il était tentant d’écrire qu’AI Overview ne bouge tout simplement pas. La lecture de comptabilité l’a tuée : quatre domaines dans les dix passages, un dans neuf, deux dans huit, un dans deux, et douze domaines cités exactement une fois chacun.

Les deux surfaces cassent donc la même statistique de deux façons différentes. Sur AI Mode un seul passage peut vider l’ensemble durable. Sur AI Overview l’ensemble s’érode à mesure qu’on ajoute des passages, car la barre demande l’unanimité et chaque passage supplémentaire est une occasion de plus de la perdre.

Ce que cela veut dire pour nos propres chiffres publiés

C’est la partie inconfortable. Notre registre contient une ligne de comptabilité américaine sur AI Overview avec treize domaines durables à trois passages. Lue dix fois, la même question sur la même surface en a quatre.

Les deux sont correctes et répondent à des questions différentes. Treize, c’est combien de sources sont revenues dans les trois passages de cette lecture. Quatre, c’est combien sont revenues dans les dix de celle-ci. La barre est une fonction du nombre de passages, et elle l’a toujours été.

Cela n’invalide pas les comparaisons bâties dessus, car chaque cellule de l’étude de catégories appariées a été mesurée à trois passages et est comparée à d’autres cellules à trois passages. Ce que cela retire, c’est une lecture de ces nombres que nous n’avons jamais écrite mais que n’importe qui ferait : un comptage d’ensemble durable n’est pas une estimation du nombre de sources stables. C’est un comptage de ce qui a survécu à un nombre précis de passages, et il va à côté de ce nombre.

L’arithmétique qui en fait un problème

Si un passage sur n renvoie la réponse à part, la probabilité qu’un échantillon de k passages le contienne est 1 - (1 - 1/n)^k.

Lisez ce tableau dans le bon sens, car il est contre-intuitif. Plus de passages font que la barre stricte renvoie zéro plus souvent, pas moins. La barre demande l’unanimité, et l’unanimité devient plus difficile à mesure que l’échantillon grandit. Un produit qui lance vos prompts chaque jour et rapporte combien de sources ont été citées absolument à chaque fois fait passer un test que sa propre diligence garantit d’échouer.

C’est l’inverse du comportement attendu d’une métrique de stabilité, et c’est là-dessus que reposaient nos propres chiffres à trois passages.

Pourquoi le zéro et le douze étaient vrais tous les deux

La paie américaine sur AI Mode, première lecture : trois passages, dont celui à part, zéro source citée dans les trois. Deuxième lecture une heure plus tard : trois passages, aucun n’étant celui à part, douze sources citées dans les trois.

Les deux lectures sont correctes. Aucune ne décrit les sources. À 1 sur 8, une lecture de trois passages tombe sur zéro environ un tiers du temps, et la première y est tombée.

Cela explique aussi un cas publié quatre jours plus tôt et que nous ne savions pas expliquer alors. Dans notre travail sur deux jours, une question de marketing par courriel n’a rien renvoyé de durable un après-midi et sept domaines une heure plus tard, et ces sept étaient exactement les sources qui avaient été dans deux passages sur trois. Nous avions écrit qu’une barre stricte et une récupération qui bouge produisent un ensemble vide sans que rien ne soit cassé. C’était juste et vague. Le mécanisme est un unique passage dégénéré, et il devient visible dès qu’on lit assez profondément.

Ce que nous changeons

Nous ne supprimons pas les chiffres d’ensemble durable. Ils restent la réponse honnête à «quelles sources sont revenues à chaque passage de cette lecture», et chacun est publié avec son nombre de passages à côté. Ce qu’ils ne sont pas, c’est une propriété de la question, et nos études qui traitent un changement de ce nombre comme un changement du monde ont besoin de la nuance qu’apporte cette pièce.

Le chiffre que nous mettrons en avant est la fréquence. Sept sur huit est un fait sur la source. Zéro sur trois, quand les trois contenaient le passage à part, est un fait sur l’échantillon.

Et la deuxième question à poser à un fournisseur a désormais une compagne. Après «vos passages sautent-ils le cache ?», demandez ce que devient leur chiffre de stabilité quand le nombre de passages augmente. S’il baisse, ils rapportent l’unanimité, et l’unanimité n’est pas la stabilité.

Ce que cela ne montre pas

Deux questions, une surface, un marché, un jour. C’est AI Mode aux États-Unis en anglais le 12 août 2026. Les deux lectures d’AI Overview ci-dessus sont un contrôle du même jour et du même marché, pas une affirmation générale sur cette surface, et rien ici ne dit à quelle fréquence tout cela se produit sur des semaines.

Le passage partagé est une inférence à partir de comptages, pas une observation de passages. L’outil renvoie combien de passages ont cité chaque domaine, pas lesquels. Ce qui fait de cette lecture plus qu’une supposition, c’est que les douze comptages sont identiques dans les deux questions, et qu’une lecture séparée à trois passages a renvoyé les douze à trois sur trois, ce qui ne peut pas arriver si leurs passages manquants étaient dispersés.

Les deux lectures se sont arrêtées avant terme. Nous avons demandé dix passages et obtenu huit et cinq. C’est pourquoi les deux taux de passage à part, 1 sur 8 et 1 sur 5, sont des estimations issues d’une seule lecture chacune et non des mesures, et pourquoi le tableau de probabilité est une fourchette et non une constante.

Et un passage dégénéré n’est pas forcément un seul type de passage. Nous voyons que google.com est le seul domaine qui y est cité. Nous ne voyons pas si c’était une réponse plus courte, un refus ou une autre voie de récupération, et cette mesure n’a pas été conçue pour les distinguer.

Questions fréquentes sur la mesure de la stabilité des citations

Que mesure vraiment «cité à chaque passage» ?

Sur ces données, si votre échantillon contenait le passage qui répond autrement. En lisant une question huit fois, douze sources ont été citées dans sept passages chacune et un domaine dans le passage restant. Un échantillon de trois passages qui contient ce passage rapporte zéro source stable ; un qui ne le contient pas en rapporte douze, et les sources étaient identiques les deux fois.

Lancer plus de prompts rend-il un score de stabilité plus fiable ?

Pas ce genre de score. Une barre qui exige la source à chaque passage devient plus difficile à franchir quand on ajoute des passages, donc plus de diligence produit un chiffre plus bas au lieu d’un chiffre plus ferme. Sur notre question de paie, la probabilité que la barre stricte renvoie zéro passe de 33 % à trois passages à 74 % à dix.

Que faudrait-il rapporter à la place ?

La fréquence de citation de chaque source, avec le nombre de passages à côté. Sept sur huit est vérifiable et parle de la source. Un réussi ou raté face à l’unanimité peut être renversé par un seul passage et parle de l’échantillon.

Pourquoi un passage n’a-t-il cité que Google ?

Nous ne le savons pas, et cette mesure ne peut pas le dire. Ce qui est visible, c’est que dans les deux questions il y a exactement un passage où les douze sources habituelles sont absentes et où google.com est présent. Savoir si ce passage était une réponse plus courte ou une autre voie de récupération est une autre question, qui demande une inspection passage par passage plutôt que des agrégats.

Cela veut-il dire que vos études précédentes sont fausses ?

Les comptages sont justes et l’interprétation avait besoin d’être resserrée, ce pourquoi ceci est publié plutôt que corrigé en silence. Un ensemble durable est une description exacte d’une lecture. Traiter un changement de cet ensemble comme un changement de ce que le moteur cite est la partie qui ne survit pas, et la pièce d’hier sur les surfaces porte déjà la rétractation qui a lancé tout ceci.

Comment refaire ceci contre vous ?

Prenez une question d’achat, posez-la huit à dix fois sur une surface dans un marché, et notez combien de passages ont cité chaque domaine au lieu de savoir si chaque domaine a franchi tous les passages. Si les comptages se groupent sur un seul nombre, un de moins que le total, vous avez la même forme, et la barre que tout le monde cite mesure votre échantillon.