Nous avons regroupé 120 de nos propres mesures : un score de stabilité dit surtout la largeur de la réponse

Tous les outils de cette catégorie annoncent à quel point vos citations sont constantes, et nous aussi. Nous avons regroupé 120 de nos propres mesures publiées, issues de quatre marchés et de cinq études distinctes, pour voir ce que ce pourcentage suit réellement. L’ensemble des sources qui tient à chaque passage est une bande étroite presque partout : une médiane de six domaines, avec quatre-vingts pour cent des lectures entre trois et onze. Ce qui varie, c’est le nombre de sources que la réponse a citées, et cela va de quatre à trente-cinq.

Divisez un nombre qui bouge à peine par un nombre qui varie de un à neuf et vous obtenez un pourcentage qui ressemble à une mesure de la catégorie et se comporte comme une mesure de la question.

Transparence : EchoWi vend de la mesure de visibilité IA, donc une étude concluant qu’une métrique largement vendue est en partie un artefact est une étude intéressée, et celle-ci vise nos propres pourcentages publiés avant ceux de quiconque. Rien de neuf n’a été mesuré ici. Chaque chiffre est recalculé à partir de lignes déjà présentes dans notre registre de mesures, chacune avec sa requête, son marché, sa surface, sa date et son nombre de passages, et avec cela n’importe qui peut refaire le calcul contre nous.

La version courte

1. Le noyau stable est une bande étroite. Médiane de 7 domaines, dixième centile à 4, quatre-vingt-dixième à 12. Cela tient sur quatre marchés et cinq études.
2. La largeur citée, elle, n’est pas étroite. De 4 à 35 domaines, médiane 15.
3. Donc la part baisse quand la réponse s’élargit. Avec deux passages : 70 % là où douze domaines ou moins sont cités, 47 % dans la bande intermédiaire, 41 % au-dessus de vingt. Avec trois passages : 60, 29 et 26.
4. La corrélation est négative et modérée, à −0,45 entre le nombre de domaines cités et la proportion qui a tenu. Que ce soit modéré compte, et la section sur les limites dit pourquoi.
5. Le contrôle est le chiffre le plus propre ici. Sept lignes à un seul passage, venant de quatre études différentes, marquent toutes 100 %, parce qu’avec un passage il n’y a rien dont une source puisse être absente.
6. Un sixième ensemble inverse le signe, et il est nommé plus bas plutôt qu’écarté.

Ce qui a été regroupé, et ce qui a été laissé de côté

Cinq études, toutes déjà publiées avec leurs lignes visibles : le travail sur les formulations, les questions de réservation de voyage, le balayage des agences par secteur, les catégories à places de citation et les sondes de couche de réponse. Quatre marchés, cinq combinaisons de surface, 120 lignes avec deux passages ou plus.

Deux exclusions, et toutes les deux coûtent au résultat au lieu de l’aider.

Les lignes à un seul passage ne sont pas dans la corrélation. Avec un passage, tout domaine cité est revenu à chaque passage, donc la part est de 100 % par construction. C’est l’artefact et non une donnée. Elles sont comptées à part, parce qu’un contrôle qui confirme que l’instrument se comporte comme prévu vaut mieux que sept lignes de plus.

Une collection est exclue parce qu’un lecteur ne peut pas la vérifier. Notre registre affiche tous les ensembles de mesure sauf un, déclaré comme exemption dans le fichier de données parce qu’il ne soutient aucun chiffre publié. Il se trouve que c’est le seul des six dont le signe part dans l’autre sens, à n=6. L’enlever retire l’exception du titre, ce qui est exactement la raison d’être de ce paragraphe : en l’incluant, la corrélation est de −0,29 sur les lignes à deux passages et de −0,51 sur celles à trois, et la conclusion ne change pas.

Les nombres de passages sont gardés séparés plutôt que moyennés. Avec deux passages une source doit apparaître deux fois pour être durable ; avec trois, trois fois. Ce sont deux barres différentes, donc les mélanger fondrait deux définitions dans un seul pourcentage, ce qui est précisément l’erreur dont parle cet article.

Les chiffres

La largeur de la réponse, contre la part qui a tenu :

Lisez la colonne « médiane des durables » de haut en bas dans chaque bloc. Avec deux passages elle fait 6, 8, 10 pendant que les réponses derrière triplent à peu près en largeur. Avec trois passages elle fait 5, 5, 6.

Le numérateur travaille très peu. Le dénominateur fait presque tout, et le dénominateur est une propriété de la question et du jour, pas du degré d’installation de la catégorie.

La dispersion, dite simplement :

Ces deux corrélations sont le résultat en une ligne. Citer davantage apporte bien un peu plus de stabilité en valeur absolue, +0,48, et en apporte proportionnellement moins, −0,38. Les deux sont vraies en même temps et seule la seconde arrive sur un tableau de bord.

Pourquoi cela rend la comparaison entre catégories peu sûre

Mettez deux catégories côte à côte. L’une renvoie une réponse resserrée de huit sources dont six tiennent : 75 %. L’autre renvoie une réponse large de trente sources dont neuf tiennent : 30 %.

Sur le pourcentage, la première paraît plus de deux fois plus installée. Sur ce qu’un acheteur peut réellement travailler, la seconde a davantage de sources durables à viser, et son noyau est une fois et demie plus grand.

Ce n’est pas hypothétique. C’est la forme du tableau ci-dessus, et c’est pourquoi nos propres études n’ont jamais classé des catégories par part de stabilité. Le travail sur les places de citation compare quels domaines tiennent une place plutôt que quelle fraction l’a fait, et l’étude entre catégories compte les domaines qui traversent au lieu de moyenner leurs parts. C’était un choix de jugement à l’époque. Voici la mesure qui le justifie.

La version pratique : une part de stabilité est comparable avec elle-même dans le temps sur la même question, et elle n’est pas comparable entre questions. Deux catégories, deux marchés, deux formulations, ou la même question un jour où la réponse a cité davantage de sources, font quatre dénominateurs différents portant une seule étiquette.

Ce que cela ne renverse pas

Il serait facile de lire ceci comme « les chiffres de stabilité ne veulent rien dire », et ce n’est pas ce que 120 lignes soutiennent.

L’ensemble durable est réel. C’est la partie de ces mesures qui a survécu à toutes les vérifications que nous lui avons fait subir : elle a survécu à la relecture de la même question, elle a survécu à la reformulation, et là où la part a bougé de cinquante points l’identité des sources en dessous a bougé bien moins. C’est toute la raison pour laquelle nos études publient des noms de domaine.

Une part qui baisse sur une question gelée reste un signal. Si la question ne change pas, si le marché ne change pas et si le nombre de passages ne change pas, alors une baisse signifie que le noyau a rétréci ou que la réponse s’est élargie, et les deux méritent d’être connues. Ce que vous ne pouvez pas faire, c’est lire le chiffre d’une catégorie contre celui d’une autre.

Et l’effet est une tendance, pas une loi. Une corrélation de −0,38 laisse l’essentiel de la variation inexpliqué. La largeur de la réponse est une entrée de ce pourcentage, démonstrativement, et ce n’est pas la seule.

Ce qu’il faut demander à un fournisseur, et c’est la deuxième question

Nous avons déjà publié la première question à poser à tout fournisseur de visibilité IA : vos passages répétés contournent-ils le cache ? S’ils ne le contournent pas, la courbe de tendance est plate par construction et vous achetez une droite.

Voici la deuxième. Demandez quel est le dénominateur de votre score de stabilité, et s’il est tenu constant.

Il n’y a que quelques réponses possibles. Si le score est « sources durables sur sources citées », il bouge quand la réponse s’élargit, ce qui n’est pas un changement de votre visibilité. S’il porte sur un univers fixe défini par le fournisseur, demandez ce qu’il y a dans cet univers. Et si c’est un décompte brut de sources durables, c’est la plus honnête des trois et la moins susceptible d’orner un tableau de bord, parce qu’elle ne se met pas en pourcentage.

Une troisième question suit du même endroit : sur combien de passages le score est-il bâti, et ce nombre est-il affiché à côté ? Nos lignes à deux passages et celles à trois produisent des médianes différentes pour des réponses de même largeur, 8 contre 5 dans la bande intermédiaire, uniquement parce que la barre a bougé. Un pourcentage sans son nombre de passages ne se lit pas.

Une étude jumelle demande ce qu’il advient de ce pourcentage sur deux jours plutôt qu’à l’intérieur d’un seul : les mêmes quinze questions, reposées deux jours plus tard, où la meilleure et la pire ligne ont bougé toutes les deux à la seconde lecture du même après-midi.

Ce que cela ne démontre pas

Observationnel, et regroupé. Ces 120 lignes ont été recueillies pour cinq études différentes, avec des questions, des secteurs et des surfaces différents. Rien n’a été randomisé et rien n’a été tenu constant sauf le nombre de passages, qui est segmenté. Ceci décrit une relation dans des données que nous avions déjà ; cela n’établit pas qu’élargir une réponse cause une part plus faible.

Les bandes sont inégales. Une cellule contient cinq lignes. Ce qui porte le résultat, c’est que la direction est constante sur les six cellules et sur cinq études sur six, pas une cellule isolée.

L’échantillon, ce sont nos propres études. Chaque ligne est une question que nous avons choisi de poser, dans un marché où nous vendons, sur les surfaces dont nous disposons. Un autre échantillon de catégories donnerait d’autres médianes. Ce que nous attendrions de voir survivre, c’est la forme : un noyau durable étroit contre un dénominateur variable.

Une seule famille de surfaces, pour l’essentiel. La plupart des lignes viennent d’AI Overview et d’AI Mode de Google. Nous avons publié que les ensembles de sources ne se transfèrent pas d’une surface à l’autre, donc les médianes d’ici ne doivent pas se lire comme universelles pour tout assistant.

Et aucune dimension temporelle. Durable ici veut dire « revenu à chaque passage d’une lecture ». Savoir si un noyau qui tient dans une session tient aussi sur des semaines est la plus grande chose que ce registre ne sait toujours pas dire, et regrouper davantage de lignes ne la dit pas. Il faut reposer les mêmes questions gelées une fois que du temps a passé, ce qui relève de la mesure et non de l’arithmétique.

Questions fréquentes sur les scores de stabilité

Qu’est-ce qu’un score de stabilité dans un outil de visibilité IA ?

C’est la proportion des sources citées pour une question qui reviennent à chaque fois qu’on la pose, et tous les produits de cette catégorie en publient une version. Le nombre lui-même est bien défini. Le problème, c’est que c’est un rapport dont la moitié du bas, le nombre de sources citées, va de quatre à trente-cinq dans nos mesures et est une propriété de la question et du jour plutôt que de votre visibilité.

Pourquoi un pourcentage plus bas ne signifie-t-il pas une catégorie moins installée ?

Parce que le noyau durable bouge à peine. Sur 120 mesures publiées sa médiane est de sept domaines et quatre-vingts pour cent des lectures se situent entre trois et onze, que la réponse ait cité huit sources ou trente. Une catégorie aux réponses larges obtient donc un pourcentage plus bas tout en ayant souvent plus de sources durables en valeur absolue, ce qui est l’inverse de ce que le nombre suggère.

Puis-je comparer mon score de stabilité à celui d’un concurrent ?

Seulement si vous êtes mesurés sur la même question, dans le même marché, sur la même surface, avec le même nombre de passages, le même jour. Changez l’un de ces éléments et le dénominateur change sous le pourcentage. Comparer les deux listes de domaines durables est sûr ; comparer les deux pourcentages ne l’est pas, et c’est pourquoi nos propres études publient les domaines.

Sur combien de passages un chiffre de stabilité devrait-il reposer ?

Plus de deux, et le nombre doit être visible à côté. Avec deux passages une seule absence retire entièrement une source du numérateur, donc un petit changement produit une grande oscillation. Nos lignes à deux et à trois passages donnent des médianes différentes pour des réponses de même largeur, 8 contre 5 dans la bande intermédiaire, uniquement parce que la barre du « durable » a bougé. La tolérance s’achète avec des passages, pas avec une statistique plus astucieuse.

Un score de stabilité de 100 %, est-ce une bonne nouvelle ?

Regardez d’abord le nombre de passages. Cinq lignes de ce registre marquent 100 % et toutes les cinq sont des lectures à un seul passage, venant de trois études différentes, où tout domaine cité est durable parce qu’il n’y avait rien dont il puisse être absent. C’est l’instrument qui se comporte comme prévu, pas un résultat. Un vrai 100 % sur trois passages ou plus vaut quelque chose, et vaut d’être remesuré, parce que le meilleur chiffre d’une étude est le moins cher à vérifier et celui qui change le plus la conclusion s’il tombe.

Que faudrait-il suivre à la place ?

L’ensemble des domaines, par leur nom, et sa taille. Un décompte de sources durables est honnête, comparable avec lui-même, et vous dit où travailler : ce sont les pages avec lesquelles la réponse de votre catégorie est assemblée. Le pourcentage, c’est la même information divisée par quelque chose que vous ne contrôlez pas et ne pouvez pas comparer, et si vous voulez un seul nombre, le décompte est celui qui survit à toutes les vérifications de cet article.