Nous avons demandé la même réservation d'hôtel de quatre façons. En Espagne le chiffre a à peine bougé et pas une source n'a survécu.

Nous avons pris une question, comment réserver un hôtel, et nous l’avons posée de quatre façons différentes aux États-Unis et de quatre façons différentes en Espagne. En Espagne, la part stable est revenue à 42 %, 41 %, 48 % et 30 %, ce qui ressemble à une mesure fiable d’une catégorie. Sur ces quatre formulations, le nombre de sources ayant survécu aux quatre est zéro.

C’est le résultat, et il est pire qu’une instabilité. Une métrique qui bouge vous dit qu’on ne peut pas s’y fier. Celle-ci reste immobile pendant que ce qu’il y a dessous est entièrement remplacé.

Transparence : EchoWi vend de la mesure de visibilité en IA et cette étude contredit quelque chose que nous avons publié cinq jours plus tôt. La réponse à un conflit d’intérêts est une méthode vérifiable, donc les quatre formulations, les deux marchés, les trois surfaces, le nombre de passages et la date sont tous ci-dessous, et chaque ligne figure dans notre registre public de mesures.

La version courte

1. En Espagne le taux a tenu et les sources non. Quatre formulations ont rendu 42 %, 41 %, 48 % et 30 % de stable. Sur les quatre, zéro domaine est apparu à chaque passage de chaque formulation.
2. Aux États-Unis, reformuler a déplacé le taux de 57 points, de 92 % à 35 %, sans rien changer d’autre que les mots.
3. Notre propre meilleur résultat publié n’y survit pas. L’étude voyage avait trouvé 24 domaines tenant d’un passage à l’autre et parlait d’un noyau sur lequel bâtir. Posez la même chose de quatre façons et le noyau fait trois domaines : reddit.com, youtube.com et frommers.com.
4. La sensibilité à la formulation est elle-même une propriété du marché. La question américaine a oscillé de 57 points selon les formulations. L’espagnole de 18.
5. Une formulation n’a pas réussi à produire un AI Overview de façon fiable, dans aucune des deux sessions, ce qui est un fait sur cette phrase et non sur la surface.

Ce que nous avons mesuré

Les quatre formulations, en anglais, étaient « what is the best website to book hotels », « where should I book a hotel online », « which hotel booking site is most reliable » et « best site for cheap hotel deals ». Les quatre espagnoles les reflètent. Chacune des huit figure dans le registre avec son prompt exactement tel qu’il a été envoyé.

Deux lignes portent une note plutôt qu’une lecture propre, et les deux sont dans le registre. La deuxième formulation anglaise a été mesurée deux fois parce que sa première session semblait cassée ; elle ne l’était pas, et les deux sessions sont rapportées. La troisième formulation espagnole s’est arrêtée après un seul passage à sa première tentative, ce qui rend toute source trivialement stable, donc cette tentative est exclue de tous les chiffres ici et conservée dans le registre parce qu’elle a eu lieu.

Ce protocole a un seul but : attaquer notre affirmation publiée la plus forte. Il y a cinq jours nous rapportions une question d’hôtel américaine tenant 24 sources sur 25 d’un passage à l’autre, puis 24 sur 26 dans une seconde session, les mêmes vingt-quatre domaines nommément, et nous écrivions que six ou sept sources stables font un brief de contenu et que vingt-quatre font une carte. Cette étude demande de quoi cette carte est la carte.

Les huit cellules

Lisez les deux blocs différemment, parce qu’ils échouent de deux façons différentes. Le bloc américain est une chute de 57 points que n’importe quel tableau de bord montrerait comme un problème. Le bloc espagnol, ce sont quatre chiffres dans une bande de 18 points, que n’importe quel tableau de bord montrerait comme une catégorie au comportement constant.

Le bloc espagnol est le dangereux

Quatre formulations, 42 %, 41 %, 48 %, 30 %. Si vous en mesuriez une chaque semaine, vous rapporteriez un chiffre stable autour de 40 % et personne ne le remettrait en question.

Comptez maintenant les sources au lieu du pourcentage.

Sur les quatre formulations espagnoles, le nombre de domaines ayant tenu à chaque passage de chaque formulation est zéro. Soixante et un domaines distincts sont apparus quelque part dans les huit passages espagnols. Pas un seul n’était présent de façon fiable pour les quatre façons de demander.

Les recouvrements deux à deux disent la même chose plus précisément. Mesurées en intersection sur union, les quatre formulations espagnoles partagent entre 0,06 et 0,32 de leurs ensembles stables. Les deux plus proches, à 0,32, sont encore en désaccord sur les deux tiers de ce qu’elles citent.

La description honnête du résultat espagnol est donc : le taux est une propriété de la catégorie et les sources sont une propriété de la phrase. Ce sont deux faits différents et seul le second vous dit quelle page écrire.

Le bloc américain, et ce qu’il nous coûte

Les formulations américaines chutent de 92 % à 35 %, et la lecture tentante est que certaines formulations sont simplement moins bonnes. Ce n’est pas non plus ce que disent les sources.

Sur les quatre formulations américaines, 53 domaines distincts sont apparus. Trois ont tenu à chaque passage de chaque formulation : reddit.com, youtube.com et frommers.com. Deux à deux, les ensembles stables partagent entre 0,16 et 0,38.

Il y a cinq jours, nous publiions que la question d’hôtel américaine rendait les mêmes vingt-quatre domaines dans deux sessions distinctes et que vingt-quatre sources stables font une carte sur laquelle bâtir. Cette mesure était juste et nous la referions. Ce que cette étude montre, c’est que la carte est la carte d’une seule phrase. Changez la phrase pour une autre qu’un client taperait plausiblement, et vingt et un de ces vingt-quatre cessent d’être fiables.

Nous ne retirons pas le chiffre antérieur. Nous le bornons, ce qu’un fournisseur qui vend cette catégorie ne fait presque jamais à son propre meilleur chiffre.

La sensibilité à la formulation n’est pas constante non plus

Les deux marchés ne diffèrent pas seulement en niveau, ils diffèrent par l’importance même de la formulation.

C’est la même forme que celle trouvée par l’étude voyage en faisant varier le marché au lieu des mots : deux questions séparées de trois points en Allemagne et de 53 aux États-Unis. Les deux études arrivent au même endroit par des chemins opposés. Ni le marché, ni le secteur, ni la question, ni la formulation n’est un coefficient applicable. Chaque combinaison est sa propre mesure, et la seule façon de connaître une cellule est de mesurer cette cellule.

Il y a aussi un détail pratique qui vaut plus qu’il n’en a l’air. La formulation « where should I book a hotel online » n’a produit un AI Overview que dans un passage sur deux, dans les deux sessions que nous avons lancées. Certaines façons de demander ne déclenchent pas cette surface de façon fiable, et un rapport qui regroupe les surfaces montrera cela comme une faible visibilité plutôt que comme un inventaire absent.

Ce que cette étude ne montre pas

• Une intention, deux marchés, huit cellules comparables. Chaque pourcentage a un dénominateur dans les vingtaines ou les trentaines.
• Deux passages, pas trois. « Citée à chaque passage » est une barre plus facile sur deux passages, donc ces chiffres ne sont pas comparables à des mesures en trois passages ailleurs, y compris des parties de notre étude sur les agences, qui a mesuré cet effet à environ dix points.
• Quatre formulations ne sont pas l’espace des formulations. Nous en avons choisi quatre qu’un acheteur reconnaîtrait. Quatre autres donneraient d’autres chiffres, et c’est justement le propos plutôt qu’un défaut. Il vaut aussi la peine de dire qu’une part croissante des phrases qui atteignent un site ne sont pas tapées par un acheteur mais assemblées par un logiciel.
• Trois surfaces, pas quatre. ChatGPT est exclu parce que la voie que nous utilisons ne renvoie aucune liste de sources pour lui, et rapporter cela comme un zéro serait rapporter notre instrument.
• Une session par cellule, sauf deux. La deuxième formulation anglaise a deux sessions et la troisième formulation espagnole a une première tentative écartée. Les deux sont nommées ci-dessus et les deux sont dans le registre.
• Nous n’avons pas testé si les formulations sont aussi fréquentes les unes que les autres. Le volume de recherche vous dirait quelle phrase optimiser ; cette étude vous dit seulement que le choix compte.
• Rien ici n’est causal. Nous avons changé les mots et enregistré ce qui revenait, sans aucune intervention sur aucune page.

Questions fréquentes sur cette étude

Reformuler une question change-t-il les sources qu’une IA cite ?

Oui, et davantage que changer de pays. Poser la question de la réservation d’hôtel de quatre façons aux États-Unis a fait passer la part des sources citées à chaque passage de 92 % à 35 %, et seuls 3 domaines sur 53 ont tenu sur les quatre formulations. En Espagne, 0 domaine sur 61 a tenu sur les quatre.

Si le pourcentage reste le même, ma visibilité en IA est-elle stable ?

Pas nécessairement, et c’est le piège que l’étude a été construite pour montrer. Quatre formulations espagnoles ont rendu 42 %, 41 %, 48 % et 30 %, une bande assez étroite pour ressembler à une mesure fiable, tout en ne partageant aucun domaine sur les quatre. Un taux qui reste immobile n’est pas une preuve que les sources qui le tiennent sont les mêmes.

Combien de prompts faut-il suivre par question ?

Plus d’une formulation, et le nombre dépend du marché. Sur la même intention, les formulations américaines s’étalent sur 57 points et les espagnoles sur 18, donc un prompt unique est un bien plus mauvais indicateur aux États-Unis qu’en Espagne. Il n’y a pas de nombre universel, et c’est pourquoi nous publions les cellules au lieu d’une règle.

Cela contredit-il votre étude voyage antérieure ?

Cela la borne. Cette étude rapportait une question d’hôtel américaine tenant 24 sources sur 25 et répétant à 24 sur 26 avec les mêmes domaines, et cette mesure tient. Celle-ci montre que ces vingt-quatre sont une propriété de cette phrase exacte : reformulez-la et trois survivent. Les deux résultats sont dans le registre et le chiffre antérieur n’a pas été modifié.

Quelles surfaces d’IA ont été mesurées ?

Google AI Overview, Google AI Mode et Gemini, regroupées par formulation, avec le cache contourné pour que chaque passage soit un appel neuf. ChatGPT est délibérément absent : la voie utilisée ici ne renvoie aucune liste de sources pour lui, et un zéro produit par un instrument est indiscernable d’un vrai zéro.

Où puis-je voir les lignes brutes ?

Dans notre registre de mesures, qui porte les dix lignes de cette étude avec chaque prompt exactement tel qu’il a été envoyé, son marché, ses surfaces, son nombre de passages et sa date, y compris les deux lignes exclues ou signalées et la raison de chacune.

Ce que cela vous laisse

Si vous rapportez de la visibilité en IA à qui que ce soit, la consigne de cette étude est courte. Suivez la phrase, pas le sujet, et suivez plus d’une phrase par sujet. Un prompt unique vous donne un chiffre qui est vrai pour ce prompt et vous dit très peu de choses sur le suivant, même quand le suivant veut dire la même chose pour un lecteur humain.

Et si un outil vous montre un pourcentage stable semaine après semaine, demandez-lui de quels domaines ce pourcentage est fait. Dans notre bloc espagnol, le pourcentage aurait eu l’air correct pendant un mois. En dessous, quatre façons différentes de poser une question ne partageaient pas une seule source fiable.

Nous avons publié le résultat des vingt-quatre domaines il y a cinq jours et nous y croyons toujours. Voici ce qu’il vaut, mesuré contre le seul test qui comptait : poser la même chose avec des mots que nous n’avions pas utilisés.