Nous avons demandé où étudier de quatre façons. Quatre sites ont survécu à toutes, et aucun n'est une université.

Ce matin nous avons publié que poser une question de réservation d’hôtel de quatre façons différentes en Espagne ne laissait aucune source citée de manière fiable dans les quatre. Nous avons appliqué le même protocole à une autre question dans le même pays, choisir une université privée à Madrid, et quatre domaines ont survécu à toutes les formulations. Aucun des quatre n’est une université.

Les deux résultats sont réels et répondent à des questions différentes. Le premier dit qu’un noyau stable peut être un mirage produit par une phrase. Le second dit que ce n’est pas toujours un mirage, et vous dit qui se l’approprie.

Transparence : EchoWi vend de la mesure de visibilité IA. C’est un conflit d’intérêts, et la réponse à un conflit d’intérêts est une méthode vérifiable. Les huit formulations, les deux marchés, les trois surfaces, le nombre d’exécutions et la date sont tous ci-dessous, et chaque ligne figure dans notre registre public de mesures.

La version courte

1. L’effondrement n’est pas universel. En Espagne, quatre formulations d’une question d’hôtel n’ont partagé aucune source citée de manière fiable. Quatre formulations d’une question d’université en ont partagé quatre.
2. Les quatre survivants sont des intermédiaires : graddus.com, uniscopio.com, smartresidences.es et maclapiovera.es. Deux comparateurs, un opérateur de résidences étudiantes et un guide local.
3. Aucune université n’apparaît dans les quatre formulations, sur aucun des deux marchés. Les établissements sortent pour certaines phrases et disparaissent pour d’autres.
4. La France ne retient presque rien. Un seul domaine a survécu aux quatre formulations parisiennes, relocation-in-paris.fr, et c’est un service de relocation.
5. Une formulation plus vague ne déplace pas seulement les sources, elle déplace la question. « Où étudier à Paris ? » a renvoyé des bibliothèques, des espaces de coworking et des guides de la ville à côté des universités.

Ce que nous avons mesuré

La première formulation de chaque marché n’est pas nouvelle. « ¿cuáles son las mejores universidades privadas de Madrid? » et « Quelles sont les meilleures universités de Paris ? » figuraient déjà dans notre registre au titre de travaux antérieurs, la référence est donc une chaîne que nous avions publiée et non une chaîne écrite pour cette étude.

Deux lignes portent une note. La deuxième formulation française est d’abord revenue en annonçant deux exécutions alors que chaque surface en avait raté une, ce qui rend chaque source stable sur un seul appel réussi. C’est le même piège qu’une lecture à une exécution, et plus difficile à voir, parce que le compte d’exécutions a l’air juste. Elle a été remesurée proprement et les deux lignes sont au registre.

Les huit cellules

Les pourcentages ne sont pas le résultat ici. L’Espagne tient dans une bande de 17 points et la France dans une bande de 23, ce qui n’a rien de frappant à côté des 57 points qu’a bougés la question hôtelière américaine. Le résultat apparaît quand on intersecte les quatre ensembles au lieu de les moyenner.

L’Espagne a gardé un noyau. Le voyage, non.

Cette seule comparaison est la raison d’être de cette étude. Le résultat de ce matin montrait quatre formulations espagnoles sur les hôtels renvoyant un respectable 42 %, 41 %, 48 % et 30 % sans partager un seul domaine cité de manière fiable, et la conclusion tentante était qu’un noyau stable est toujours un artefact de la phrase. Il ne l’est pas. Changez de catégorie et le même instrument trouve un noyau sur lequel quatre phrases différentes s’accordent.

Les recouvrements par paires le disent aussi. Dans l’éducation espagnole, les quatre formulations partagent entre 0,29 et 0,78 de leurs ensembles stables, mesurés en intersection sur union. Dans le voyage espagnol, ce même chiffre allait de 0,06 à 0,32. Les deux formulations d’éducation les plus proches s’accordent sur trois quarts de ce qu’elles citent ; les deux formulations de voyage les plus proches s’accordaient sur un tiers.

Donc « reformuler casse-t-il votre visibilité » n’a pas de réponse générale, et tout éditeur qui en donne une moyenne des catégories qui ne se ressemblent pas. C’est une mesure par catégorie et par marché, et elle est assez peu coûteuse pour que personne n’ait d’excuse à la deviner.

Le noyau existe, et les universités n’en font pas partie

Voici la partie qu’une équipe marketing d’établissement devrait lire deux fois.

Les quatre domaines espagnols qui ont tenu sur toutes les formulations sont graddus.com, uniscopio.com, smartresidences.es et maclapiovera.es. Deux sont des comparateurs et des sites de classement, un est un opérateur de résidences étudiantes et un est un guide local. Aucun n’est une université. En France, le seul survivant est relocation-in-paris.fr, un service de relocation.

Les universités apparaissent bien, et elles apparaissent sous condition. ucjc.edu, udit.es et cunef.edu ont tenu pour la formulation qui demande où étudier, et pour aucune des trois autres. pantheonsorbonne.fr a tenu pour deux formulations parisiennes et u-paris.fr pour deux autres, jamais les quatre.

Ce motif rejoint ce que nous avions trouvé en mesurant les universités nommées dans les réponses IA mais jamais citées comme sources. L’établissement peut être la réponse pendant qu’un autre est la citation. Cette étude ajoute le mécanisme : la place de citation est durable et l’établissement ne la possède pas. Un intermédiaire qui classe ou compare des établissements occupe une position qui survit à la reformulation, et les établissements tournent sur les places restantes selon la phrase exacte.

Pour un établissement, la lecture pratique est inconfortable mais claire. Concourir pour la place durable veut dire publier ce qui est comparable : la liste classée, le tableau structuré, le guide avec les chiffres dedans. Concourir pour les places tournantes veut dire couvrir plus d’une formulation, parce que c’est la formulation qui vous sélectionne.

Une formulation plus vague change la question, pas seulement la réponse

La cellule française la plus basse, « Où étudier à Paris ? », est la plus instructive des huit. Elle a renvoyé 33 sources distinctes, le plus grand ensemble de l’étude, et son ensemble stable recouvre les trois autres formulations à 0,18, 0,13 et 0,06.

Lire les sources l’explique. À côté de diplomeo.com et icd-ecoles.com, elle a renvoyé un service de garde d’enfants, un garant de location, une place de marché de logement étudiant, le portail de la Ville de Paris, le site des bibliothèques municipales et un espace de coworking. En français, « où étudier » peut vouloir dire dans quel établissement s’inscrire ou bien où s’asseoir physiquement pour travailler, et le moteur a répondu aux deux.

Ce n’est pas du bruit. Une formulation ambiguë pour un humain est ambiguë pour le moteur, et l’ensemble de réponses se scinde en conséquence. Si un jeu de prompts en contient une, le chiffre obtenu décrit un mélange de deux questions et aucune répétition ne les séparera.

Nous avons mesuré ce que vaut une seconde lecture, puis nous en avons fait cinq

Chaque étude que nous publions porte un avertissement disant que deux exécutions sont une barre plus facile que trois, et chiffre cette différence à une dizaine de points. Personne n’avait mesuré ce que vaut le simple fait de redemander, nous avons donc relancé trois des quatre formulations espagnoles dans une seconde session le même jour, mêmes trois surfaces, mêmes deux exécutions, rien de changé que l’horloge. Elles ont bougé de 18, 4 et 7 points, et leurs ensembles stables se recouvraient encore à 0,67, 0,67 et 0,70.

Ensuite nous avons pris la première formulation et l’avons lue cinq fois.

Une question, un jour, une méthode : la part va de 39 % à 89 %, et le nombre de sources durables ne quitte jamais sept ou huit. La métrique bouge de 50 points. Ce qu’elle prétend mesurer bouge d’une source.

Tout le mouvement est dans le dénominateur. Ce qui change entre les lectures, c’est le nombre de sources apparues une seule fois, de neuf à dix-huit, et diviser un numérateur quasi constant par cela produit un pourcentage qui ressemble à une mesure et se comporte comme un tirage au sort.

Et le noyau n’est pas seulement stable, c’est le même noyau. Quatre domaines ont été cités à chaque exécution des cinq lectures, graddus.com, smartresidences.es, maclapiovera.es et uniscopio.com, et ce sont les quatre qui ont survécu aux quatre formulations ci-dessus. Survit à la reformulation, survit à la remesure, mêmes quatre noms.

Une chose que nous ne pouvons pas trancher, et c’est un avertissement contre notre propre instrument. Les totaux baissent au fil de la séquence, 18, 14, 11, 13, 9, et les lectures ont été prises dans cet ordre : nous ne pouvons donc pas séparer la variation ordinaire d’un rétrécissement causé par la mesure répétée. Une autre formulation mesurée dans la même fenêtre a renvoyé 19, 20 et 17 sur trois lectures, ce qui ne montre pas la même baisse, mais trois lectures ne tranchent pas davantage. C’est au registre comme question ouverte et non comme note de bas de page.

L’instruction pratique est courte et ne coûte rien à un éditeur : publiez les domaines, pas le pourcentage. Une liste nommée de quatre sources est reproductible d’une reformulation et d’une relecture à l’autre. Le pourcentage posé dessus ne l’est pas.

Ce que cette étude ne montre pas

• Deux intentions, deux marchés, huit cellules comparables. Chaque pourcentage a un dénominateur entre 16 et 33.
• Deux exécutions, pas trois. « Citée à chaque exécution » est une barre plus facile sur deux exécutions, ces chiffres ne sont donc pas comparables à des mesures sur trois, y compris à des parties de notre étude sur les agences, qui chiffrait cet effet à une dizaine de points. La section ci-dessus montre qu’une seconde session vaut à peu près autant, les deux sources de bruit sont donc comparables et aucune ne se sépare de l’autre dans une lecture unique.
• Une paire de secteurs, pas un recensement. Nous avons le voyage et l’éducation. Que deux catégories diffèrent suffit à réfuter une affirmation universelle et ne suffit pas à prédire une troisième.
• Des questions bornées à une ville. Les deux intentions nomment une ville, ce qui restreint l’ensemble des candidats et pourrait à soi seul favoriser un noyau durable. Une question nationale se comporterait peut-être autrement et nous ne l’avons pas testée.
• Trois surfaces, pas quatre. ChatGPT est exclu parce que la voie que nous utilisons ne renvoie aucune liste de sources pour lui, et rapporter cela comme un zéro reviendrait à rapporter notre instrument.
• Nous n’avons pas vérifié le volume de recherche des quatre formulations. Cela dit que le choix de la formulation compte, pas laquelle choisir.
• Rien ici n’est causal. Nous avons changé les mots et consigné ce qui revenait.

Questions fréquentes sur cette étude

Reformuler une question change-t-il toujours les sources citées par l’IA ?

Non, et c’est le résultat. En Espagne, quatre formulations d’une question de réservation d’hôtel n’ont partagé aucun domaine cité de manière fiable, tandis que quatre formulations d’une question d’université privée en ont partagé quatre. Même pays, mêmes trois surfaces, même méthode, même jour. Que la reformulation casse votre visibilité est une propriété de la catégorie, et cela se mesure par catégorie plutôt que de se supposer.

Quels sites l’IA cite-t-elle pour les questions d’université ?

Dans notre mesure madrilène, les domaines cités à chaque exécution des quatre formulations étaient deux comparateurs, un opérateur de résidences étudiantes et un guide local. Les universités ont bien été citées, mais chacune seulement pour des formulations précises : trois domaines d’établissement ont tenu pour la formulation demandant où étudier et pour aucune des trois autres.

Pourquoi les universités ne figurent-elles pas dans l’ensemble stable ?

Nous pouvons dire ce que montrent les données, pas pourquoi. Les citations durables sont allées à des sites qui classent, comparent ou contextualisent les établissements plutôt qu’aux établissements eux-mêmes, ce qui rejoint notre constat antérieur selon lequel les universités sont souvent nommées dans les réponses IA pendant qu’un autre est cité comme source. Cette étude ajoute que la place de citation elle-même est stable face aux reformulations, et que les établissements tournent sur les places restantes.

Combien de formulations une équipe marketing d’établissement doit-elle suivre ?

Plus d’une, et le nombre dépend du marché. En espagnol, les quatre formulations se recouvraient entre 0,29 et 0,78, donc deux bien choisies couvrent beaucoup. En français, les recouvrements allaient de 0,06 à 0,50, donc ces mêmes deux passeraient à côté de l’essentiel.

Quelles surfaces IA ont été mesurées ?

Google AI Overview, Google AI Mode et Gemini, regroupées par formulation, avec le cache contourné pour que chaque exécution soit un appel neuf. ChatGPT est délibérément absent : la voie utilisée ici ne renvoie aucune liste de sources pour lui, et un zéro produit par un instrument est indiscernable d’un zéro réel.

Où puis-je voir les lignes brutes ?

Dans notre registre de mesures, qui porte chaque ligne de cette étude avec son prompt tel qu’il a été envoyé, son intention, son marché, ses surfaces, son nombre d’exécutions et sa date, y compris la ligne exclue pour n’avoir accompli qu’une seule exécution et sa raison.

Ce que cela vous laisse

Deux études, menées de la même façon à quelques heures d’écart, se contredisent sur ce que tout le monde dans cette catégorie affirme. Une catégorie perd tout son noyau stable dès qu’on reformule la question. L’autre en garde un de quatre, et le confie à des intermédiaires plutôt qu’aux établissements dont on parle.

L’instruction qui survit aux deux est la même, et ce n’est pas un slogan. Mesurez votre propre catégorie, avec plus d’une formulation, et regardez quels domaines tiennent plutôt que le pourcentage. Le pourcentage était comparable dans les deux blocs espagnols. Ce qu’il y avait dessous ne l’était pas du tout, et un seul de ces deux faits vous dit quoi publier ensuite.