Wir haben vier Mal gefragt, wo man studieren soll. Vier Seiten überlebten jede Formulierung, und keine davon ist eine Universität.

An diesem Morgen haben wir veröffentlicht, dass eine Frage zur Hotelbuchung in Spanien auf vier verschiedene Arten gestellt null Quellen übrig ließ, die über alle vier hinweg verlässlich zitiert wurden. Wir haben dasselbe Design auf eine andere Frage im selben Land angewandt, die Wahl einer Universität in Madrid, und vier Domains überlebten jede Formulierung. Keine der vier ist eine Universität.

Beide Ergebnisse sind echt, und sie beantworten verschiedene Fragen. Das erste sagt, dass ein stabiler Kern eine Illusion sein kann, die ein einziger Satz erzeugt. Das zweite sagt, dass er nicht immer eine Illusion ist, und es sagt, wem er gehört.

Offenlegung: EchoWi verkauft Messung der KI-Sichtbarkeit. Das ist ein Interessenkonflikt, und die Antwort auf einen Interessenkonflikt ist eine Methode, die man nachprüfen kann. Die acht Formulierungen, die zwei Märkte, die drei Oberflächen, die Zahl der Durchläufe und das Datum stehen alle unten, und jede Zeile liegt in unserem öffentlichen Messregister.

Die Kurzfassung

1. Der Zusammenbruch ist nicht allgemein. In Spanien teilten sich vier Formulierungen einer Hotelfrage keine einzige verlässlich zitierte Quelle. Vier Formulierungen einer Universitätsfrage teilten sich vier.
2. Die vier Überlebenden sind alle Vermittler: graddus.com, uniscopio.com, smartresidences.es und maclapiovera.es. Zwei Vergleichsportale, ein Betreiber von Studentenwohnheimen und ein lokaler Ratgeber.
3. Keine Universität erscheint in allen vier Formulierungen, in keinem der beiden Märkte. Institutionen tauchen für bestimmte Sätze auf und verschwinden für andere.
4. Frankreich behält fast nichts. Eine Domain überlebte alle vier Pariser Formulierungen, relocation-in-paris.fr, und das ist ein Umzugsdienst.
5. Eine vagere Formulierung verschiebt nicht nur die Quellen, sie verschiebt die Frage. «Où étudier à Paris ?» lieferte Bibliotheken, Coworking-Räume und Stadtführer neben den Universitäten.

Was wir gemessen haben

Die jeweils erste Formulierung ist nicht neu. ¿cuáles son las mejores universidades privadas de Madrid? und Quelles sont les meilleures universités de Paris ? standen aus früherer Arbeit schon in unserem Register, die Grundlinie ist also eine Zeichenkette, die wir veröffentlicht hatten, und keine für diese Studie geschriebene.

Zwei Zeilen tragen eine Anmerkung. Die zweite französische Formulierung kam zuerst mit zwei Durchläufen zurück, während jede Oberfläche einen davon nicht beantwortet hatte, womit jede Quelle über einen einzigen erfolgreichen Aufruf stabil ist. Das ist dieselbe Falle wie eine Lesung mit einem Durchlauf und schwerer zu bemerken, weil die Zahl der Durchläufe richtig aussieht. Sie wurde sauber neu gemessen, und beide Zeilen stehen im Register.

Die acht Zellen

Die Prozentwerte sind hier nicht der Befund. Spanien liegt in einem Band von 17 Punkten und Frankreich in einem von 23, was neben den 57 Punkten, um die sich die amerikanische Hotelfrage bewegte, unauffällig ist. Der Befund ist, was passiert, wenn man die vier Mengen schneidet, statt sie zu mitteln.

Spanien behielt einen Kern. Reisen nicht.

Dieser eine Vergleich ist der Grund, warum es diese Studie gibt. Das Ergebnis dieses Morgens zeigte vier spanische Hotelformulierungen, die respektabel aussehende 42%, 41%, 48% und 30% lieferten und sich dabei keine einzige verlässlich zitierte Domain teilten, und der verlockende Schluss war, dass ein stabiler Kern immer ein Artefakt des Satzes ist. Ist er nicht. Wechseln Sie die Kategorie, und dasselbe Instrument findet einen Kern, auf den sich vier verschiedene Sätze einigen.

Die paarweisen Überlappungen sagen es auch. In der spanischen Bildung teilen sich die vier Formulierungen zwischen 0,29 und 0,78 ihrer stabilen Mengen, gemessen als Schnitt durch Vereinigung. Im spanischen Reisebereich lief dieselbe Zahl von 0,06 bis 0,32. Die zwei ähnlichsten Bildungsformulierungen sind sich über drei Viertel dessen einig, was sie zitieren; die zwei ähnlichsten Reiseformulierungen waren sich über etwa ein Drittel einig.

Also hat «zerstört Umformulieren meine Sichtbarkeit» keine allgemeine Antwort, und ein Anbieter, der eine nennt, mittelt über Kategorien, die sich überhaupt nicht ähneln. Es ist eine Messung pro Kategorie und pro Markt, und sie ist billig genug, dass niemand eine Ausrede zum Raten hat.

Der Kern existiert, und die Universitäten sind nicht darin

Hier ist der Teil, den ein Hochschulmarketing-Team zweimal lesen sollte.

Die vier spanischen Domains, die über jede Formulierung hielten, sind graddus.com, uniscopio.com, smartresidences.es und maclapiovera.es. Zwei sind Vergleichs- und Ranking-Seiten, eine ist ein Betreiber von Studentenwohnheimen und eine ein lokaler Ratgeber. Keine ist eine Universität. In Frankreich ist der einzige Überlebende relocation-in-paris.fr, ein Umzugsdienst.

Universitäten erscheinen durchaus, und sie erscheinen bedingt. ucjc.edu, udit.es und cunef.edu hielten für die Formulierung, die fragt, wo man studiert, und für keine der anderen drei. pantheonsorbonne.fr hielt für zwei Pariser Formulierungen und u-paris.fr für zwei andere, nie für alle vier.

Wir haben eine verwandte Form von der anderen Seite gesehen. Die Frage, welche Agentur in sieben Branchen die beste ist, lieferte 133 verschiedene Domains, von denen nur zehn in mehr als einer Branche zitiert wurden, und eine einzige Domain war die Antwort in fünf der sieben. Dauerhafte Positionen in diesen Antwortmengen sind selten, und sie werden von wenigen Domains gehalten, ob die Frage nun Agenturen oder Universitäten betrifft.

Dieses Muster passt zu dem, was wir bei Universitäten gefunden haben, die in KI-Antworten genannt, aber nicht als Quelle zitiert werden. Die Institution kann die Antwort sein, während jemand anderes die Zitation ist. Diese Studie fügt den Mechanismus hinzu: der Zitationsplatz ist dauerhaft, und die Institution besitzt ihn nicht. Ein Vermittler, der Institutionen einordnet oder vergleicht, hält eine Position, die das Umformulieren überlebt, und die Institutionen rotieren je nach genauem Satz durch die übrigen Plätze. Wir haben dasselbe seither über elf kommerzielle Kategorien gezählt, und es hält so deutlich, dass es sich beziffern lässt: weniger als drei von zehn dauerhaften Zitationen gehören einem Unternehmen, das das verglichene Produkt verkauft, und in vier Kategorien ist die Zahl null.

Für eine Institution ist die praktische Lesart unangenehm und klar. Um den dauerhaften Platz zu konkurrieren heißt, das Vergleichbare zu veröffentlichen: die geordnete Liste, die strukturierte Tabelle, den Ratgeber mit den Zahlen darin. Um die rotierenden Plätze zu konkurrieren heißt, mehr als eine Formulierung abzudecken, denn die Formulierung ist es, die auswählt.

Eine vagere Formulierung ändert die Frage, nicht nur die Antwort

Die niedrigste französische Zelle, «Où étudier à Paris ?», ist die lehrreichste der acht. Sie lieferte 33 verschiedene Quellen, die größte Menge der Studie, und ihre stabile Menge überschneidet sich mit den anderen drei Formulierungen zu 0,18, 0,13 und 0,06.

Die Quellen zu lesen erklärt, warum. Neben diplomeo.com und icd-ecoles.com kamen ein Kinderbetreuungsdienst, ein Mietbürge, ein Marktplatz für Studentenwohnungen, das Stadtportal von Paris, die Seite der Stadtbibliothek und ein Coworking-Raum. Auf Französisch kann «où étudier» heißen, an welcher Einrichtung man sich einschreibt oder wo man sich körperlich zum Lernen hinsetzt, und die Maschine beantwortete beides.

Das ist kein Rauschen. Eine Formulierung, die für einen Menschen mehrdeutig ist, ist es für die Maschine auch, und die Antwortmenge spaltet sich entsprechend. Enthält ein Prompt-Set eine solche, beschreibt die resultierende Zahl eine Mischung aus zwei Fragen, und keine Menge an Wiederholung trennt sie.

Wir haben gemessen, was eine zweite Lesung wert ist, und dann fünf genommen

Jede Studie, die wir veröffentlichen, trägt den Vorbehalt, dass zwei Durchläufe eine leichtere Latte sind als drei, und beziffert diesen Unterschied auf ungefähr zehn Punkte. Niemand hatte gemessen, was schlichtes Nochmalfragen wert ist, also haben wir drei der vier spanischen Formulierungen in einer zweiten Sitzung am selben Tag wiederholt, dieselben drei Oberflächen, dieselben zwei Durchläufe, nichts geändert außer der Uhr. Sie bewegten sich um 18, 4 und 7 Punkte, und ihre stabilen Mengen überschnitten sich weiterhin zu 0,67, 0,67 und 0,70.

Dann haben wir die erste Formulierung genommen und sie fünfmal gelesen.

Eine Frage, ein Tag, eine Methode: der Anteil läuft von 39% bis 89%, und die Zahl der dauerhaften Quellen verlässt sieben bis acht nie. Die Kennzahl bewegt sich um 50 Punkte. Das, was sie zu messen behauptet, bewegt sich um eine Quelle.

Die ganze Bewegung steckt im Nenner. Was sich zwischen den Lesungen ändert, ist, wie viele einmalige Quellen zufällig auftauchen, von neun bis achtzehn, und einen fast konstanten Zähler dadurch zu teilen erzeugt einen Prozentwert, der wie eine Messung aussieht und sich wie eine Münze verhält.

Und der Kern ist nicht nur stabil, es ist derselbe Kern. Vier Domains wurden in jedem Durchlauf aller fünf Lesungen zitiert, graddus.com, smartresidences.es, maclapiovera.es und uniscopio.com, und es sind dieselben vier, die oben alle vier Formulierungen überlebt haben. Übersteht Umformulieren, übersteht Neumessung, dieselben vier Namen.

Eine Sache können wir nicht klären, und sie ist ein Vorbehalt gegen unser eigenes Instrument. Die Gesamtzahlen fallen über die Folge hinweg, 18, 14, 11, 13, 9, und die Lesungen wurden der Reihe nach genommen, wir können also gewöhnliche Schwankung nicht davon trennen, dass wiederholtes Messen die Menge schrumpfen lässt. Eine andere Formulierung, im selben Zeitfenster gemessen, lieferte 19, 20 und 17 über drei Lesungen, was diesen Rückgang nicht zeigt, aber drei Lesungen klären es auch nicht. Es steht als offene Frage im Register und nicht als Fußnote.

Die praktische Anweisung ist kurz, und einen Anbieter kostet es nichts, ihr zu folgen. Berichten Sie die Domains, nicht den Prozentwert. Eine benannte Liste von vier Quellen ist über Umformulierungen und Neulesungen hinweg reproduzierbar. Der Prozentwert darüber ist es nicht.

Was diese Studie nicht zeigt

• Zwei Absichten, zwei Märkte, acht vergleichbare Zellen. Jeder Prozentwert hat einen Nenner zwischen 16 und 33.
• Zwei Durchläufe, nicht drei. «In jedem Durchlauf zitiert» ist über zwei Durchläufe eine leichtere Latte, diese Werte sind also nicht mit Messungen über drei Durchläufe vergleichbar, auch nicht mit Teilen unserer Agenturstudie, die diesen Effekt auf ungefähr zehn Punkte beziffert. Der Abschnitt oben zeigt, dass eine zweite Sitzung ungefähr dasselbe wert ist, die beiden Rauschquellen sind also vergleichbar groß und in einer einzelnen Lesung nicht voneinander zu trennen.
• Ein Branchenpaar, keine Übersicht über Branchen. Wir haben jetzt Reisen und Bildung. Dass zwei Kategorien sich unterscheiden, genügt, um eine allgemeine Behauptung zu widerlegen, und genügt nicht, um eine dritte vorherzusagen.
• Auf Städte bezogene Fragen. Beide Absichten nennen eine Stadt, was die Kandidatenmenge einengt und selbst einen dauerhaften Kern begünstigen könnte. Eine nationale Frage könnte sich anders verhalten, und wir haben keine getestet.
• Drei Oberflächen, nicht vier. ChatGPT ist ausgeschlossen, weil die von uns genutzte Route dafür keine Quellenliste zurückgibt, und das als Null zu berichten hieße, unser Instrument zu berichten.
• Wir haben das Suchvolumen der vier Formulierungen nicht geprüft. Das hier sagt, dass die Wahl der Formulierung zählt, nicht welche zu wählen ist. Das Volumen würde es auch nicht klären: wir haben separat gemessen, dass die Werkzeuge mit der größten Suchnachfrage nicht die sind, die die KI nennt, die Formulierung mit dem höchsten Volumen zu wählen ist also nicht dasselbe wie die zu wählen, mit der man zitiert wird.
• Nichts hier ist kausal. Wir haben die Worte geändert und aufgezeichnet, was zurückkam.

Häufige Fragen zu dieser Studie

Ändert das Umformulieren einer Frage immer, welche Quellen die KI zitiert?

Nein, und das ist der Befund. In Spanien teilten sich vier Formulierungen einer Hotelbuchungsfrage null verlässlich zitierte Domains, während vier Formulierungen einer Frage nach privaten Universitäten sich vier teilten. Gleiches Land, dieselben drei Oberflächen, dieselbe Methode, derselbe Tag. Ob Umformulieren Ihre Sichtbarkeit zerstört, ist eine Eigenschaft der Kategorie, und sie muss pro Kategorie gemessen statt angenommen werden.

Welche Seiten werden bei Universitätsfragen in KI-Antworten zitiert?

In unserer Madrider Messung waren die in jedem Durchlauf aller vier Formulierungen zitierten Domains zwei Vergleichsportale, ein Betreiber von Studentenwohnheimen und ein lokaler Ratgeber. Universitäten wurden zitiert, aber jede nur für bestimmte Formulierungen: drei institutionelle Domains hielten für die Formulierung, die fragt, wo man studiert, und für keine der anderen drei.

Warum erscheinen die Universitäten nicht in der stabilen Menge?

Wir können sagen, was die Daten zeigen, und nicht warum. Die dauerhaften Zitationen gingen an Seiten, die Institutionen einordnen, vergleichen oder einbetten, und nicht an die Institutionen selbst, was zu unserem früheren Befund passt, dass Universitäten in KI-Antworten häufig genannt werden, während jemand anderes als Quelle zitiert wird. Diese Studie fügt hinzu, dass der Zitationsplatz selbst über Umformulierungen hinweg stabil ist und die Institutionen durch die übrigen rotieren.

Wie viele Prompt-Formulierungen sollte ein Hochschulmarketing-Team verfolgen?

Mehr als eine, und die Zahl hängt vom Markt ab. Auf Spanisch überschnitten sich die vier Formulierungen zwischen 0,29 und 0,78, zwei gut gewählte decken also viel ab. Auf Französisch liefen die Überschneidungen von 0,06 bis 0,50, dieselben zwei würden also den größten Teil des Bildes verfehlen.

Welche KI-Oberflächen wurden gemessen?

Google AI Overview, Google AI Mode und Gemini, pro Formulierung zusammengefasst, mit umgangenem Cache, sodass jeder Durchlauf ein frischer Aufruf ist. ChatGPT fehlt absichtlich: die hier genutzte Route gibt dafür keine Quellenliste zurück, und eine von einem Instrument erzeugte Null ist von einer echten Null nicht zu unterscheiden.

Wo kann ich die Rohzeilen sehen?

In unserem Messregister, das jede Zeile dieser Studie mit ihrem Prompt genau so trägt, wie er gesendet wurde, mit ihrer Absicht, ihrem Markt, ihren Oberflächen, ihrer Zahl von Durchläufen und ihrem Datum, einschließlich der Zeile, die ausgeschlossen wurde, weil sie nur einen Durchlauf abschloss, und dem Grund dafür.

Wo Sie das hinstellt

Zwei Studien, wenige Stunden auseinander auf dieselbe Weise gefahren, sind sich über das uneinig, was alle in dieser Kategorie behaupten. Eine Kategorie verliert ihren gesamten stabilen Kern, wenn man die Frage umformuliert. Die andere behält einen Kern von vier und übergibt ihn Vermittlern statt den Institutionen, nach denen gefragt wird.

Die Anweisung, die beide überlebt, ist dieselbe, und sie ist kein Slogan. Messen Sie Ihre eigene Kategorie, mit mehr als einer Formulierung, und schauen Sie darauf, welche Domains halten, nicht auf den Prozentwert. Der Prozentwert war in beiden spanischen Blöcken ähnlich. Was darunter lag, war nicht im Entferntesten dasselbe, und nur eine dieser beiden Tatsachen sagt Ihnen, was Sie als Nächstes veröffentlichen sollten.