Zwanzig Kauffragen in vier Märkten, und eine Kategorie, in der das Overview kaum erscheint

Jedes Produkt für KI-Sichtbarkeit meldet eine Null auf dieselbe Weise. Keines kann Ihnen sagen, ob die Maschine geantwortet und Sie ausgelassen hat oder ob sie gar nicht geantwortet hat. Wir haben Kauffragen in den Vereinigten Staaten, Spanien, Deutschland und Frankreich gestellt, eine Lesung je Zelle, je drei Durchgänge, ohne Wiederholung, was auch immer zurückkam, und die Studie ist auf 84 Lesungen über 10 Kategorien, 5 Fragenformen und 2 Oberflächen gewachsen. 37 der 40 Zellen gaben in jedem Durchgang ein AI Overview zurück. Die 3, die das nicht taten, sind dieselbe Kategorie, und in dieser Kategorie gab die Oberfläche 3 von 3 Durchgängen in Deutschland zurück, 2 in den Vereinigten Staaten, 1 in Frankreich und 0 in Spanien.

Ob das Overview erscheint, ist weit mehr eine Eigenschaft der Frage als des Marktes. Aber bei der Frage, wo es unzuverlässig ist, ist es in jedem Markt anders unzuverlässig, und das ist der Teil, den ein Dashboard nicht zeigen kann.

Disclosure: EchoWi verkauft Messung von KI-Sichtbarkeit, also ist eine Studie, die behauptet, manche Sichtbarkeitszahlen beschrieben eine Oberfläche, die nicht erschienen ist, eine Studie mit Eigeninteresse. Alles zum Wiederholen steht hier: jede exakte Zeichenkette, die Oberflächen, die vier Märkte in ihren eigenen Sprachen, drei Durchgänge je Zelle, die Daten und alle 84 Lesungen in unserem Messregister. Jeder Arm sind zwanzig Aufrufe, also kann jede Person einen davon gegen uns laufen lassen.

Die kurze Fassung

1. 40 Zellen: 10 Kauffragen in 4 Märkten, jede in ihrer eigenen Sprache. Je eine Lesung, drei angeforderte Durchgänge, auf Googles AI Overview.
2. 37 von 40 gaben in allen drei Durchgängen ein Overview zurück. Für die meisten Kauffragen in den meisten Märkten ist die Oberfläche schlicht da.
3. Die 3 Fehlbeträge sind eine einzige Kategorie, Passwortmanager. Jede andere Zelle in jedem Markt antwortete vollständig.
4. Diese eine Kategorie durchläuft die gesamte Spanne. Deutschland 3 von 3, die Vereinigten Staaten 2 von 3, Frankreich 1 von 3, Spanien 0 von 3, in derselben Nacht.
5. Ohne Wiederholung, mit Absicht. Eine kurze Lesung ist hier das Ergebnis und kein zu behebender Fehler, und nur die kurzen erneut zu lesen ist der Weg, auf dem eine Stichprobe von ihrem eigenen Ergebnis ausgewählt wird.
6. Die zuerst aufgeschriebene Vorhersage war falsch, und der Abschnitt darüber sagt wie.

Warum der Nenner überhaupt jemanden interessieren sollte

Ein Sichtbarkeitsbericht sagt Ihnen, dass Sie nicht zitiert wurden. Hinter diesem Satz stehen zwei völlig verschiedene Welten.

In der ersten hat die Maschine eine Antwort erzeugt, acht Quellen gewählt, und keine davon waren Sie. Das ist ein Inhalts- und Autoritätsproblem, es ist das, was jedes Werkzeug dieser Kategorie beschreiben soll, und die Arbeit, die daraus folgt, ist die, die wir verkaufen.

In der zweiten hat die Maschine nichts erzeugt. Keine Antwort, keine Zitationsliste, keine acht Quellen. Niemand wurde zitiert, auch Ihre Wettbewerber nicht, auch die Etablierten nicht. Ihre Null ist identisch mit der Null aller anderen und sagt überhaupt nichts über Ihre Seiten.

Beide sehen in jedem Dashboard gleich aus, das wir gesehen haben, unseres eingeschlossen. Die Zahl ist so oder so null.

Wir sind zweimal aus verschiedenen Richtungen auf diese Unterscheidung gestoßen. Ein Durchgang lokaler Kauffragen fand eine ganze Fragenform, in der Googles AI Overview nie lief, während AI Mode im selben Aufruf jedes Mal antwortete. Und in einer Studie zu Keyword- gegen Frageform gab eine französische Keyword-Phrase in sechs Durchgängen nichts zurück, während die Frageform derselben Absicht erschien und fünf stabile Quellen zitierte. Beide Male war die interessante Tatsache nicht, wer zitiert wurde, sondern dass es nichts gab, worin zitiert zu werden.

Was keine der beiden beantwortete: wie oft das bei gewöhnlichen Kauffragen passiert, worauf fast alle Messung zielt.

Der Aufbau, und die eine Regel, die ihn lohnend macht

Fünf Kategorien, gewählt, weil zwei frühere Arme unserer Formstudie sie bereits verwendeten, also sind die Zeichenketten schon einmal gemessen und gegen das Register prüfbar. Jede in vier Märkten gestellt, in der Sprache dieses Marktes, in Keyword-Form, damit die Formulierung fest bleibt. Drei Durchgänge je Zelle auf dem AI Overview. Zwanzig Zellen insgesamt.

Eine Lesung je Zelle, und keine Wiederholung, was auch immer zurückkam. Diese Regel ist die Studie.

Die beantworteten Durchgänge über alle AI-Overview-Lesungen zu zählen, die schon im Register stehen, ergibt einen makellos aussehenden Marktgradienten. Er ist wertlos, aus drei getrennten Gründen, von denen jeder für sich reicht. Die Arme decken verschiedene Fragensätze ab, neunzehn Kategorien in einem Markt und fünf in den anderen. Sie wurden an verschiedenen Tagen gelesen. Und kurze Lesungen wurden wiederholt, also sammelte der Arm mit mehr kurzen Lesungen mehr zusätzliche Zeilen, was heißt, dass die Stichprobe genau von dem Ergebnis ausgewählt wurde, das gemessen werden sollte.

Der letzte Punkt ist die Falle, die dieses Register bereits in seinen eigenen Kontrollzahlen dokumentiert, und sie gehört klar benannt: wenn Sie die dünn zurückgekommenen Lesungen wiederholen, wird Ihre Wiederholungspolitik zu Ihrem Ergebnis.

Also keine Wiederholung. Eine Zelle, die einmal von dreimal antwortete, wird als eins von drei verbucht und bleibt dort.

Was zurückkam

Sechzehn dieser zwanzig Zellen liegen bei drei von drei. Die siebzehnte vollständige ist Passwortmanager in Deutschland, worum es in der Zeile darunter geht.

Jeder Fehlbetrag der Studie ist eine Kategorie. Vier Märkte, fünf Kategorien, und der einzige Zelltyp, der je nicht in jedem Durchgang erschien, sind Passwortmanager.

Diese Kategorie tut dann etwas, das keine andere tut. Sie gibt volle drei von drei in Deutschland zurück, zwei von drei in den Vereinigten Staaten, eins von drei in Frankreich und gar nichts in Spanien, in derselben Nacht, mit demselben Werkzeug, mit der entsprechenden Phrase in jeder Sprache. Die anderen vier Kategorien sind über alle vier Märkte flach.

Fünf Kategorien waren nicht genug Kategorien, also kamen fünf dazu

„Alle drei Fehlbeträge sind eine Kategorie” ruht auf so vielen Kategorien, wie man gefragt hat. Bei fünf kann das stimmen, weil es eine schlecht erzogene Kategorie auf der Welt gibt, oder weil fünf nicht reichen, um die zweite zu finden. Die Studie konnte das nicht trennen und eine Leserin auch nicht.

Also gingen fünf weitere hinaus: Projektmanagement, E-Mail-Marketing, Buchhaltung, VPN und Homepage-Baukästen, in denselben vier Märkten, gleiche Regel, keine Wiederholungen. Die Schwelle stand zuerst fest: nichts Neues zu kurz und die Aussage wird über zehn Kategorien veröffentlicht; irgendetwas Neues zu kurz und die Überschrift wird in vier Sprachen umgeschrieben, um die Zahl der Kategorien mit Fehlbetrag zu nennen.

Alle 20 neuen Zellen antworteten in jedem Durchgang. Die Studie steht also bei 37 von 40 über 10 Kategorien, und jeder Fehlbetrag darin ist weiterhin eine Kategorie von zehn.

Wir werden das nicht erklären, weil wir keinen Mechanismus gemessen haben. Sagen lässt sich, was es mit einer Zahl macht, die jemandem verkauft wird: In Spanien hätte ein Bericht über diese Kategorie aus einer einzigen Lesung null Zitationen für den gesamten Markt gezeigt, und die richtige Lesart dieser Null ist, dass es nichts gab, worin zitiert zu werden.

Wir haben die eine interessante Zelle erneut gelesen, bevor wir darüber schrieben

Eine einzelne Lesung, die einen sauberen Gradienten erzeugt, ist genau die Form, an der sich dieses Register schon verbrannt hat. Die Regel, die wir uns geschrieben haben, lautet: Wenn eine Zelle ein dramatisches Ergebnis liefert, ist der nächste Aufruf die Replikation und nicht der Text. Die Passwortmanager-Frage wurde also ein zweites Mal in allen vier Märkten gestellt, gleiche Zeichenketten, gleiche drei Durchgänge, gleiche Regel ohne Wiederholung.

Die Reihenfolge hielt und niemand überholte jemanden. Deutschland steht weiter oben, Spanien weiter unten, und die einzige Zelle, die sich bewegte, bewegte sich nach oben: Die Vereinigten Staaten gingen von zwei von drei auf drei von drei, was sie mit Deutschland gleichzieht, statt irgendetwas umzuordnen.

Zwei Dinge sind mehr wert als die Reihenfolge.

Spanien steht jetzt bei 0 von 6 beantworteten Durchgängen über zwei Lesungen an zwei Daten. Sechs Anfragen nach einem AI Overview auf eine gewöhnliche kommerzielle Kauffrage, und sechsmal erschien nichts, während die entsprechende deutsche Phrase in allen sechs ihrer Durchgänge erschien. Ein Sichtbarkeitsbericht für diese Kategorie in diesem Markt würde, mit wie vielen Durchgängen auch immer, jeden Anbieter bei null zeigen.

Frankreich gab zweimal genau eins von drei zurück. Das ist etwas anderes als eine bloß verrauschte Zelle. Zwei unabhängige Lesungen, die auf demselben Bruchteil landen, sieht eher nach einer partiellen Erscheinungsrate aus als nach einer schlechten Nacht, und es ist die erste Zelle dieser Studie, die sich so beschreiben lässt.

Beide Lesungen sind gedruckt und keine ersetzt die andere. Ein Mittelwert aus zweien würde die einzigen zwei Zahlen verbergen, die eine Leserin prüfen kann, und bei so kleinen Zählungen ist der Mittelwert das am wenigsten Aussagekräftige, was zur Verfügung steht.

Die Zahl der Überschrift, 17 von 20, bleibt bewusst die erste Lesung jeder Zelle. Eine Replikation hineinzufalten hieße, dass sich die Zahl ändert, sobald wir etwas erneut lesen, und so hört eine Zahl auf, prüfbar zu sein.

Vier andere Dinge, die ein Käufer tippt

Alle Zellen bisher haben dieselbe Form, bestes X. Das ist eines von mehreren Dingen, die man vor dem Kauf tippt. Man fragt auch, was es kostet, wie die Optionen sich vergleichen, wie man wählt, und ob es eine kostenlose gibt, und ein Bericht, der sagt, eine Kategorie habe keine Sichtbarkeit, wirft all das in einen Topf.

Also wurden die fünf ursprünglichen Kategorien auf vier weitere Arten gestellt, in den Vereinigten Staaten, gleiche Regel und keine Wiederholungen, Markt und Kategorie festgehalten, damit die Form das Einzige ist, was sich bewegt. Die Zeile mit dem besten gab es schon, was daraus einen Vergleich innerhalb der Kategorie ebenso wie innerhalb des Marktes macht.

16 der 20 neuen Zellen antworteten in jedem Durchgang. Die 4 übrigen zerfallen in zwei Arten, und sie auseinanderzuhalten ist der ganze Zweck dieser Studie: 2 kamen kurz zurück, weil die Oberfläche nicht erschien, und 2, weil das Werkzeug früh abbrach. Die Null in der Preiszelle der Shops ist die zweite Art, nicht die erste.

Beide Oberflächen-Fehlbeträge sind Passwortmanager. Zählt man ihre Zelle mit dem besten dazu, ist diese Kategorie in 3 ihrer 5 Formen kurz, während keine andere Kategorie irgendwo kurz ist, wo die Messung zu Ende lief.

Die Form scheint also nicht zu entscheiden, ob ein Overview erscheint, und die Lesart nach Kategorie überlebt es, auf vier weitere Arten gefragt zu werden. Das ist mehr wert als der ursprüngliche Arm, denn „eine Kategorie ist unzuverlässig” auf fünf Arten gemessen ist eine andere Aussage als derselbe Satz einmal gemessen.

Ein Markt, und dieser Abschnitt sagt nichts über die anderen drei. Die Formen wurden nur auf Englisch und in den Vereinigten Staaten gestellt.

Dieselben zwanzig Fragen auf der anderen Oberfläche

Der Arm oben kann nicht sagen, warum eine Zelle kurz zurückkam, und er versucht es nicht. Eine Sache kann er billig sagen, die den Rat ändert: ob die andere Oberfläche dieselbe Frage beantwortet.

Also gingen dieselben 20 Zellen an AI Mode. Gleiche Zeichenketten, gleiche Märkte und Sprachen, gleiche drei Durchgänge, gleiche Regel ohne Wiederholung.

Jede Zelle, die auf dem AI Overview kurz zurückkam, gab auf AI Mode volle drei von drei zurück. Alle 3. Innerhalb der Zelle gepaart war AI Mode in 3 Zellen höher, in 16 gleich und in 1 niedriger.

Der schärfste Fall ist der, um den diese Studie kreist. Die spanische Passwortmanager-Phrase steht inzwischen bei 0 von 6 angeforderten AI-Overview-Durchgängen über die zwei Lesungen dieser Studie. Auf AI Mode antwortete dieselbe Zeichenkette im selben Markt am selben Tag 3 von 3 und zitierte sechzehn Domains.

Damit ist geklärt, was die spanische Null ist. Sie ist keine Frage, die niemand beantworten kann, und keine Kategorie ohne Quellen. Sie ist eine Oberfläche, die sich entscheidet nicht zu erscheinen, während die andere dieselbe Frage beantwortet und sechzehn Zitationen verteilt. Ein Sichtbarkeitsbericht, der für diesen Markt und diese Kategorie null zeigt, beschreibt Googles Seitengestaltung und nicht den Inhalt irgendeiner Seite.

Die Schwelle, mit der dieser Arm eingefroren wurde, verlangte 20 von 20 und er gab 19 zurück. Die Ausnahme ist französisches Webhosting mit zwei von drei, und sein Ergebnis trägt das Abbruch-Flag des Werkzeugs selbst, es kam also die Messung zu kurz und nicht die Oberfläche, die sich verweigert. Wir behandeln das als den ersten Zweig mit benannter Ausnahme und nicht als drittes Muster, und dieser Satz steht hier, damit eine Leserin dieser Entscheidung widersprechen kann.

Eines kann dies nicht, und deshalb steht oben nirgends ein kombinierter Prozentsatz: Die beiden Arme wurden an verschiedenen Tagen gelesen. Jeder Vergleich hier findet innerhalb einer Zelle statt, wo Frage und Markt sich aufheben, und nichts davon ist eine Rate über Oberflächen hinweg.

Die zuerst aufgeschriebene Vorhersage, und warum sie falsch war

Der Aufbau wurde vor dem ersten Aufruf eingefroren, mit Vorhersage und Schwelle darin. Beide gehören zitiert, weil die Vorhersage scheiterte.

Wir sagten vorher, die Reihenfolge des früheren, kontaminierten Gradienten würde sich ungefähr reproduzieren: die Vereinigten Staaten oben und Frankreich unten. Die Schwelle sagte, dass wir bei Nichtreproduktion genau das veröffentlichen und die frühere Beobachtung korrigieren statt abmildern.

Deutschland beantwortete jeden angeforderten Durchgang und Spanien antwortete am wenigsten. Frankreich liegt einen Durchgang hinter den Vereinigten Staaten. Kein Ende der Vorhersage überlebte.

Der frühere Gradient waren also die Fragensätze, die verschiedenen Tage und die Auswahl durch Wiederholung, nicht die Märkte. Eine Instrumentennotiz unserer Formstudie sagte, Frankreich liefere weniger vollständige Lesungen als Deutschland, und ohne die Auswahl liegt Frankreich einen Durchgang hinter dem amerikanischen Arm und Deutschland ist perfekt. Diese Notiz ist in ihren vier Sprachen korrigiert statt still fallen gelassen, und die Korrektur steht hier, damit eine Leserin der ersten Fassung die zweite findet.

Daneben gehört etwas Kleineres zugegeben. Dieselbe französische Passwortmanager-Phrase gab tags zuvor in sechs Durchgängen über zwei Lesungen nichts zurück und hier eins von drei. Eine einzige Lesung dieser Zelle hätte ehrlich berichten können, dass „die Oberfläche hier nie läuft” oder dass „die Oberfläche ein Drittel der Zeit läuft”, und das sind verschiedene Behauptungen.

Was das ändert, wenn Sie Messung kaufen oder bauen

Fragen Sie jeden Anbieter, was seine Null bedeutet. Nicht, ob er AI Overviews misst, dazu sagen alle ja. Fragen Sie, ob eine Null in seinem Bericht zwischen „die Maschine antwortete und zitierte Sie nicht” und „die Maschine antwortete nicht” unterscheidet. Wenn er das nicht beantworten kann, sind das zwei Zahlen unter einem Etikett.

Fragen Sie, wie viele Durchgänge hinter einer Zelle stehen und was mit den kurzen geschieht. Ein einzelner Durchgang ist ein Münzwurf im Messkostüm, und ein Werkzeug, das stillschweigend wiederholt, bis eine Antwort kommt, berichtet seine Wiederholungspolitik.

Verallgemeinern Sie ein Ausbleiben nicht über Märkte hinweg. Die eine Kategorie, die hier ausblieb, blieb in jedem Markt in anderem Ausmaß aus, und die vier, die nicht ausblieben, blieben nirgends aus. Was das steuert, ist keine nationale Einstellung zum Nachschlagen.

Und verallgemeinern Sie es auch nicht über Oberflächen hinweg. Dies ist nur Googles AI Overview. Unsere eigene Arbeit hat wiederholt gefunden, dass ein auf einer Oberfläche gemessenes Ergebnis nicht auf eine andere reist, und der lokale Durchgang ist das schärfste Beispiel: Die Oberfläche, die die Antwort verweigerte, wurde von Googles eigenem AI Mode im selben Aufruf jedes Mal beantwortet.

Die praktische Fassung für alle, die selbst prüfen: Notieren Sie jedes Mal, wie viele Durchgänge geantwortet haben, neben der Zahl der Zitationen. Es kostet nichts, es ist der Unterschied zwischen den beiden Nullen, und fast niemand tut es.

Grenzen

40 Zellen. Zehn Kategorien in vier Märkten reicht, um zu zeigen, dass beide Ergebnisse existieren, und bei weitem nicht, um zu schätzen, wie oft eines davon vorkommt. Jede Zahl hier ist eine Zählung.

Eine Lesung je Zelle, außer einer. Das ist der Aufbau und zugleich die Hauptgrenze: Eine einzelne Lesung kann eine Kategorie, die ein Drittel der Zeit erscheint, nicht von einer trennen, die zufällig in einer schlechten Nacht gemessen wurde. Die eine Zelle, die ein berichtenswertes Ergebnis lieferte, wurde in allen vier Märkten ein zweites Mal gelesen, und diese 4 Lesungen werden neben der ersten berichtet statt in sie hineingerechnet. Jede andere Zelle der Studie ist weiterhin eine einzelne Lesung.

2 Oberflächen, und nur eine überall. Googles AI Overview in allen Armen, und AI Mode auf den zwanzig Zellen des gepaarten Abschnitts. Nichts hier beschreibt ChatGPT, Gemini oder Perplexity.

5 Fragenformen, und nur eine in jedem Markt. Die Keyword-Phrase wird über alle vier Märkte festgehalten, damit sie vergleichbar sind; die anderen vier Formen wurden nur in den Vereinigten Staaten gestellt. Wir wissen bereits, dass die Frageform einer französischen Passwortmanager-Anfrage erschien, als die Keyword-Form es nicht tat, also zählt die Form, und diese Studie misst inzwischen einen Teil davon, statt sie nur festzuhalten.

2 Kalenderdaten. Die erste Sitzung überschritt lokale Mitternacht, ihre Zeilen tragen also zwei Daten für unter vierzig Minuten verstrichene Zeit. Alles später Hinzugefügte wurde am zweiten dieser Daten gelesen. Kein Arm hier erstreckt sich über einen Tag.

Nichts hier ist kausal. Keine Seite wurde geändert und nichts wurde davor und danach gemessen. Dies ist, was die Oberfläche zurückgab.

Häufige Fragen dazu, ob das AI Overview erscheint

Erscheint bei einer kommerziellen Suche immer ein AI Overview?

Nein. In dieser Studie gaben 37 von 40 Zellen in jedem Durchgang eines zurück, bei Kauffragen also meistens, aber eine Kategorie gab in einem Markt gar nichts zurück und in einem anderen einen Durchgang von drei. Ein gesonderter Durchgang lokaler Dienstleistungsfragen fand eine ganze Fragenform, in der es nie erschien. „Meistens” ist also das richtige Wort und „immer” nicht.

Wenn das AI Overview nicht erscheint, heißt das, ich bin nicht sichtbar?

Es heißt das Gegenteil dessen, was ein Dashboard nahelegt. Wenn das Overview nicht erschien, wurde niemand darin zitiert: nicht Sie, nicht Ihre Wettbewerber, nicht die Etablierten. Eine Null aus einem Durchgang, in dem nichts erschien, sagt überhaupt nichts über Ihre Seiten, während eine Null aus einem Durchgang, in dem die Maschine antwortete und acht andere Quellen wählte, sehr viel sagt. Es ist dieselbe Zahl und sie verlangt entgegengesetzte Reaktionen.

Erscheint das AI Overview außerhalb der Vereinigten Staaten seltener?

In dieser Studie nicht, und wir hatten es vorhergesagt. Deutschland gab in allen 30 angeforderten Durchgängen ein Overview zurück, die Vereinigten Staaten in 29, Frankreich in 28 und Spanien in 27. Der deutsche Arm war der vollständigste und der amerikanische nicht der beste. Eine frühere Zählung von uns legte anderes nahe und maß ihre eigene Wiederholungspolitik.

Warum verhält sich eine Kategorie anders als alle übrigen?

Wir wissen es nicht, und wir haben keinen Mechanismus gemessen, also bieten wir auch keinen an. Sagen lässt sich, dass es keine Markteinstellung ist: Dieselbe Kategorie gab in vier verschiedenen Märkten in derselben Nacht drei von drei, zwei von drei, eins von drei und keines von drei zurück, während die anderen vier Kategorien überall drei von drei zurückgaben.

Wie viele Durchgänge sollte eine Sichtbarkeitsmessung verwenden?

Mehr als einen, und die Zahl sollte im Bericht sichtbar sein. Ein einzelner Durchgang unterscheidet eine stabile Zitation nicht von einem Zufall, und er unterscheidet eine fehlende Zitation nicht von einer fehlenden Antwort. Drei ist das Minimum, das wir für alles Veröffentlichte verwenden, und selbst drei ist dünn: Eine strenge Schwelle „in jedem Durchgang zitiert” wirft eine Quelle ganz hinaus, wenn ein Durchgang danebengeht.

Wo Sie das hinführt

Die nützliche Erkenntnis ist nicht, dass AI Overviews unzuverlässig sind. Bei vier der fünf Kategorien hier erschienen sie in jedem Durchgang in jedem Markt, was nach jedem vernünftigen Maßstab eine stabile Oberfläche ist.

Die Erkenntnis ist, dass die Zuverlässigkeit nicht gleichmäßig ist, dem Markt nicht folgt, und dass der Fehlermodus in der einzigen Zahl unsichtbar ist, die die meisten Werkzeuge berichten. Eine Kategorie dieser kleinen Studie erzeugte in Spanien eine Null, die nichts über den Inhalt irgendeiner Seite aussagt, und sie wäre in einem Bericht erschienen, der mit einer Null identisch aussieht, die alles aussagt.

Wenn Sie eine Gewohnheit von hier mitnehmen, nehmen Sie die billige: zählen Sie die Antworten, nicht nur die Zitationen.