Wir haben 120 eigene Messungen zusammengelegt: ein Stabilitätswert sagt vor allem, wie breit die Antwort war

Jedes Tool dieser Kategorie meldet, wie beständig Ihre Zitationen sind, und wir auch. Wir haben 120 unserer eigenen veröffentlichten Messungen aus vier Märkten und fünf verschiedenen Studien zusammengelegt, um zu sehen, was dieser Prozentsatz tatsächlich nachzeichnet. Die Menge der Quellen, die über alle Durchläufe hält, ist fast überall ein schmales Band: ein Median von sechs Domains, mit achtzig Prozent der Lesungen zwischen drei und elf. Was schwankt, ist die Zahl der überhaupt zitierten Quellen, und die reicht von vier bis fünfunddreißig.

Teilen Sie eine Zahl, die sich kaum bewegt, durch eine, die um das Neunfache schwankt, und Sie erhalten einen Prozentsatz, der wie eine Messung der Kategorie aussieht und sich wie eine Messung der Frage verhält.

Offenlegung: EchoWi verkauft KI-Sichtbarkeitsmessung, eine Studie also, die eine viel verkaufte Kennzahl zum Teil als Artefakt einordnet, ist eine interessierte Studie, und diese trifft unsere eigenen veröffentlichten Prozentwerte vor allen anderen. Hier wurde nichts Neues gemessen. Jede Zahl ist aus Zeilen neu berechnet, die bereits in unserem Messregister stehen, jede mit Anfrage, Markt, Oberfläche, Datum und Zahl der Durchläufe, und damit kann jeder die Rechnung gegen uns wiederholen.

Die Kurzfassung

1. Der stabile Kern ist ein schmales Band. Median 7 Domains, zehntes Perzentil bei 4, neunzigstes bei 12. Das hält über vier Märkte und fünf Studien.
2. Die zitierte Breite ist nicht schmal. Von 4 bis 35 Domains, Median 15.
3. Also fällt der Anteil, je breiter die Antwort wird. Mit zwei Durchläufen: 70 % dort, wo zwölf Domains oder weniger zitiert wurden, 47 % im mittleren Band, 41 % oberhalb von zwanzig. Mit drei Durchläufen: 60, 29 und 26.
4. Die Korrelation ist negativ und moderat, bei −0,45 zwischen der Zahl zitierter Domains und dem Anteil, der hielt. Dass sie moderat ist, zählt, und der Abschnitt über Grenzen sagt warum.
5. Die Kontrolle ist die sauberste Zahl hier. Sieben Zeilen mit einem einzigen Durchlauf, aus vier verschiedenen Studien, erreichen alle sieben 100 %, weil es bei einem Durchlauf nichts gibt, wovon eine Quelle fehlen könnte.
6. Ein sechster Datensatz dreht das Vorzeichen um, und er wird unten benannt statt fallengelassen.

Was zusammengelegt wurde, und was draußen blieb

Fünf Studien, alle bereits veröffentlicht und mit sichtbaren Zeilen: die Arbeit zu Formulierungen, die Fragen zur Reisebuchung, der Agenturdurchlauf nach Branche, die Kategorien mit Zitationsplätzen und die Sonden zur Antwortschicht. Vier Märkte, fünf Oberflächenkombinationen, 120 Zeilen mit zwei oder mehr Durchläufen.

Zwei Ausschlüsse, und beide kosten den Befund, statt ihm zu helfen.

Zeilen mit einem einzigen Durchlauf sind nicht in der Korrelation. Bei einem Durchlauf ist jede zitierte Domain in jedem Durchlauf zurückgekommen, der Anteil ist also konstruktionsbedingt 100 %. Das ist das Artefakt und kein Datenpunkt. Sie werden stattdessen getrennt gezählt, weil eine Kontrolle, die bestätigt, dass sich das Instrument erwartungsgemäß verhält, mehr wert ist als sieben zusätzliche Zeilen.

Eine Sammlung bleibt draußen, weil ein Leser sie nicht prüfen kann. Unser Register zeigt jede Messreihe außer einer, die in der Datendatei als Ausnahme deklariert ist, weil sie keine veröffentlichte Zahl trägt. Zufällig ist sie die einzige der sechs, deren Vorzeichen in die andere Richtung zeigt, bei n=6. Sie herauszunehmen entfernt die Ausnahme aus der Überschrift, was genau der Grund für diesen Absatz ist: mit ihr liegt die Korrelation bei −0,29 über die Zeilen mit zwei Durchläufen und bei −0,51 über die mit drei, und die Schlussfolgerung ändert sich nicht.

Die Zahl der Durchläufe wird getrennt gehalten statt gemittelt. Bei zwei Durchläufen muss eine Quelle zweimal erscheinen, um stabil zu sein; bei drei dreimal. Das sind zwei verschiedene Latten, sie zu mischen würde also zwei Definitionen in einen Prozentsatz verschmelzen, und genau darum geht es in diesem Artikel.

Die Zahlen

Wie breit die Antwort war, gegen den Anteil, der hielt:

Lesen Sie die Spalte „Median der stabilen“ in jedem Block von oben nach unten. Bei zwei Durchläufen lautet sie 6, 8, 10, während sich die Antworten dahinter etwa verdreifachen. Bei drei Durchläufen lautet sie 5, 5, 6.

Der Zähler leistet sehr wenig Arbeit. Der Nenner leistet fast alles, und der Nenner ist eine Eigenschaft der Frage und des Tages, nicht davon, wie gefestigt die Kategorie ist.

Die Streuung, schlicht gesagt:

Diese zwei Korrelationen sind der Befund in einer Zeile. Mehr Zitation bringt in absoluten Zahlen tatsächlich etwas mehr Stabilität, +0,48, und sie bringt anteilig weniger, −0,38. Beides ist gleichzeitig wahr, und nur das Zweite erreicht ein Dashboard.

Warum das den Vergleich zwischen Kategorien unsicher macht

Stellen Sie zwei Kategorien nebeneinander. Die eine liefert eine enge Antwort aus acht Quellen, sechs davon halten: 75 %. Die andere liefert eine breite Antwort aus dreißig Quellen, neun halten: 30 %.

Nach dem Prozentsatz wirkt die erste mehr als doppelt so gefestigt. Nach dem, womit ein Käufer arbeiten kann, hat die zweite mehr stabile Quellen zu verfolgen, und ihr Kern ist um die Hälfte größer.

Das ist nicht hypothetisch. Es ist die Form der Tabelle oben, und es ist der Grund, warum unsere eigenen Studien nie Kategorien nach Stabilitätsanteil geordnet haben. Die Arbeit zu Zitationsplätzen vergleicht, welche Domains einen Platz halten, statt welcher Anteil es tat, und die kategorienübergreifende Studie zählt Domains, die mehrere Kategorien durchqueren, statt ihre Anteile zu mitteln. Das war damals eine Ermessensentscheidung. Dies ist die Messung, die sie rechtfertigt.

Die praktische Fassung: ein Stabilitätsanteil ist mit sich selbst über die Zeit auf derselben Frage vergleichbar, und er ist nicht zwischen Fragen vergleichbar. Zwei Kategorien, zwei Märkte, zwei Formulierungen oder dieselbe Frage an einem Tag, an dem die Antwort mehr Quellen zitierte, sind vier verschiedene Nenner unter einem Etikett.

Was das nicht umstößt

Es wäre leicht, das als „Stabilitätszahlen bedeuten nichts“ zu lesen, und das ist nicht, was 120 Zeilen tragen.

Die stabile Menge ist real. Sie ist der Teil dieser Messungen, der jede Prüfung überstanden hat, die wir ihm zugemutet haben: sie überstand das erneute Lesen derselben Frage, sie überstand das Umformulieren, und wo der Anteil um fünfzig Punkte schwankte, bewegte sich die Identität der Quellen darunter deutlich weniger. Das ist der ganze Grund, warum unsere Studien Domainnamen veröffentlichen.

Ein fallender Anteil auf einer eingefrorenen Frage bleibt ein Signal. Ändern sich Frage, Markt und Zahl der Durchläufe nicht, dann heißt ein Rückgang, dass der Kern geschrumpft ist oder die Antwort breiter wurde, und beides ist wissenswert. Was Sie nicht tun können, ist die Zahl einer Kategorie gegen die einer anderen zu lesen.

Und der Effekt ist eine Tendenz, kein Gesetz. Eine Korrelation von −0,38 lässt den größten Teil der Streuung unerklärt. Die Breite der Antwort ist nachweislich eine Eingangsgröße dieses Prozentsatzes, und sie ist nicht die einzige.

Was Sie einen Anbieter fragen sollten, und es ist die zweite Frage

Wir haben die erste Frage an jeden KI-Sichtbarkeitsanbieter bereits veröffentlicht: umgehen Ihre wiederholten Durchläufe den Cache? Tun sie es nicht, ist die Trendlinie konstruktionsbedingt flach und Sie kaufen eine Gerade.

Hier ist die zweite. Fragen Sie, was der Nenner Ihres Stabilitätswerts ist und ob er konstant gehalten wird.

Es gibt nur wenige mögliche Antworten. Ist der Wert „stabile Quellen durch zitierte Quellen“, bewegt er sich, wenn die Antwort breiter wird, was keine Änderung Ihrer Sichtbarkeit ist. Bezieht er sich auf ein festes Universum, das der Anbieter definiert, fragen Sie, was in diesem Universum steht. Und ist er eine reine Anzahl stabiler Quellen, ist das die ehrlichste der drei und die, die am seltensten auf einem Dashboard steht, weil sie sich nicht zu einem Prozentsatz skalieren lässt.

Aus derselben Ecke folgt eine dritte Frage: aus wie vielen Durchläufen ist der Wert gebaut, und steht diese Zahl daneben? Unsere Zeilen mit zwei und mit drei Durchläufen liefern für gleich breite Antworten verschiedene Mediane, 8 gegen 5 im mittleren Band, allein weil sich die Latte verschoben hat. Ein Prozentsatz ohne seine Zahl der Durchläufe lässt sich nicht lesen.

Eine Schwesterstudie fragt, was mit diesem Prozentwert über zwei Tage statt innerhalb eines Tages passiert: dieselben fünfzehn Fragen, zwei Tage später erneut gestellt, wo sich die beste und die schlechteste Zeile beide bei der zweiten Lesung am selben Nachmittag bewegten.

Was das nicht zeigt

Beobachtend, und zusammengelegt. Diese 120 Zeilen wurden für fünf verschiedene Studien mit verschiedenen Fragen, Branchen und Oberflächen erhoben. Nichts wurde randomisiert und nichts konstant gehalten außer der Zahl der Durchläufe, die segmentiert ist. Das beschreibt eine Beziehung in Daten, die wir schon hatten; es belegt nicht, dass eine breitere Antwort einen niedrigeren Anteil verursacht.

Die Bänder sind ungleich. Eine Zelle enthält fünf Zeilen. Was den Befund trägt, ist, dass die Richtung über alle sechs Zellen und über fünf von sechs Studien gleich bleibt, nicht eine einzelne Zelle.

Die Stichprobe sind unsere eigenen Studien. Jede Zeile ist eine Frage, die wir zu stellen gewählt haben, in einem Markt, in dem wir verkaufen, auf den Oberflächen, die uns zur Verfügung stehen. Eine andere Auswahl an Kategorien ergäbe andere Mediane. Was wir erwarten würden zu überleben, ist die Form: ein schmaler stabiler Kern gegen einen schwankenden Nenner.

Größtenteils eine einzige Oberflächenfamilie. Die meisten Zeilen stammen aus Googles AI Overview und AI Mode. Wir haben veröffentlicht, dass Quellenmengen sich nicht zwischen Oberflächen übertragen, die Mediane hier sind also nicht als allgemeingültig für jeden Assistenten zu lesen.

Und überhaupt keine zeitliche Dimension. Stabil heißt hier „kam in jedem Durchlauf einer Lesung zurück“. Ob ein Kern, der innerhalb einer Sitzung hält, auch über Wochen hält, ist das Größte, was dieses Register weiterhin nicht beantworten kann, und mehr Zeilen zusammenzulegen beantwortet es nicht. Dafür müssen dieselben eingefrorenen Fragen erneut gestellt werden, wenn Zeit vergangen ist, und das ist Messung und keine Arithmetik.

Häufige Fragen zu Stabilitätswerten

Was ist ein Stabilitätswert in einem KI-Sichtbarkeitstool?

Es ist der Anteil der zu einer Frage zitierten Quellen, der jedes Mal zurückkommt, wenn die Frage gestellt wird, und jedes Produkt dieser Kategorie meldet eine Version davon. Die Zahl selbst ist klar definiert. Das Problem ist, dass sie ein Verhältnis ist, dessen untere Hälfte, die Zahl überhaupt zitierter Quellen, in unseren Messungen von vier bis fünfunddreißig reicht und eine Eigenschaft der Frage und des Tages ist statt Ihrer Sichtbarkeit.

Warum bedeutet ein niedrigerer Prozentsatz keine weniger gefestigte Kategorie?

Weil sich der stabile Kern kaum bewegt. Über 120 veröffentlichte Messungen liegt sein Median bei sieben Domains und achtzig Prozent der Lesungen zwischen drei und elf, ob die Antwort nun acht Quellen zitierte oder dreißig. Eine Kategorie mit breiten Antworten erreicht also einen niedrigeren Prozentsatz und hat dabei oft absolut mehr stabile Quellen, was das Gegenteil dessen ist, was die Zahl nahelegt.

Kann ich meinen Stabilitätswert mit dem eines Wettbewerbers vergleichen?

Nur wenn Sie beide auf derselben Frage, im selben Markt, auf derselben Oberfläche, mit derselben Zahl von Durchläufen, am selben Tag gemessen werden. Ändern Sie eines davon, und der Nenner ändert sich unter dem Prozentsatz. Die beiden Listen stabiler Domains zu vergleichen ist sicher, die beiden Prozentsätze zu vergleichen nicht, und deshalb veröffentlichen unsere eigenen Studien die Domains.

Auf wie vielen Durchläufen sollte eine Stabilitätszahl beruhen?

Auf mehr als zwei, und die Zahl muss daneben sichtbar sein. Bei zwei Durchläufen entfernt ein einziges Fehlen eine Quelle vollständig aus dem Zähler, eine kleine Änderung erzeugt also einen großen Ausschlag. Unsere Zeilen mit zwei und mit drei Durchläufen ergeben für gleich breite Antworten verschiedene Mediane, 8 gegen 5 im mittleren Band, allein weil sich die Latte für „stabil“ verschoben hat. Toleranz kauft man mit Durchläufen, nicht mit einer cleveren Statistik.

Ist ein Stabilitätswert von 100 % eine gute Nachricht?

Schauen Sie zuerst auf die Zahl der Durchläufe. Fünf Zeilen dieses Registers erreichen 100 %, und alle fünf sind Lesungen mit einem einzigen Durchlauf, aus drei verschiedenen Studien, in denen jede zitierte Domain stabil ist, weil es nichts gab, wovon sie fehlen könnte. Das ist das Instrument, das sich erwartungsgemäß verhält, kein Ergebnis. Ein echtes 100 % über drei oder mehr Durchläufe ist etwas wert und ist es wert, erneut gemessen zu werden, denn die beste Zahl einer Studie ist die am billigsten zu prüfende und die, die die Schlussfolgerung am stärksten ändert, wenn sie fällt.

Was sollte ich stattdessen verfolgen?

Die Menge der Domains, mit Namen, und ihre Größe. Eine Anzahl stabiler Quellen ist ehrlich, mit sich selbst vergleichbar und sagt Ihnen, wo zu arbeiten ist: das sind die Seiten, aus denen die Antwort Ihrer Kategorie zusammengesetzt wird. Der Prozentsatz ist dieselbe Information, geteilt durch etwas, das Sie nicht kontrollieren und nicht vergleichen können, und wenn Sie eine einzige Zahl wollen, ist die Anzahl diejenige, die jede Prüfung dieses Artikels übersteht.