Wir haben fünfzehn eingefrorene Fragen zwei Tage später erneut gestellt: Der beste Wert im Satz hat seine eigene Kontrolle nicht überstanden

Jedes Sichtbarkeitswerkzeug verkauft eine Linie im Diagramm, und eine Linie braucht dieselbe Frage an zwei verschiedenen Tagen. Wir hatten das nie gemacht. Am 10. August haben wir fünfzehn Kauffragen eingefroren und jede Domain, die in allen drei Durchläufen zurückkam, namentlich notiert. Am 12. August haben wir dieselben fünfzehn auf derselben Oberfläche, in denselben Märkten und mit denselben drei Durchläufen erneut gestellt. Dreizehn Zeilen sind vergleichbar, und ihre Median-Überschneidung mit dem früheren Satz beträgt 0,63.

Diese Zahl entspricht fast genau dem, was uns zwei Sitzungen am selben Nachmittag ohnehin kosten. Interessant ist nicht der Median. Interessant ist, dass sich die höchste und die niedrigste Zeile des Satzes beide bewegten, als wir sie einfach noch einmal lasen.

Offenlegung: EchoWi verkauft KI-Sichtbarkeitsmessung, eine Studie also, die argumentiert, dass Bewegung von Tag zu Tag vor allem Rauschen ist, ist eine interessierte Studie, und sie greift ein Diagramm an, das wir ebenfalls verkaufen könnten. Die fünfzehn Fragen, die Oberfläche, die beiden Märkte, die Zahl der Durchläufe und beide Daten stehen unten, und jede Zeile einschließlich der zwei Kontrollen liegt in unserem Messregister, sodass jeder es gegen uns wiederholen kann.

Die kurze Fassung

1. Dreizehn der fünfzehn Zeilen sind vergleichbar, also drei beantwortete Durchläufe an beiden Tagen. Die Median-Überschneidung der stabilen Mengen liegt bei 0,63, die Spanne bei 0,00 bis 1,00.
2. Dieser Median ist nicht davon zu unterscheiden, zweimal am selben Tag zu fragen. Zwei Sitzungen am selben Tag ergaben in früheren Arbeiten 0,67 bis 0,70, Wiederholungen innerhalb einer Sitzung 0,63. Zwei Tage landen auf demselben Boden.
3. Beide Kontrollen bewegten sich, und das ist der Befund. Die einzige Zeile, die nach zwei Tagen eine identische Menge zurückgab, fällt auf 0,67, wenn man sie am selben Nachmittag erneut liest. Die einzige, die nichts Stabiles zurückgab, steigt auf 0,25.
4. Ein makelloser Tageswert sagt nichts über zwei Tage später. Vier Kategorien erreichten an beiden Lesungen 100 %. Ihre Überschneidung über die zwei Tage lief von 0,25 bis 0,75.
5. Was bleibt, ist eine Publisher-Schicht, nicht die eigenen Quellen einer Kategorie. YouTube hielt in zehn der dreizehn Kategorien, Reddit in vier. Über die neun US-Zeilen überlebten 3 von 19 Anbieter-Domains die zwei Tage, gegenüber 32 von 59 bei allem anderen.

Was eingefroren wurde, und warum darin der ganze Trick liegt

Eine Stabilitätszeile hält üblicherweise eine Zahl fest: Diese Frage zitierte zweiundzwanzig Domains, und sieben kamen in jedem Durchlauf zurück. Das reicht, um einen Prozentwert zu veröffentlichen, und es reicht nicht für diese Frage. Zwei Tage später sehen Sie, ob die Zahl sich bewegt hat. Sie sehen nicht, ob die Quellen sich bewegt haben, und das sind zwei verschiedene Aussagen, die eine Zahl nicht trennt.

Die Zeilen vom 10. August hielten die stabilen Domains namentlich fest. Das ist der einzige Grund, warum diese Studie existiert. Unsere eigenen Reisebuchungszeilen aus derselben Woche hielten nur Zahlen fest, können die Frage also nie beantworten, und das ist ein Konstruktionsfehler unseres Registers und keine Grenze der Oberfläche.

Der eingefrorene Satz besteht aus fünfzehn Kauffragen mit hoher Absicht, neun in den Vereinigten Staaten auf Englisch und sechs in Spanien auf Spanisch, jede auf einer Oberfläche mit drei Durchläufen. Am 12. August gingen die identischen Zeichenketten mit identischen Einstellungen erneut hinaus. Zwei Zeilen fallen aus dem Vergleich und werden benannt statt stillschweigend verworfen: Die US-Frage zur Helpdesk-Software gab am zweiten Datum überhaupt keine Zusammenfassung zurück, was ein anderes Ereignis ist als nichts zu zitieren, und die spanische Frage zu Passwortmanagern antwortete einmal von drei, ihre stabile Menge stammt also aus einem einzigen Durchlauf und ist mit einer aus drei nicht vergleichbar.

Die dreizehn Zeilen

Überschneidung sind die geteilten Domains geteilt durch die Vereinigung beider Mengen. Behalten zählt die Domains, die an beiden Daten in allen drei Durchläufen vorkamen.

Die mittlere Zeile ist Passwortmanager in den Vereinigten Staaten, die fünf Domains aus einer Vereinigung von acht teilte. Diese Division kann jeder nachrechnen.

Die zwei Kontrollen, und sie sind der Befund und keine Fußnote

Eine Tabelle wie die obige lädt dazu ein, die erste Zeile als stabile Kategorie und die letzte als volatile zu lesen. Beide Lesarten sind falsch, und der billigste Weg, das herauszufinden, ist, dieselben zwei Fragen am selben Nachmittag noch einmal zu stellen.

Die beste Zeile. Webhosting in den Vereinigten Staaten gab im Abstand von zwei Tagen dieselben fünf Domains zurück: Reddit, CNET, YouTube, Forbes und TechnologyAdvice. Eine perfekte 1,00, die einzige im Satz. Wenige Minuten später mit denselben drei Durchläufen erneut gelesen, geht CNET und kommt ZDNet. Vier geteilte aus einer Vereinigung von sechs ergeben 0,67, dieselbe Zeile zweimal am selben Tag gemessen liefert also zwei verschiedene Antworten darauf, was zwei Tage bewirkt haben.

Die schlechteste Zeile. E-Mail-Marketing in den Vereinigten Staaten gab überhaupt nichts zurück, das alle drei Durchläufe überstand, was gegen eine Basis von dreiundzwanzig stabilen Domains 0,00 ergibt. Am selben Nachmittag erneut gelesen gibt sie sieben zurück, und diese sieben sind genau die sieben, die eine Stunde zuvor zwei von drei Durchläufen erreicht hatten. Gegen dieselbe Basis neu gerechnet beträgt die Überschneidung 0,25.

Die zweite Kontrolle zeigt die Mechanik. Die Quellen waren bei beiden Lesungen da. Was sich änderte, war, ob jeder Durchlauf sie erwischte, und eine stabile Menge hat bei drei Durchläufen keine Toleranz: Ein unaufmerksamer Durchlauf wirft eine ganze Domain aus dem Zähler. Eine 0,00 dort bedeutete nicht, dass die Kategorie sich geleert hatte. Sie bedeutete, dass die Latte alles oder nichts ist und die Münze schlecht fiel.

Die ehrliche Lesart der Tabelle ist also, dass keine einzelne Zeile ein Befund ist, in keine der beiden Richtungen. Der Median über dreizehn Zeilen ist die zitierbare Zahl, mit beiden Kontrollen daneben gedruckt, und selbst der ist ein einziger Wurf.

Ein perfekter Tageswert sagt nichts über die Woche

Vier Kategorien lieferten an beiden Daten einen stabilen Anteil von 100 %, das heißt, jede von der Antwort zitierte Domain kam in allen Durchläufen zurück, zweimal, im Abstand von zwei Tagen. Auf jedem Dashboard ist das eine Kategorie mit maximal stabilen Zitaten.

Die Buchhaltung erreichte an beiden Lesungen einen makellosen Wert und tauschte dazwischen neun ihrer dreizehn Quellen aus. QuickBooks, Xero, Wave, FreshBooks, Invoicefly und Lettuce waren am 10. August stabil, und am 12. war es keine davon. Die Tageszahl hat es nie bemerkt, weil sie nur innerhalb einer Lesung sehen kann.

Über die dreizehn Zeilen beträgt die Korrelation zwischen dem Tagesanteil am ersten Datum und der Überschneidung über zwei Tage −0,30. Das ist in keine Richtung ein starker Zusammenhang, und genau darum geht es: Die Zahl, die Ihr Dashboard heute zeigt, trägt praktisch keine Information darüber, ob dieselben Quellen am Donnerstag da sind.

Was bleibt, ist eine Publisher-Schicht, nicht die Plätze, die ein Anbieter gewinnen kann

Die stabilen Domains danach aufzuteilen, was sie verkaufen, verändert das Bild, und das ist der Teil mit kommerzieller Schärfe.

In den US-Zeilen sind die Quellen, die das gefragte Produkt verkaufen, diejenigen, die wechseln, während Publisher, Foren und Video halten. In den spanischen Zeilen gibt es überhaupt keinen Unterschied. Das ist eine echte Trennung, und sie beruht auf kleinen Zahlen, neun Anbieter-Beobachtungen in Spanien gegenüber neunzehn in den Vereinigten Staaten, sie steht hier also als Auszählung und nicht als Rate, und sie braucht ihre eigene Studie, bevor jemand sie einen Marktunterschied nennt. Diese Studie gibt es jetzt: dieselben drei Kategorien in allen vier Märkten zu stellen zeigt, dass der größte Teil dieses Abstands Kategorienmischung war, denn die Buchhaltung ist die einzige Kategorie, die Anbietern überhaupt irgendwo Plätze gibt.

Was Kategorien überquert, ist eine kurze Liste. Gezählt, in wie vielen der dreizehn Kategorien jede Domain an beiden Daten hielt: YouTube in zehn, Reddit in vier, Forbes in drei, Zapier in drei, PCMag in zwei und CNBC in zwei. Diese sechs sind die einzigen Domains, die in mehr als einer Kategorie hielten, und keine davon verkauft CRM, Lohnabrechnung oder Hosting.

Das ist die dauerhafte Struktur, nach der hier eigentlich gefragt wird. Die eigene Anbieterliste einer Kategorie dreht sich. Die allgemeine Schicht darüber nicht.

Was damit anzufangen ist, wenn Sie ein Tracking kaufen

Drei Fragen, in der Reihenfolge, in der sie verändern, wofür Sie zahlen.

Kommt eine Bewegung in Ihrem Diagramm zusammen mit den Domains? Ein Prozentwert, der von 62 auf 41 fällt, kann bedeuten, dass sich die Quellen geändert haben, oder dass ein Durchlauf von dreien zwei davon verpasst hat. Das sind gegensätzliche Lagen, und nur die Liste der Namen unterscheidet sie. Wenn das Produkt Ihnen nicht zeigen kann, welche Domains hinzukamen und wegfielen, ist die Linie nicht berichtsfähig.

Wie vielen Formulierungen folgt es je Absicht? Unsere früheren Arbeiten fanden vier Formulierungen derselben spanischen Hotelfrage, die keine einzige über alle vier haltende Domain teilten. Ein Tracking, das einer Zeichenkette folgt, folgt der Stabilität eines Satzes.

Wie viele Durchläufe stecken hinter einem einzelnen Punkt? Bei drei Durchläufen ist eine stabile Menge alles oder nichts, und die E-Mail-Marketing-Kontrolle zeigt, was das kostet. Toleranz kauft man mit Durchläufen, nicht mit einer klügeren Kennzahl.

Vier Punkte auf der Achse, und die Drift erreicht ihre eigene Schwelle nicht

Dieses Stück maß zwei Tage. Dieselben fünf US-Zellen sind seither nach vier und nach sechs Tagen erneut gelesen worden, immer gegen dieselbe Basislinie vom 10. August, die Achse hat also inzwischen vier Punkte statt eines Vorher und eines Nachher.

Die Zwei-Tage-Zahl ist hier 0,60 und die Schlagzeile dieses Artikels sagt 0,63, weil es verschiedene Mengen sind: 0,63 sind alle vergleichbaren Zeilen aller Märkte und 0,60 sind allein die Vereinigten Staaten, der einzige Markt, den die späteren erneuten Lesungen abdecken. Eine Zwei-Markt-Zahl mit einer Ein-Markt-Zahl zu vergleichen ließe die erste Stufe der Achse steiler aussehen, als sie ist.

Sechs Tage liegt unter jedem früheren Punkt und erreicht die Latte nicht, die wir vor dem Messen gelegt haben. Die zuerst aufgeschriebene Schwelle sagte, eine Driftaussage brauche einen fallenden Median und vier oder fünf der fünf Zellen, die gegen ihre eigene Vier-Tage-Lesung fallen. Der Median fiel, von 0,50 auf 0,32 mit einer Spanne von 0,24 bis 0,42. Die Zellen ergaben 3 abwärts und 1 aufwärts von 4, mit 1 ausgeschlossen, weil das Webhosting bei zwei Durchläufen und dann bei einem abbrach, und eine dauerhafte Menge über zwei Durchläufe ist eine andere Latte.

Das wird deshalb als das veröffentlicht, was es ist: ein vierter Punkt, der einen Rückgang fortsetzt, auf fünf vergleichbaren Zellen weniger als der Zwei-Tage-Arm, mit einer Richtung je Zelle, die hinter dem zurückbleibt, was uns nach eigener Aussage überzeugt hätte. Wer 0,32 als Sechs-Tage-Driftrate zitiert, zitiert einen Median aus vier Zahlen.

Was nicht passiert, ist ein Schrumpfen der Antworten. Die Buchhaltung ging von 13 dauerhaften Domains auf 11, die Lohnabrechnung von 11 auf 15, die Passwortmanager von 7 auf 10. Die Überschneidung fällt, während die Mengen ihre Größe halten oder wachsen: das ist Substitution und kein Schrumpfen, andere Quellen und nicht weniger.

Was das nicht zeigt

Eine Oberfläche und zwei Märkte. Alles hier ist eine einzige Antwortoberfläche, in den Vereinigten Staaten auf Englisch und in Spanien auf Spanisch. Nichts davon überträgt sich ohne dortige Messung auf eine andere Oberfläche oder ein anderes Land.

Fünfzehn Fragen, eine Basislesung, eine Wiederholung. Die Zahlen vom 10. August sind eine einzelne Lesung, und jede Zahl vom 12. ebenso. Die beiden Kontrollen existieren genau deshalb, weil wir bei dieser Stichprobengröße einen Tageseffekt nicht von gewöhnlicher Bewegung zwischen Lesungen trennen können, und sie legen nahe, dass beide gleich groß sind.

Zwei Tage sind keine Woche und kein Quartal. Ein so kurzer Abstand ist die billigstmögliche Fassung dieser Studie. Sie sagt, dass zwei Tage nicht von einem Nachmittag zu unterscheiden sind. Sie sagt nichts darüber, ob eine echte saisonale Verschiebung sichtbar würde, und wir würden erwarten, dass sie es tut.

Die Alles-oder-nichts-Latte arbeitet mit. Eine Domain in zwei von drei Durchläufen ist für eine stabile Menge unsichtbar. Diese Wahl ist vertretbar und sie ist eine Wahl, und die E-Mail-Marketing-Zeile zeigt, was sie kostet, wenn sie schlecht fällt.

Zwei der fünfzehn Zeilen sind nicht vergleichbar, und beide sind oben benannt statt in den Nenner eingeschmolzen.

Nichts davon ist kausal. Das sind Beobachtungen einer Oberfläche, die ihre Recherche pro Anfrage neu plant. Es wurde nicht eingegriffen, und keine dieser Bewegungen hat eine belegte Ursache.

Wie sich der Prozentwert eines einzelnen Tages verhält und warum die Breite ihn bestimmt, steht im Schwesterstück über was ein Stabilitätswert misst, das einundneunzig unserer veröffentlichten Zeilen zusammenfasst.

Häufige Fragen zum Verfolgen von Zitaten über die Zeit

Wie stark ändern sich KI-Zitate von einem Tag auf den anderen?

Über dreizehn Kauffragen, auf einer Antwortoberfläche im Abstand von zwei Tagen gestellt, betrug die Median-Überschneidung zwischen den Mengen der in jedem Durchlauf haltenden Domains 0,63, auf einer Skala, auf der 1,00 eine identische Menge bedeutet. Die Spanne über die Kategorien lief von 0,00 bis 1,00. Dieser Median liegt auf der Höhe dessen, was wir zwischen zwei Lesungen am selben Nachmittag messen, bei dieser Stichprobe kostet ein Abstand von zwei Tagen also nicht messbar mehr als nach dem Mittagessen erneut zu fragen.

Bedeutet ein hoher Stabilitätswert, dass meine Quellen sich nicht ändern?

Nein, und das ist die teuerste verfügbare Fehllesart. Vier Kategorien erreichten an beiden Messdaten einen perfekten Tagesstabilitätswert, das heißt, jede zitierte Domain kam in jedem Durchlauf zurück, zweimal. Ihre Quellenüberschneidung über zwei Tage lief trotzdem von 0,25 bis 0,75. Eine Kategorie behielt vier ihrer dreizehn Quellen, während sie an beiden Tagen makellos abschnitt. Ein Tageswert kann nur innerhalb einer Lesung sehen.

Warum gab eine Frage überhaupt keine stabilen Quellen zurück?

Weil eine über drei Durchläufe gezählte stabile Menge alles oder nichts ist: Eine in einem Durchlauf fehlende Domain fällt vollständig heraus. Die E-Mail-Marketing-Frage gab in einer Lesung nichts Stabiles zurück und eine Stunde später sieben, und diese sieben waren genau die Domains, die in der ersten Lesung zwei von drei Durchläufen erreicht hatten. Die Quellen waren beide Male da. Geändert hat sich nur, ob jeder Durchlauf sie erwischte.

Was sollte ich statt eines Stabilitätsprozentwerts verfolgen?

Die Menge der Domains, und sie über mehrere Kategorien hinweg statt über eine. In dieser Studie hielten nur allgemeine Quellen in mehr als einer Kategorie: YouTube in zehn von dreizehn Kategorien, Reddit in vier, Forbes und Zapier in je drei. Die Präsenz eines Anbieters in seiner eigenen Kategorie ist der volatile Teil, was unbequem ist, weil es zugleich der Teil ist, für dessen Bewegung Sie zahlen.

Wie viele Durchläufe braucht eine Zitatzahl?

Mehr als drei, wenn Sie eine stabile Menge mit irgendeiner Toleranz wollen, denn bei drei hat die Latte keine. Die Alternative, auf eine durchschnittliche Zitatrate umzusteigen, behebt das nicht: Bei zwei Durchläufen ist dieser Durchschnitt eine lineare Umskalierung desselben Anteils und fügt keine Information hinzu. Toleranz kauft man mit Durchläufen, nicht mit einer anderen Formel.

Kann ich diese Messung selbst wiederholen?

Ja, und dafür werden die Fragen veröffentlicht. Frieren Sie einen Satz Kauffragen Ihrer Kategorie ein, notieren Sie für jede die Domains, die in jedem Durchlauf erscheinen, statt nur deren Anzahl, und stellen Sie dieselben Zeichenketten nach einem Abstand auf derselben Oberfläche erneut. Die Namen statt der Anzahl zu notieren ist der Schritt, der den Vergleich überhaupt möglich macht.