48 der 76 Seiten, die KI-Training ablehnen, haben diese Ablehnung nicht geschrieben

Ein Content Signal ist die eine maschinenlesbare Zeile, die sagt, was ein KI-System mit Ihrer Seite tun darf, nachdem es sie gelesen hat. Wir haben drei disjunkte Schichten zitierter Domains danach gefragt. 2.002 lieferten eine robots.txt und 129 deklarieren ein Signal, und die interessante Zahl ist keine von beiden: Von den 76, die KI-Training ablehnen, haben 48 diese Ablehnung nicht geschrieben, und von den 81 Deklarationen, die eine Person tatsächlich getippt hat, erlauben 53 das Training.

Jede Zählung von «das Web schaltet KI-Training ab», die im großen Stil aus robots.txt gelesen wird, zählt zum Teil die Produktentscheidung eines Anbieters. Hier ist die Größe dieses Teils auf einer messbaren Population.

Offenlegung: EchoWi verkauft Messung von KI-Sichtbarkeit, also ist eine Studie darüber, wer seine Präferenzen sauber deklariert, eine Studie mit Interesse. Die Methode ist eine GET-Anfrage auf /robots.txt je Domain und eine Prüfung, ob jede Content-Signal:-Zeile in einem # BEGIN Cloudflare Managed content-Block liegt. Das Datum ist der 24. und 25. August 2026, alle drei Populationen und sämtliche Schwellen wurden vor der jeweils ersten Anfrage aufgeschrieben, jede deklarierende Domain wird in unserem Messregister genannt, und jeder kann das in einer Minute gegen uns wiederholen.

Die kurze Fassung

1. 547 Domains gefragt, 511 lieferten eine robots.txt. 26 antworteten mit einer Bot-Prüfung, 5 waren nicht erreichbar, 5 hatten keine Datei. Diese drei werden getrennt gezählt, denn eine Prüfung ist keine fehlende Datei.

2. 31 der 511 deklarieren ein Content Signal. Einer von 16, auf einer Population, die danach ausgewählt ist, in KI-Antworten zitiert worden zu sein.

3. 10 der 31 tragen jede Zeile in einem verwalteten Cloudflare-Block. Auf diesen Seiten hat sie niemand getippt.

4. Alle 10 verwalteten Zeilen sind dieselbe Zeichenkette, Byte für Byte. Eine Vorgabe, nicht zehn Entscheidungen.

5. 16 Domains lehnen KI-Training ab. Bei 10 davon ist die Ablehnung die Vorgabe. Das ist der Befund: Deklarieren ist überwiegend eine menschliche Handlung, Ablehnen überwiegend nicht.

6. Und unter den 21, die tatsächlich etwas getippt haben, gibt es nur 6 verschiedene Formulierungen. Drei davon decken 18 Domains ab. Dieser Teil war im ersten Arm nicht vorhergesagt und wird dort als Beobachtung berichtet.

7. Auf 379 disjunkten Domains wiederholt, hält es. 24 deklarieren, 9 sind die verwaltete Vorgabe, die verwaltete Formulierung bleibt eine einzige Zeichenkette, und die Formulierungszählung, diesmal als Vorhersage eingefroren, kam mit 3 Formulierungen zurück, die 11 von 15 abdecken.

8. An eine zweite Konvention gestellt, tauchen dieselben zwanzig Sites auf. Von den 120 Domains, die einen benannten KI-Crawler verbieten, tun das 20 nur wegen des verwalteten Blocks, und 19 dieser 20 sind dieselben Domains, deren Content Signal der Standard war. Eine einzige Produktfunktion schreibt beides.

9. Der Standard ist kein Schalter, sondern eine Haltung. Er sperrt GPTBot, ClaudeBot und Google-Extended aus und lässt OAI-SearchBot, Claude-User und Googlebot in Ruhe: das Training sperren, die Suche behalten, auf zwanzig Sites, die es nicht geschrieben haben.

10. Und auf einer dritten Schicht von 1.221 einmal zitierten Domains dreht sich der Mechanismus um. Über alle drei zusammengefasst haben 48 der 76 Seiten, die KI-Training ablehnen, diese Ablehnung nicht geschrieben, und von den 81 Deklarationen, die eine Person tatsächlich getippt hat, erlauben 53 das Training. Zwei von drei menschlich getippten Signalen sagen ja; das maschinengeschriebene sagt immer nein.

Warum die Frage die Urheberschaft ist und nicht die Übernahme

Die Konvention ist einfach. Eine Zeile in der robots.txt sagt search=yes, oder ai-train=no, oder ai-input=yes, und eine Maschine, die die Datei liest, erfährt, was der Betreiber erlaubt. Zehn Tage zuvor haben wir den Anbietern von KI-Sichtbarkeit dieselbe Frage gestellt, und dort lautete die Antwort 9 von 80.

Was sich zwischen den beiden Studien geändert hat, ist nicht die Frage. Es ist, dass das Instrument gelernt hat, eine zweite zu stellen.

Cloudflare, das die Konvention vorgeschlagen hat, kann einen verwalteten Block in die robots.txt eines Kunden einfügen. Dieser Block trägt seinen eigenen Kommentarkopf und seine eigene Content-Signal-Zeile. Flach gelesen sieht eine Deklaration darin genau aus wie eine, die ein Betreiber getippt hat. Die Datei sagt in beiden Fällen dasselbe, und die Zählung ist in beiden Fällen dieselbe.

Es sind nicht dieselben Aussagen. «Dieser Betreiber hat entschieden, Training nicht zu erlauben» und «die CDN dieses Betreibers hat eine Vorgabe, und der Betreiber hat sie nicht geändert» beschreiben verschiedene Welten, und nur eine davon ist ein Beleg dafür, was Betreiber wollen. Sie zu trennen kostet nichts, sobald man nach den Blockmarkierungen sucht, und es ändert die Schlagzeile.

Was wir gefragt haben

Die Population sind die registrierbaren Domains, die dieses Register als an drei oder mehr Stellen seiner Messungen zitiert notiert hat, wobei www. und Subdomains auf den registrierbaren Namen zusammengefasst werden. Das sind 547 Domains. Alle wurden gefragt. Keine wurde ausgewählt.

Die drei Eimer nach dem ersten bleiben mit Absicht getrennt. Eine Prüfung ist eine Tatsache über den Rand und nicht über die Datei, und ein Host, der nie antwortet, ist eine Tatsache über unsere Lesung und nicht über die Seite. Einen davon in «deklariert nicht» zu schütten, würde die schweigende Mehrheit mit Seiten aufblähen, die wir schlicht nicht gelesen haben.

31 der 511 deklarieren mindestens eine Content-Signal-Zeile. Einer von sechzehn, und das auf einer Population, die danach ausgewählt ist, in KI-Antworten zitiert worden zu sein, was wenn überhaupt zu Seiten neigt, die auf dieses Thema achten.

Ein Drittel der Deklarationen hat niemand getippt

Die vor der ersten Anfrage eingefrorene Vorhersage lautete, dass 60 Prozent oder mehr der deklarierenden Domains jede Zeile in einem verwalteten Block tragen würden, wobei 30 Prozent oder weniger die Idee ganz zurückgezogen hätten.

Die Antwort ist 10 von 31, also 32 Prozent, was einen Punkt über der Rückzugsschwelle liegt und als das veröffentlicht wird, was es ist: teilweise, und viel kleiner als vorhergesagt. Die Mehrheit der Deklarationen auf dieser Population ist keine CDN-Vorgabe. Etwa ein Drittel ist es.

Das gehört klar gesagt, weil die gegenteilige Schlagzeile verfügbar war und dramatischer gewesen wäre. Sie ist nicht das, was die Daten sagen.

Die zweite Vorhersage traf exakt zu. Alle 10 verwalteten Deklarationen tragen die identische Zeichenkette, search=yes,ai-train=no,use=reference, Leerzeichen eingeschlossen, und in jeder Datei, die wir geöffnet haben, steht sie in derselben Zeile eines strukturell identischen Blocks. Es ist eine Vorgabe, zehnmal ausgerollt, nicht zehn Seiten, die zur selben Formulierung finden.

Die Ablehnungen gehen andersherum

Die dritte Vorhersage ist die Stelle, an der die Studie ihren Titel verdient.

Von den 31 deklarierenden Domains lehnen 16 KI-Training ab: ihre Zeile enthält ai-train=no. Aufgeteilt danach, wer sie geschrieben hat:

Die beiden Statistiken zeigen also auf derselben Population in entgegengesetzte Richtungen. Deklarieren ist überwiegend eine menschliche Handlung, und Ablehnen überwiegend nicht. Zwei Drittel der Ablehnungen dieser Stichprobe wurden von einer Vorgabe gesetzt, die der Seitenbetreiber vielleicht nie gesehen, geschweige denn gewählt hat.

Nichts hiervon sagt, dass diese Betreiber mit der Ablehnung nicht einverstanden sind. Eine Vorgabe kann durchaus ausdrücken, was jemand will. Was sie nicht kann, ist als Beleg dafür dienen, dass jemand etwas entschieden hat, und eine Schlagzeile der Form «N Prozent der Seiten blockieren jetzt KI-Training» ist genau diese Art von Behauptung.

Sechs Formulierungen für einundzwanzig Deklarationen

Dieser Teil war nicht vorhergesagt und wird als Beobachtung und nicht als Ergebnis berichtet, weil die Auswertung nach dem Blick auf die Daten gewählt wurde.

Unter den 21 Domains, die außerhalb eines verwalteten Blocks deklarieren, gibt es 6 verschiedene Formulierungen, und 3 davon erklären 18 Domains. Sieben Unternehmen ohne Bezug veröffentlichen ai-train=yes, search=yes, ai-input=yes. Sechs veröffentlichen dieselben drei Felder in anderer Reihenfolge. Fünf veröffentlichen ai-train=no, search=yes, ai-input=yes. Nur 3 Domains im ganzen Feld tragen eine Formulierung, die einmal vorkommt.

Wir haben geprüft, ob die Zeichenkette der sieben Domains ein einziges Redaktionssystem ist, das eine einzige Datei ausgibt, denn das wäre die billige Erklärung gewesen. Ist es nicht. Ihre robots.txt reichen von 9 bis 130 Zeilen, und die Content-Signal-Zeile fällt von der ersten bis zur 132., in völlig verschiedenen Zusammenhängen.

Dann haben wir die naheliegende Quelle geprüft, was eine Anfrage kostete. contentsignals.org, die Referenzseite der Konvention, veröffentlicht genau diese Zeichenkette mit genau diesem Leerzeichenmuster. Die wahrscheinlichste Lesart ist also, dass sieben Betreiber das Beispiel kopiert haben, was normal und vernünftig ist und ebenfalls nicht dasselbe wie eine Präferenz aufzuschreiben.

Auf einer Stichprobe wiederholt, in der es nicht gefunden wurde

Eine Zahl, die in einer Stichprobe gefunden wurde, ist eine Zahl über diese Stichprobe, bis sie in einer anderen auftaucht. Dieselben Fragen gingen deshalb an eine disjunkte Schicht: die 379 registrierbaren Domains, die dieses Register genau zweimal zitiert gesehen hat und die kein einziges Mitglied mit den 547 oben teilen. Die vier Vorhersagen und ihre Schwellen wurden vor der ersten Anfrage aufgeschrieben.

361 lieferten eine robots.txt, 12 antworteten mit einer Prüfung, 5 waren nicht erreichbar, 1 hatte keine Datei. 24 deklarieren ein Content Signal.

Der verwaltete Anteil repliziert. Die Vorhersage lautete 17 bis 47 Prozent, also weniger als fünfzehn Punkte vom ersten Arm entfernt, und sie kam mit 38 zurück.

Die einzelne Formulierung repliziert. Die 9 verwalteten Deklarationen des zweiten Arms tragen dieselbe Zeichenkette wie die 10 des ersten.

Die Aussage zu den Ablehnungen repliziert in der Richtung und nicht auf dem vorhergesagten Niveau, und das gehört genau so gesagt. Die geschriebene Vorhersage war «die Hälfte oder mehr», und 9 von 19 sind 47 Prozent, sie verfehlt also um eine Domain. Die Rückzugsschwelle war einer von fünf, und davon ist es weit entfernt. Der ehrliche Satz lautet daher, dass die Vorgabe in beiden Armen knapp die Hälfte der Ablehnungen erklärt, nicht die Mehrheit.

Und die Formulierungszählung, gestern noch eine Beobachtung, wurde als Vorhersage eingefroren und hielt. Im zweiten Arm deklarieren 15 Domains außerhalb eines verwalteten Blocks mit 7 Formulierungen, und die 3 häufigsten decken 11 davon ab, also 73 Prozent, gegen eine Schwelle von der Hälfte. Nur diese eine Aussage aggregiert, weil sie die einzige ist, die beide Arme über dasselbe Objekt machen: 36 getippte Deklarationen, 10 verschiedene Formulierungen, von denen 3 allein 28 abdecken.

Die häufigste getippte Formulierung beider Arme ist nicht die erlaubende. Es ist ai-train=no, search=yes, ai-input=yes, auf 11 Domains ohne Bezug, Byte für Byte.

Der Störfaktor, den das Design vorab benannt hat

Eine zweimal zitierte Domain ist eine weniger zitierte Schicht als eine, die drei- oder mehrmals zitiert wurde, und die beiden Arme unterscheiden sich in etwas, das das Design nicht vorhergesagt hat: 19 von 24 Deklarierenden lehnen im zweiten Arm Training ab, gegen 16 von 31 im ersten. Das sind 79 Prozent gegen 52.

Dieses Design kann nicht sagen, ob das die Schicht, die Art der Seite oder Zufall bei kleinen Zahlen ist. Es steht hier, statt erklärt zu werden, weil ein Unterschied dieser Größe benannt gehört, auch wenn die Studie, die ihn fand, ihn nicht auflösen kann.

Was «getippt» heißen kann und was nicht

Das ist die Grenze, auf die es ankommt, und die Formulierungszählung oben ist das, was sie messbar statt rhetorisch macht.

Unser Instrument trennt Zeilen innerhalb eines verwalteten Cloudflare-Blocks von Zeilen außerhalb. Das ist eine echte Unterscheidung und genau das, was die Blockmarkierungen sehen lassen. Sie ist enger als Urheberschaft. Eine von einer Referenzseite eingefügte Zeile, eine von einem Plugin hinzugefügte Zeile, eine aus einer Vorlage geerbte Zeile zählen alle als getippt, weil keine in einem verwalteten Block steht.

21 ist also eine Obergrenze für die Zahl der Deklarationen mit Urheber in dieser Stichprobe, keine Schätzung. Die Untergrenze, wenn man jede wiederholte Formulierung als kopiert behandelt, ist 3. Die Wahrheit liegt dazwischen, und keine Lesung der robots.txt allein kann sie verorten.

Uns ist lieber, diese Spanne zu veröffentlichen als die Obergrenze mit einem beruhigenden Etikett darauf.

Dieselbe Frage an eine zweite Datei, und dieselben zwanzig Sites

Ein Content Signal ist eine Zeile einer jungen Konvention. Der alte Weg, einem KI-Crawler zu sagen, er solle draußen bleiben, ist eine Disallow-Regel mit genanntem Crawler, und es gibt sie seit Jahren. Wenn Urheberschaft eine echte Eigenschaft ist und kein Artefakt einer Konvention, muss sie auch dort auftauchen.

Also wurden dieselben 870 ausgelieferten Dateien erneut gelesen, diesmal auf das Urteil, das vierzehn namentlich genannte KI-Crawler an der Wurzel der Site erhalten, und ein zweites Mal ohne den verwalteten Block, um zu sehen, welche Urteile die eigenen Zeilen der Site erzeugen.

Die vor der Anfrage aufgeschriebene Vorhersage lautete, höchstens einer von fünf Sperrern sei der Standard, mit der Begründung, ein benanntes Disallow sei ein älterer und bewussterer Akt als eine Signalzeile. Sie kam mit 12 Prozent im ersten Arm zurück, bequem innerhalb.

Die Zahl stimmte und die Begründung nicht, was schlimmer ist als danebenzuliegen, weil das niemand nachprüft.

Die zwanzig Domains, deren Crawler-Sperre nur der verwaltete Text ist, sind zu neunzehn dieselben Domains, deren Content Signal nur der verwaltete Text ist. Keine ähnliche Population. Dieselbe Liste. Der Unterschied zwischen 12 Prozent der Sperrer und 32 Prozent der Deklarierenden ist also keine Tatsache darüber, dass Disallow-Regeln bewusster wären als Signalzeilen. Es sind dieselben zwanzig Sites, geteilt durch zwei verschiedene Nenner.

Was der Standard tatsächlich sagt

Hier ist der Block, von einer der zwanzig, ohne Auslassung:

# BEGIN Cloudflare Managed content

User-agent: *
Content-Signal: search=yes,ai-train=no,use=reference
Allow: /

User-agent: Amazonbot
Disallow: /
...
User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

# END Cloudflare Managed Content

Er erlaubt allen alles, nennt dann neun Crawler und sperrt jeden einzeln aus. Liest man die Liste, ist es eine Haltung und kein Schalter: GPTBot draußen und OAI-SearchBot nicht. ClaudeBot draußen und Claude-User nicht. Google-Extended draußen und Googlebot nicht.

Das heißt das Training sperren, die Suche behalten, identisch formuliert auf zwanzig Sites in zwei disjunkten Schichten, und keine der zwanzig hat es geschrieben.

Ob diese Publisher damit einverstanden sind, ist eine andere Frage, die dies nicht beantworten kann, und ein Standard kann den Willen eines Site-Betreibers durchaus treffen. Was unser Instrument sieht, ist, wer die Zeile getippt hat, und mehr werden wir daraus nicht behaupten.

Warum es zählt, dass der Standard eine Meinung hat

Jede Lesart dieser Dateien, die sie als geäußerte Präferenz behandelt, hat jetzt einen Boden darunter. Nicht weil Publisher nachlässig wären, sondern weil die Schicht klein genug ist, dass eine einzige Produktfunktion sie verschiebt.

Es gibt einen Effekt zweiter Ordnung, der benannt gehört, und er zeigt in die Gegenrichtung der üblichen Sorge. Dieses Register misst an derselben Population, dass Trainings-Crawler weit häufiger abgewiesen werden als Such-Crawler. Der verwaltete Standard ist selbst eine Training-sperren-Suche-behalten-Politik, ein Teil dieses Abstands könnte also der Standard sein und nicht das Web. Entfernt man den verwalteten Text und zählt neu, verengt sich der Abstand und hält: GPTBot geht von 3,4-mal OAI-SearchBot auf 2,6, und ClaudeBot von 2,5-mal Claude-User auf 1,9.

Die Richtung gehört dem Web. Ein Teil der Größe gehörte dem Anbieter.

Was das Urteil an der Wurzel kostet, gemessen

Die Grenze unten sagt, ein Crawler-Urteil sei hier das Urteil an der Wurzel der Site, und eine Domain könne einen Crawler ebenso gut auf einem Bereich verbieten. Das verdient eine Zahl statt eines Vorbehalts, und die Zahl kam aus den Dateien, die der Durchlauf ohnehin schon hatte, kostete also keine Anfrage.

Alle 120 Sperrer verwenden ein blankes Disallow: /. Keiner engt die Sperre auf einen Bereich ein. Darin stimmten zwei Routen überein, der Parser und ein von Hand geschriebener Textdurchlauf über die Gruppen, was die Art ist, wie dieses Register eine Aussage prüft, mit der es führen will.

Die andere Hälfte sind die Domains, die an der Wurzel jeden KI-Crawler durchlassen. Es sind 750, und jeder wurden zehn gängige Pfade vorgelegt: Artikel- und Blogbereiche, eine Suchseite, ein API-Präfix und eine hochgeladene Datei.

Diese mittlere Zeile ist der ganze Punkt. Eine Pfadregel, die auch Googlebot stoppt, ist eine gewöhnliche Robots-Regel über einen Bereich und keine KI-Politik, und beide zusammen zu zählen meldet 130 KI-Pfadsperren, wo es 16 gibt. Ein Durchlauf, der nicht fragt, ob die Regel KI-spezifisch ist, überschätzt diese Schicht um das Achtfache.

Die 16 sind /api/, /search und /wp-content/uploads/: Infrastruktur, nicht Redaktion. Das Urteil an der Wurzel ist also die ganze Antwort für jeden Sperrer, und es verfehlt etwa einen von fünfzig des Rests, auf Pfaden, unter denen niemand Artikel veröffentlicht.

Zehn Pfade sind zehn Pfade, also sind 16 ein Boden und keine Zählung.

Eine dritte Schicht, und die Sperrquote fällt mit der Zitationstiefe

Die beiden Arme oben waren 547 und 379 Domains. Am 25. August lasen wir dieselben zwei Dateien für die 1.221 registrierbaren Domains, die unser Register genau einmal zitiert gesehen hat, eine Schicht, die von beiden disjunkt und größer als die beiden zusammen ist. Dieselben vierzehn Agenten, derselbe Detektor für verwaltete Blöcke, derselbe Tag wie ihr llms.txt-Zwilling.

Die Sperrquote fällt monoton damit, wie oft wir eine Domain zitiert gesehen haben, die Nennquote nicht. Drei disjunkte Schichten, ein Instrument, ein Tag. Das ist das Gegenteil dessen, was die Geschichte vorhersagt, Sperren koste Zitationen, und es ist keine Kausalaussage: Die naheliegende Lesart ist, dass die Domains, die wir am häufigsten zitiert sehen, große Publisher sind, und große Publisher sind die mit einer juristischen Position zum KI-Training.

Und der Anteil des Sperrens, den niemand getippt hat, läuft andersherum. Unter den Sites, die sperren, geht der Anteil, dessen Sperre vollständig die verwaltete Voreinstellung ist, auf 12, 26 und 28 %, je weniger zitiert die Schicht ist. Je tiefer man also in den Schwanz schaut, desto mehr ist die Ablehnung des Webs die Produktentscheidung eines CDN und nicht die eines Publishers, was der Befund dieses Artikels ist, gemessen an einer Population, in der er nicht gefunden wurde.

Gegen die Schwellen, die diese Studie vor ihrer ersten Anfrage einfror: Die Quote der zehn veröffentlichten landet bei 9,0 %, unter der Untergrenze von 11,6 des Intervalls um die ursprünglich veröffentlichten 20 %, also beschreibt diese Zahl diese Schicht nicht, und der Artikel sagt das, statt sie wegzumitteln. Die Googlebot-Kontrolle besteht mit 1.130 von 1.132, und der am häufigsten gesperrte Agent ist erneut ein Trainings-Crawler, CCBot mit 80.

Die Schicht des Schwanzes, und zwei von drei getippten Signalen sagen ja

Die veröffentlichte Studie las zwei Schichten. Die dritte wurde vor der ersten Anfrage eingefroren, über die 1.221 registrierbaren Domains, die dieses Register genau einmal zitiert hat, disjunkt von beiden Armen oben, und sie wurde gewählt, weil die Crawler-Hälfte derselben Arbeit gerade einen Gradienten gemessen hatte: Der verwaltete Anteil der Blockierer steigt, wenn die Zitation sinkt. Wenn diese Form dem Web gehört und nicht einer Konvention, musste sie auch hier auftauchen.

Die Übernahme repliziert dreimal und fast auf die Nachkommastelle. 6,1 Prozent, 6,6 und 6,5, über drei disjunkte Schichten von einer Zitation bis zu mehr als drei. Ein Content Signal zu schreiben ist keine Eigenschaft davon, wie oft man zitiert wird.

Die zweite Vorhersage blieb ein Zehntelpunkt unter ihrer Schwelle und wird als teilweise veröffentlicht. Die Latte lag bei 40 und die Zahl ist 39,2. Die Richtung ist monoton, 32, 38 und 39, und die Stärke kommt nicht an, also lässt sich der Gradient nicht als konventionsübergreifend bezeichnen. 39,2 auf «praktisch 40, bestätigt» zu runden hieße, die Lesart nach dem Blick auf die Daten zu wählen.

Die vierte hielt bei exakt den 73 Prozent des zweiten Arms, und das ist das zweite Mal, dass eine aus einer nachträglichen Beobachtung beförderte Vorhersage auf einer Stichprobe zurückkommt, in der sie nicht gefunden wurde.

Der Befund, den das Design nicht vorhergesagt hat

Fasst man die drei disjunkten Schichten zusammen, sagt die Studie etwas, das sie mit einer allein nicht sagen konnte: Von 2.002 Domains, die eine robots.txt ausliefern, deklarieren 129 ein Content Signal, 76 davon lehnen KI-Training ab, und 48 dieser 76 haben diese Ablehnung nicht geschrieben.

Jetzt drehen Sie es um. 81 der Deklarationen hat ein Mensch getippt, und 53 dieser 81 erlauben KI-Training.

Zwei von drei Signalen, die ein Mensch tippt, sagen ja. Das von einer Maschine geschriebene sagt immer nein. Die Voreinstellung gibt eine einzige Zeichenkette aus, und diese Zeichenkette ist eine Ablehnung, also lehnt jede verwaltete Deklaration ab: Sie sättigt die Ablehnenden und verdünnt sich unter den Deklarierenden. Genau deshalb kam die zweite Vorhersage teilweise heraus und die dritte hoch, und das eingefrorene Design sagte im Voraus, dass eine solche Aufteilung bedeuten würde, dass der Unterschied darin liegt, was deklariert wird, und nicht darin, wer es deklariert.

Eine Zählung von «das Web schaltet KI-Training ab», in diesem Maßstab aus robots.txt gelesen, misst also eher die Produktentscheidung eines Anbieters als eine Meinung. Die Leute, die sich die Mühe machen, eine Präferenz zu tippen, sagen mehrheitlich: kommt herein.

Was das Instrument getan hat, laut ausgesprochen

Der Durchlauf wurde am selben Tag dreimal gefahren, weil die Wiederholung nichts kostet. Deklarierende 74, verwaltet 29, getippt 45, Ablehnungen 41 und verwaltete Formulierungen 1, alle drei Male. Das Einzige, was sich bewegt hat, ist der Nenner, 1.131, 1.132 und 1.130, weil ein oder zwei Hosts zwischen Antworten und Nichtantworten flackerten. Eine Statistik, deren Zähler sich dreimal wiederholt und deren Nenner um zwei schwankt, ist weit mehr wert als eine einzelne Lesung.

Die Ablehnungszahl ist um genau eins eine Untergrenze, und der Detektor wurde absichtlich in Ruhe gelassen. Eine Seite schreibt indexed-content=allow, ai-training=disallow, ai-search=allow, und das sind nicht die Schlüssel, die Content Signals definiert: Die Spezifikation kennt search, ai-input und ai-train. Unser Detektor sucht nach ai-train=no, also zählt diese Zeile nicht als Ablehnung, obwohl die Absicht klar ist. Den Detektor zu erweitern würde die beiden veröffentlichten Arme verschieben, ohne dass jemand wüsste, wie viele ihrer Zeilen ein anderes Vokabular verwenden, also wird stattdessen die Ausnahme deklariert.

Und noch etwas, das nur ein Mensch schreibt: Eine Seite veröffentlicht ai-train=si, den Wert auf Spanisch, in einer Spezifikation, die nur yes und no kennt. Eine Maschine macht diesen Tippfehler nicht. Es ist der billigste Beleg dafür, dass die 45 getippten Deklarationen jemand getippt hat.

Was das nicht zeigt

Zwei Konventionen, zwei Tage, drei Populationen. 547 Domains, die drei- oder mehrmals zitiert wurden, 379, die genau zweimal zitiert wurden, und 1.221, die genau einmal zitiert wurden, gelesen am 24. und 25. August 2026 und alle drei durch Zitation ausgewählt, also ist keine eine Stichprobe des Webs und kein Anteil von hier überträgt sich auf eine.

Deklarieren ist nicht Befolgen, und nicht zu deklarieren ist nicht Blockieren. Ein Content Signal drückt eine Präferenz aus. Es erzwingt nichts, ein Crawler darf es ignorieren, und die 1.873 Domains, die nichts deklarieren, haben damit nichts verweigert. Schweigen ist Schweigen.

Eine verwaltete Vorgabe ist kein Widerspruch. Wir können sehen, wer die Zeile getippt hat. Wir können nicht sehen, ob der Betreiber ihr zustimmt, ob er die Funktion absichtlich aktiviert hat oder ob er seine eigene robots.txt je gelesen hat.

Eine robots.txt ist das, was der Rand ausliefert, nicht das, was das Repository enthält. Das wissen wir aus Erfahrung: eine unserer Deklarationen war für einen Durchlauf unsichtbar, weil eine CDN noch eine mit einem Jahr TTL zwischengespeicherte Fassung auslieferte.

Die beiden Arme unterscheiden sich in etwas, das keiner vorhergesagt hat. Die weniger zitierte Schicht lehnt Training weit häufiger ab, 19 von 24 Deklarierenden gegen 16 von 31, und dieses Design kann nicht sagen, ob das die Schicht, die Art der Seite oder Zufall bei kleinen Zahlen ist.

Ein Crawler-Urteil ist hier das Urteil an der Wurzel der Site. Eine Domain, die GPTBot auf / erlaubt, kann ihn in einem Bereich verbieten, und eine als sperrend gezählte Domain kann einen Pfad erlauben, nach dem wir nicht gefragt haben. Die Wurzel ist die vergleichbare Frage über 870 Dateien hinweg; sie ist nicht die ganze Datei. Was das kostet, ist oben gemessen und nicht als Vorbehalt stehen gelassen.

Und wir haben nicht gemessen, ob irgendetwas davon die Zitation verändert. Nichts hier verbindet eine Deklaration damit, häufiger oder seltener zitiert zu werden. Das braucht ein anderes Design, und das zu sagen ist billiger, als die Verbindung anzudeuten.

Was ein Betreiber daraus mitnehmen sollte

Wenn Sie ein Content Signal haben, das Sie nicht geschrieben haben, haben Sie eine erklärte Haltung zu KI-Training, die Sie nicht gewählt haben. Das ist dreißig Sekunden wert: öffnen Sie Ihre eigene /robots.txt, suchen Sie nach Content-Signal, und schauen Sie, ob die Zeile in einem Block steht, dessen Kommentar Ihre CDN nennt.

Wenn ja, steht die Entscheidung weiterhin offen. Machen Sie sie zu Ihrer eigenen Zeile, oder lassen Sie die Vorgabe bewusst stehen. Beides ist in Ordnung. Nicht in Ordnung ist, es aus der Studie eines anderen zu erfahren.

Und wenn Sie eine Schlagzeile darüber lesen, wie viel des Webs KI-Training abgeschaltet hat, ist die zu stellende Frage genau die, für die es diese Studie gibt: wie viele haben es getippt?

Dieselbe Disziplin trennt eine verwertbare Sichtbarkeitszahl von einer, die es nicht ist. Zu wissen, dass ein Assistent Sie genannt hat, heißt nicht zu wissen, dass er Ihre Seite zitiert hat, und zu wissen, dass eine Präferenz erklärt ist, heißt nicht zu wissen, dass ein Mensch sie erklärt hat. Diese Unterscheidung ist das, was unsere Plattform misst, eine Oberfläche und einen Markt nach dem anderen, und sie ist der Grund, warum diese Studie überhaupt möglich war.

Jede Zahl hier steht neben allen anderen Messungen, die wir veröffentlichen, jede mit ihrem Datum, ihrer Population und ihrer Methode, in unserem Messregister.

Häufige Fragen dazu, wer KI-Präferenzen deklariert

Was ist ein Content Signal?

Eine Zeile in der robots.txt, die angibt, was automatische Systeme mit einer Seite tun dürfen, nachdem sie sie abgerufen haben. Das Vokabular stammt aus einem bei der IETF vorgeschlagenen Standard der Arbeitsgruppe AI Preferences, und die gebräuchlichen Felder sind search, ai-input und ai-train, jeweils auf ja oder nein. Es drückt eine Präferenz aus und erzwingt nichts.

Wie viele Websites deklarieren eines?

31 der 511 Domains, die wir lesen konnten, am 24. August 2026. Das ist etwa 1 von 16, auf einer Population von 547 registrierbaren Domains, die danach ausgewählt wurden, in KI-Antworten zitiert worden zu sein. Es ist keine Stichprobe des Webs, und ein auf einer anderen Population gemessener Anteil wäre eine andere Zahl.

Kann eine CDN ein Content Signal in meine robots.txt schreiben?

Ja, und 10 der 31 Deklarationen, die wir gefunden haben, sind genau das. Cloudflare kann einen verwalteten Block in die ausgelieferte Datei einfügen, markiert mit einem # BEGIN Cloudflare Managed content-Kommentar, und die Content-Signal-Zeile darin ist eine Plattformvorgabe und nichts, was der Seitenbetreiber geschrieben hat. Alle 10 in dieser Stichprobe tragen die identische Zeichenkette.

Woran erkenne ich, ob ich mein Content Signal selbst geschrieben habe?

Öffnen Sie Ihre eigene /robots.txt und schauen Sie, was die Zeile umgibt. Steht sie zwischen Kommentaren, die einen verwalteten Block nennen, hat Ihre CDN sie gesetzt. Steht sie zwischen Ihren eigenen Regeln, hat jemand von Ihrer Seite sie dorthin gesetzt, auch wenn das immer noch nicht sagt, ob er sie geschrieben oder von einer Referenzseite kopiert hat.

Verhindert eine Ablehnung von KI-Training in der robots.txt das Training wirklich?

Nein, und nichts in dieser Studie misst Befolgung. Ein Content Signal ist eine erklärte Präferenz in einer Datei, die Crawler lesen dürfen und ignorieren dürfen. Was es Ihnen gibt, ist ein öffentlicher, datierter, maschinenlesbarer Nachweis dessen, worum Sie gebeten haben, und das ist etwas anderes und Bescheideneres als Durchsetzung.

Warum ist wichtig, wer die Zeile getippt hat?

Weil eine Zählung erklärter Präferenzen als Beleg für die Absicht von Betreibern gelesen wird. Auf dieser Population ist Deklarieren überwiegend eine menschliche Handlung und Ablehnen überwiegend nicht: 10 der 16 Ablehnungen sind dieselbe Vorgabe-Zeichenkette. Jede Schlussfolgerung der Form «Betreiber wenden sich gegen KI-Training» muss die abziehen, die niemand gewählt hat.