Die New York Times und CNBC blockieren jeden KI-Crawler, den wir geprüft haben. Googles AI Overview zitiert beide trotzdem.

Jede Studie zu KI-Zitationen, unsere eingeschlossen, erfasst, welche Domains eine Maschine zitiert, und hört dort auf. Niemand prüft, ob die Zitation auflöst, was eine HTTP-Anfrage kostet. Wir haben jede URL genommen, die neun AI-Overview-Antworten in vier Sprachen gedruckt haben, 79 Zitationen über 58 Hosts, und alle abgerufen. Keine war tot. Dann haben wir die robots.txt jedes zitierten Hosts gelesen, und 11 von ihnen verbieten KI-Crawler, während sie in der Antwort zitiert werden. Zwei davon, die New York Times und CNBC, verbieten alle zehn geprüften Crawler, Google-Extended eingeschlossen, und jede ist die zweite Quelle ihrer Antwort.

Das Nützliche ist nicht der Widerspruch. Es ist, dass das, was man Leuten über KI-Crawling rät, und das, was entscheidet, ob Sie in einer KI-Antwort auftauchen, zwei verschiedene Systeme sind, die nicht miteinander reden.

Offenlegung: EchoWi verkauft Messung von KI-Sichtbarkeit, ein Befund also, dass robots.txt die Präsenz in AI Overview nicht steuert, kommt uns gelegen. Die neun Fragen, Markt und Sprache jeder einzelnen, jede URL mit ihrem HTTP-Status und jede unten zitierte robots.txt-Zeile stehen in unserem Messregister, und die robots.txt-Dateien sind öffentlich, das lässt sich also an einem Nachmittag gegen uns wiederholen.

Die Kurzfassung

1. 79 Zitationen, 58 Hosts, 9 Fragen, 4 Sprachen, je eine AI-Overview-Lesung. Vier in den Vereinigten Staaten auf Englisch, zwei in Spanien, zwei in Deutschland und eine in Frankreich, jede in ihrer Sprache.
2. Nichts war tot. 71 URLs antworteten, 8 wiesen einen gewöhnlichen HTTP-Client mit 403 ab, und keine lieferte 404.
3. Bewegt hatte sich auch nichts. Null der 79 leiteten irgendwohin anders als auf sich selbst weiter, die URL, die eine Antwort druckt, ist also die URL, die die Seite ausliefert.
4. Von den 55 Hosts, die uns ihre robots.txt lesen ließen, nennen 17 überhaupt einen KI-Crawler. Die anderen 38 haben schlicht nie eine Regel dazu geschrieben.
5. 11 dieser 17 verbieten mindestens einen Crawler, und alle 11 werden trotzdem zitiert.
6. Die New York Times und CNBC verbieten je alle zehn geprüften, Google-Extended eingeschlossen. Wirecutter ist die zweite Zitation der Kopfhörerfrage und CNBC die zweite der Lohnabrechnungsfrage.
7. Forbes verbietet sechs und erlaubt ausdrücklich OAI-SearchBot, und ist die erste Zitation derselben Frage. Das ist kein Versehen, sondern eine Politik: draußen der Crawler, der trainiert, drinnen der, der eine Suche beantwortet. Und diese Politik ist nicht Forbes vorbehalten: liest man dieselben Dateien bei den Hosts, auf denen zu veröffentlichen empfohlen wird, wird der Crawler, der trainiert, weit häufiger abgewiesen als der, der sucht, und elf dieser Hosts lassen Googlebot herein, während sie mindestens einen KI-Crawler aussperren.
8. Eine robots.txt sagt also nichts darüber, ob eine Seite in AI Overview erscheint, in keine der beiden Richtungen, was auch heißt, dass die robots.txt eines Wettbewerbers Ihnen nichts über dessen Präsenz sagt.

Was wir gemacht haben

Neun Kauffragen, jede einmal an Googles AI Overview gestellt, im Markt und in der Sprache, in der ein Käufer sie stellen würde. Vier sind Unternehmenssoftware, wo unser Register bereits Vergleichszeilen hat. Der Rest sind Konsumkategorien, Reisekreditkarten und Kopfhörer, in zwei späteren Durchgängen ergänzt: zuerst, weil die Publisher, die KI-Crawler-Regeln schreiben, Medienhäuser sind und Fragen zu Unternehmenssoftware kaum eines zitieren, und dann in Spanien, Frankreich und Deutschland, weil alle Blockierer der ersten beiden Durchgänge Amerikaner waren.

Für jede Zitation haben wir eine GET-Anfrage gestellt, Weiterleitungen verfolgt und Endstatus und End-URL festgehalten.

GET und nicht HEAD, und diese Wahl hat eine Narbe. Unser eigener Linkprüfer nutzte anfangs HEAD und meldete fünf tote Quellen; zwei der fünf antworten einem GET mit 200. Eine Methode, die ein Server nicht unterstützen muss, ist kein Beleg dafür, dass eine Seite fehlt, und mit jener Liste hätten wir zwei völlig lebendige Zitationen als kaputt vermerkt.

Danach haben wir für jeden einzelnen Host https://host/robots.txt abgerufen und nach einer Gruppe gesucht, die an je einen von zehn benannten KI-Crawlern gerichtet ist: GPTBot, OAI-SearchBot, ChatGPT-User, Google-Extended, PerplexityBot, ClaudeBot, CCBot, Applebot-Extended, Bytespider und anthropic-ai. Ein Host zählt nur dann als blockierend, wenn die an diesen Agenten gerichtete Gruppe alles verbietet.

Nichts war tot, und das ist einen Absatz wert

71 von 79 antworteten. 8 gaben dem verwendeten Client 403 zurück. Null lieferten 404, 410 oder sonst etwas aus dem toten Bereich, und null leiteten auf eine andere Adresse um.

Wir hatten mit wenigstens ein paar abgestandenen Zitationen gerechnet, denn das ist die Form des Vorwurfs, den man generierten Antworten macht. In dieser Stichprobe gibt es keine. Die Seiten, auf die eine Antwort zeigt, sind da.

Die 403 sind kein Befund über jene Seiten, und wir werden sie nicht als einen ausgeben. Es ist Bot-Schutz, der einen unbekannten Client von einem Ort abweist, und die Maschine, die sie zitiert hat, ist offensichtlich hineingekommen. Diese Unterscheidung ist keine Spitzfindigkeit, sie ist dieselbe, die den Rest dieses Artikels trägt: Was ein Server Ihnen antut, ist nicht das, was er einem Crawler antut.

Die Publisher, die einen Crawler blockieren und trotzdem zitiert werden

Die beiden Zeilen, die das Argument tragen, wurden von Hand nachgelesen statt dem Parser anvertraut, der sie gefunden hat, denn ein Parser, der sein eigenes Universum definiert, ist die häufigste Art, wie eine solche Studie danebengeht:

www.cnbc.com/robots.txt
User-agent: Google-Extended
Disallow: /

www.forbes.com/robots.txt
User-agent: GPTBot
Disallow: /

User-Agent: OAI-SearchBot
Allow: /

CNBC ist die zweite Zitation der AI-Overview-Antwort auf «Was ist der beste Lohnabrechnungsdienst für ein kleines Unternehmen?». Forbes ist die erste.

Die, die nie eine Regel geschrieben haben

Die 11 Blockierer sind die interessante Minderheit. Die größere Zahl der Tabelle ist die darunter: Von den 55 Hosts, deren robots.txt wir lesen konnten, nennen 38 keinen einzigen der zehn KI-Crawler. Weder um sie zu erlauben noch um sie zu blockieren. Sie haben keine Position.

Das gehört neben das gehalten, was die Kategorie verkauft. Um KI-Crawler-Direktiven ist eine ganze Beratungsindustrie gewachsen, und die meisten Publisher, die in diesen Antworten tatsächlich Zitationsplätze halten, haben nie eine geschrieben. Sie werden zitiert, weil Googlebot sie indexiert hat, was schon galt, bevor irgendetwas davon existierte.

Es setzt auch den Preis des Rats richtig an. Wenn Sie eine Regel schreiben, schließen Sie sich einer Minderheit von 17 in dieser Stichprobe an, und 11 dieser 17 werden trotz dessen zitiert, was sie geschrieben haben. Die Regel ist nicht das, was den Platz hält. Unser separater Audit dessen, was diese Kategorie selbst implementiert, fand dieselbe Reihenfolge: Anbieter übernehmen die Konvention ohne nachgewiesenen Leser und überspringen die mit einer Spezifikation.

Warum das passiert, und warum es kein Trick ist

Google-Extended ist nicht der Crawler, der Seiten für Google holt. Es ist eine Kontrolle darüber, ob Inhalte, die Google bereits hat, für Gemini und für Grounding genutzt werden dürfen. AI Overview wird aus Googles Suchindex zusammengesetzt, den Googlebot baut, und kein Publisher in dieser Stichprobe verbietet Googlebot, denn das würde ihn ganz aus der Suche entfernen.

Die Abfolge lautet also: Googlebot crawlt, der Index entsteht, AI Overview zieht seine Antwort aus diesem Index, und die Regeln, die ein Publisher für GPTBot und Google-Extended geschrieben hat, lagen nie auf diesem Weg.

Das ist niemandes Trick. Forbes hat die kohärenteste Konfiguration der Tabelle: draußen der Crawler, der ein Trainingskorpus baut, drinnen der, der eine Suche beantwortet. Was das zeigt, ist, dass es getrennte Hebel sind und nur einer mit dem verbunden ist, was die meisten zu verlieren fürchten.

Und es ist keine amerikanische Gewohnheit

Alle Blockierer der ersten beiden Durchgänge waren Amerikaner: CNBC, Forbes, die New York Times, NerdWallet. Das ist ein echter Störfaktor, und der Artikel konnte «Publisher blockieren» nicht von «amerikanische Publisher blockieren» trennen, weil seine spanische und deutsche Frage Unternehmenssoftware betrafen, die kaum ein Medienhaus zitiert.

Also haben wir drei weitere gestellt, eine je europäischem Markt, in den Kategorien, die die Amerikaner hervorgebracht hatten: Reisekreditkarten in Spanien und Deutschland, Kopfhörer in Frankreich.

Sie blockieren auch. Viajes National Geographic in Spanien verbietet sieben der zehn, GPTBot darunter, und ist die erste Zitation jener Antwort. 01net verbietet zwei und Frandroid einen, zwei französische Techniktitel, beide zitiert. Es gibt nun Blockierer in allen vier Märkten.

Und die elegante Fassung überlebt nicht. Liest man nur die europäischen Zeilen, sieht das Muster aus wie Amerikaner, die die großen Crawler blockieren, und Europäer, die nur die geringwertigen Sammler blockieren: Die beiden französischen Titel verbieten CCBot und Bytespider und lassen GPTBot durch. Zu jenen Zeilen passt das perfekt. Es stirbt am Rest der Tabelle, denn Spaniens National Geographic blockiert GPTBot und Amerikas eigenes Equal Pay Today blockiert nichts als CCBot. Elf Blockierer über vier Märkte tragen keine Aussage über das Temperament eines Marktes, und wir machen keine.

Der einzige Kontrast, der einen Namen verdient, ist ein Publisher und kein Land. BILD erlaubt ausdrücklich PerplexityBot, CCBot, Applebot-Extended und Bytespider, was die umgekehrte Haltung zu den anderen hier zitierten Medien ist und aussieht wie eine Lizenzvereinbarung, in eine robots.txt geschrieben.

Was sich dadurch für drei verschiedene Personen ändert

Wenn Sie publizieren und KI-Crawler blockiert haben, um Ihre Arbeit zu schützen, haben Sie sich nicht aus Googles KI-Antworten entfernt, und das war vielleicht nicht die Absicht. Es lohnt zu wissen, welche Ihrer Regeln was tut, denn das sichtbare Ergebnis, ohne Klick zitiert zu werden, erzeugt der Crawler, den Sie nicht blockieren können, ohne die Suche zu verlassen.

Wenn Sie KI-Sichtbarkeit verkaufen oder kaufen, ist die robots.txt eines Wettbewerbers keine Auskunft über dessen Präsenz. 11 der 17 Hosts hier, die einen KI-Crawler nennen, blockieren einen und werden dennoch zitiert. Jeder Audit, der die robots.txt liest und daraus schließt, wer in einer Antwort auftaucht, liest die falsche Datei.

Wenn Sie Messwerkzeuge bauen, zählen die 403 mehr als die Blockaden. 8 von 79 zitierten URLs weisen einen gewöhnlichen Client ab. Ein Prüfer, der von einer einzigen Adresse aus läuft und sie als unerreichbar markiert, meldete diese 8 Quellen einer lebendigen Antwort als kaputt und läge bei jeder einzelnen falsch.

Was das nicht zeigt

Neun Fragen, eine Oberfläche, je eine Lesung, ein Tag. Das ist Google AI Overview am 14. August 2026 in vier Märkten. Es sagt nichts über ChatGPT, Perplexity oder Gemini, die anders abrufen und je eine eigene Messung bräuchten.

Die Kategorien sind keine Stichprobe. Sie wurden gewählt, weil unser Register sie bereits abdeckt, was diese Zeilen mit früheren vergleichbar macht. Das ist das Gegenteil einer Zufallsziehung.

17 Hosts, die einen Crawler nennen, sind weiterhin wenig, um daraus zu schließen, und 11 von 17 ist keine Rate, die wir als die der Branche verteidigen würden. Was die 11 tragen, ist eine Existenzaussage, und mehr braucht das Argument nicht: KI-Crawler zu blockieren ist damit vereinbar, eine Spitzenquelle in einer KI-Antwort zu sein, und hier sind 11 Seiten, die es tun. Dieser Artikel wurde zweimal erweitert, von 4 von 8 auf 8 von 12 auf 11 von 17, und jedes Mal hielt der Anteil, statt zusammenzubrechen. Das gehört gesagt, weil es auch anders hätte laufen können und die Leserin es der Endzahl nicht ansieht.

Drei Hosts lieferten uns ihre robots.txt gar nicht, mit 403, und sie zählen getrennt.

Nichts hier ist kausal. Wir haben keine robots.txt geändert und eine Zitation wandern sehen. Dieses Experiment ist möglich und niemand hat es veröffentlicht.

Häufige Fragen zum Blockieren von KI-Crawlern

Entfernt mich das Blockieren von GPTBot aus Googles AI Overview?

Nein. GPTBot ist der Crawler von OpenAI und hat keinen Anteil daran, wie Google AI Overview baut, das aus Googles Suchindex schöpft. In unserer Stichprobe verbieten 11 Publisher KI-Crawler und alle 11 werden in AI-Overview-Antworten zitiert, darunter zwei, die alle zehn geprüften Crawler verbieten.

Steuert Google-Extended, ob ich in AI Overview erscheine?

Nach nichts, was wir beobachtet haben. Google-Extended regelt, ob Inhalte für Gemini und für Grounding genutzt werden dürfen, nicht ob Googlebot Sie crawlt oder ob der Suchindex ein AI Overview speist. CNBC verbietet Google-Extended und ist die zweite zitierte Quelle in der Lohnabrechnungsantwort, die wir am 14. August 2026 gemessen haben.

Zitieren KI-Antworten Seiten, die es nicht mehr gibt?

In dieser Stichprobe nicht. Wir haben alle 79 URLs abgerufen, die neun AI-Overview-Antworten gedruckt haben, und keine lieferte einen toten Status, und keine leitete anderswohin um. Acht gaben dem verwendeten Client 403 zurück, was Bot-Schutz ist und keine fehlende Seite.

Kann ich an der robots.txt eines Wettbewerbers ablesen, ob er in KI-Antworten auftaucht?

Nein, und das ist die praktische Folge. Von den 17 zitierten Hosts, die einen KI-Crawler nennen, blockieren 11 einen und werden trotzdem zitiert. Eine robots.txt beschreibt, worum eine Seite benannte Crawler bittet, nicht welche Oberfläche sie zitieren wird.

Soll ich zitierte Quellen mit einer HEAD-Anfrage prüfen?

Nein. Ein Server muss HEAD nicht unterstützen, und ein HEAD-Fehler als fehlende Seite zu behandeln erzeugt Fehlalarme. Unser eigener Linkprüfer tat genau das und meldete zwei lebendige Seiten als tot, bevor er auf GET mit verfolgten Weiterleitungen umgestellt wurde.