Wir haben 26 Veröffentlichungs-Hosts gegen 14 KI-Crawler geprüft. Elf lassen Google herein und die KI draußen.

Der Rat ist gerade überall: Veröffentlichen Sie Ihre Seite auf einer großen Domain, die Ihnen nicht gehört, und sie rankt in Stunden statt in Monaten. Die neueste Fassung nutzt veröffentlichte Claude-Artefakte und wird ausdrücklich als Taktik des KI-Zeitalters verkauft. Wir haben die robots.txt von 26 Hosts gegen 14 Crawler gelesen und die Liste danach verdoppelt und erneut gelesen. Elf davon lassen Googlebot herein und weisen mindestens einen KI-Crawler ab, und die beiden KI-Unternehmen, bei denen man eine Seite veröffentlichen kann, blockieren sich gegenseitig. Und von den 68 Anbietern, die KI-Sichtbarkeit verkaufen, blockieren 0 auch nur einen der 14.

Offenlegung: EchoWi verkauft Messung von KI-Sichtbarkeit, eine Studie also, die zu dem Schluss kommt, eine kostenlose Taktik liefere keine KI-Sichtbarkeit, ist eine Studie mit Interesse am eigenen Ergebnis. Die Antwort auf einen Interessenkonflikt ist eine wiederholbare Methode: jeder Host, der genaue Pfad, die 14 Crawler-Namen, das Datum und die User-Agent-Gruppe, die jedes Urteil entschieden hat, stehen unten und in unserem Messregister. Die Anbieterseite ist unser öffentlicher Katalog, beide Gruppen sind also Listen, die Sie nachbauen können. Jede davon ist eine öffentliche Datei, die Sie in einer Sekunde selbst abrufen können.

Aktualisierung vom 21. August 2026. Die Anbieterhälfte dieser Studie wurde nach dem Wachstum des Katalogs neu gemessen, und die Null oben hat das nicht überlebt: 77 Anbieter liefern eine Datei aus und 1 verbietet inzwischen 7 der 14 Crawler. Die 68 und die 0 bleiben genau so stehen, denn das ist es, was der Durchlauf vom 17. August fand, und eine eingefrorene Zahl darf einer späteren Messung nicht folgen. Was sich geändert hat und warum diese Sperre eine verwaltete Voreinstellung ist und keine Regel, die der Anbieter getippt hat, steht in der Fortsetzung.

Die kurze Fassung

1. 26 Hosts lieferten eine robots.txt aus. Zwei nicht, und die stehen getrennt: einer antwortete mit einer Bot-Abfrage, einer liefert gar keine Datei. Blockiert ist nicht fehlend, und fehlend ist keine Erlaubnis.
2. Elf Hosts lassen Googlebot herein und verbieten mindestens einem KI-Crawler den Zugang. Das ist die Lücke, die ein Käufer von außen nicht sehen kann, denn die Seite rankt und lässt sich nicht lesen.
3. Die KI-Unternehmen blockieren sich gegenseitig. Vier dieser Hosts lassen einen Nutzer eine Seite veröffentlichen. Zwei der vier verbieten den Crawlern ihrer Wettbewerber den Zugang und erlauben ihren eigenen.
4. Sie blockieren Training stärker als Suche. GPTBot weisen 6 ab und OAI-SearchBot 4. ClaudeBot 8 und Claude-User 4.
5. Googlebot kommt in 25 von 26 hinein. Die einzige Ausnahme verbietet allen den Zugang, Google eingeschlossen.
6. Und es gibt einen zweiten Mechanismus, der mit robots.txt nichts zu tun hat. Bei der Taktik, die das hier ausgelöst hat, steht der Seiteninhalt gar nicht im HTML.
7. Die Anbieter, die KI-Sichtbarkeit verkaufen, blockieren nichts. Von den 68, die eine Datei auslieferten, verbieten 0 auch nur einem der Crawler den Zugang. Von den Hosts, die dieser Rat nennt, tun es 12 von 26.
8. Wir haben die Liste verdoppelt und der Anteil hielt. 9 der nächsten 25 lassen Googlebot herein und weisen einen KI-Crawler ab, gegenüber 11 von 26 im ersten Durchlauf.

Warum wir es gemessen statt diskutiert haben

Die Taktik ist alt, der Rahmen ist neu. Auf einer Domain mit mehr Ansehen als der eigenen zu veröffentlichen ist seit zwei Jahrzehnten eine Suchmaschinentaktik. Neu ist, dass sie jetzt für Sichtbarkeit in KI-Antworten empfohlen wird, was eine andere Behauptung über andere Maschinen ist, und niemand schien geprüft zu haben, ob diese Maschinen überhaupt hinein dürfen.

Diese Prüfung kostet eine HTTP-Anfrage je Host. Es schien vernünftig, sie zu machen, bevor man irgendetwas darüber schreibt, ob die Taktik funktioniert.

Was wir gemessen haben und was nicht

Eine robots.txt je Host, am 17. August 2026 zweimal abgerufen, nach Gruppen ausgewertet und auf dem Pfad beurteilt, den die Taktik tatsächlich nutzt. claude.ai wird also auf /public/artifacts/ beurteilt, chatgpt.com auf /share/, linkedin.com auf /pulse/ und der Rest auf der Wurzel.

Die Auswertung ist die ganze Schwierigkeit, und dort geht eine schnelle Antwort schief. Eine robots.txt ist eine Liste von Gruppen. Eine Gruppe sind eine oder mehrere aufeinanderfolgende User-agent:-Zeilen, die sich die Regeln darunter teilen. Ein Crawler befolgt die Gruppe, deren Token die längste Übereinstimmung mit seinem eigenen Namen ist, und fällt erst dann auf * zurück, wenn keine benannte Gruppe passt. Eine Datei, deren *-Gruppe alles erlaubt, kann GPTBot also zwei Gruppen weiter unten verbieten, und wer bei * aufhört, berichtet genau das Gegenteil der Wahrheit.

Beide Lesungen stimmten bei jedem Host und jedem Crawler überein, ohne einen einzigen Unterschied. Das ist die Stabilitätskontrolle, die ein solcher Durchlauf braucht und selten hat.

Was das nicht misst, und das steht hier, weil es die ehrliche Grenze ist: ob die Crawler die Datei befolgen, ob diese Seiten in KI-Antworten zitiert werden und ob Ranking daraus folgt. Eine Erklärung ist eine Erklärung. Was eine Datei sagt und was der Edge tut, sind verschiedene Schichten, und die zweite braucht Serverdaten von einer Domain, die Ihnen gehört. Und es macht den Anbietervergleich nicht ursächlich: zwei Gruppen, am selben Tag gleich gelesen, beschreiben einander, sie erklären einander nicht.

Die 14 Crawler sind GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI, Google-Extended und Googlebot von Google, ClaudeBot, anthropic-ai und Claude-User von Anthropic, PerplexityBot und Perplexity-User, sowie CCBot, Applebot-Extended, Bytespider und meta-externalagent. Training, Suche und Abruf im Auftrag eines Nutzers sind drei verschiedene Erlaubnisse, und sie auseinanderzuhalten stellte sich als wichtig heraus.

Die KI-Unternehmen blockieren sich gegenseitig

Vier der Hosts in diesem Durchlauf lassen einen Nutzer inzwischen eine Seite veröffentlichen, die jeder lesen kann. Zwei davon verbieten den Crawlern ihrer Rivalen den Zugang.

Die beiden blockierenden Dateien machen es unterschiedlich und landen am selben Punkt. Anthropic stapelt vier Agentennamen über ein einziges Disallow: /, weshalb ein Parser, der einen Agenten je Gruppe annimmt, das als Sperre für einen und Erlaubnis für drei liest. OpenAI schreibt eine Gruppe je Wettbewerber. Beide erlauben ihren eigenen Crawler, und beide erlauben Googlebot.

Wenn Sie auf einem dieser beiden Hosts eine Seite veröffentlichen, damit KI-Assistenten sie lesen, ist der Assistent mit der größten Wahrscheinlichkeit derjenige des Unternehmens, auf dessen Domain Sie veröffentlicht haben.

Googlebot kommt fast überall hinein, und die Ausnahme ist das Interessante

Googlebot wird von genau einem der 26 Hosts ausgesperrt, und es ist keines der KI-Unternehmen. Es ist Reddit.

Reddits gesamte robots.txt ist 538 Byte groß. Nach einem Kommentar, der auf die eigene Public Content Policy verweist, steht dort User-agent: * und dann Disallow: /. Das ist die ganze Datei. Sie verbietet jedem Crawler dieser Studie den Zugang, Googlebot eingeschlossen.

Reddit-Inhalte stehen offensichtlich in Google. Sie stehen dort aufgrund einer geschäftlichen Vereinbarung zwischen zwei Unternehmen, nicht weil die Datei eine Erlaubnis erteilt. Wer also auf Reddit veröffentlicht, damit die KI-Suche ihn aufgreift, verlässt sich auf eine private Abmachung, an der er nicht beteiligt ist, auf einer Domain, deren öffentliche Anweisung an jeden Crawler lautet, draußen zu bleiben.

Sie blockieren Training stärker als Suche

Das ist der Befund, den wir nicht erwartet haben, und der, der zeigt, dass das Feld feiner arbeitet, als ihm meist zugetraut wird.

Lesen Sie die Paare. OpenAIs Trainings-Crawler weisen 6 Hosts ab und seinen Such-Crawler 4. Anthropics weisen 8 ab und seinen Nutzerabruf 4. Dieselbe Ordnung gilt bei Perplexity.

Diese Hosts blockieren nicht die KI. Sie ziehen eine Linie zwischen Trainingsmaterial-Sein und Auffindbar-Sein und lassen die Suche häufiger durch. Das ist eine kohärente Haltung, sie steht sichtbar in einer öffentlichen Datei, und sie bedeutet, dass «blockiert dieser Host KI-Crawler?» die falsche Frage ist. Die richtige ist, welche der drei Erlaubnisse Sie brauchen.

Für eine Marke, die eine Seite veröffentlicht, um gefunden zu werden, ist es die Such-Erlaubnis. Die wird am seltensten verweigert, was die kleine gute Nachricht dieser Studie ist.

Die Anbieter, die das verkaufen, lassen die KI alle herein

Ein Durchlauf mehr, derselbe Tag, dieselben 14 Crawler, dasselbe Instrument. Wir haben es auf die 69 Werkzeuge unseres geprüften Katalogs gerichtet, also auf die Unternehmen, deren Produkt KI-Sichtbarkeit ist.

Von den 68, die eine robots.txt auslieferten, verbieten 0 auch nur einem der 14 Crawler den Zugang. Kein einziger. Und es sind keine Dateien ohne Regeln: Semrush führt 60 Disallow-Zeilen, Ahrefs 26 und HubSpot 356. Sie haben reichlich Pfadregeln und überhaupt keine Politik zu KI-Crawlern. Der neunundsechzigste antwortete mit einer Bot-Abfrage und bleibt ausgeschlossen, statt als Erlaubnis gezählt zu werden.

Stellt man die beiden Gruppen nebeneinander, wird die Form des Ratschlags sichtbar.

Die Branche, die das verkauft, hält sich selbst daran. Die Plattformen, auf die sie zum Veröffentlichen schickt, nicht.

Dieser Gegensatz gehört vorsichtig formuliert, denn er ist beschreibend und nicht ursächlich. Es sind zwei Gruppen mit verschiedenen Zwecken: die eigene Website eines Anbieters existiert, um gefunden zu werden, und eine Publikationsplattform hat Nutzer, Ratenbegrenzungen und Lizenzverträge zu bedenken. Was die beiden Zählungen teilen, sind der Tag, die Crawler-Liste und das Instrument, und nur deshalb lassen sie sich überhaupt vergleichen.

Und zwei von ihnen veröffentlichen eine Startseite, die kein Crawler lesen kann

Der Gegensatz oben handelt davon, was eine Datei erlaubt. Es gibt eine zweite Erlaubnis, die niemand aufschreibt: ob Ihre Worte überhaupt in der Antwort stehen. Eine Seite, deren Text erst nach dem Ausführen von JavaScript ankommt, ist für jeden Crawler unlesbar, der nicht rendert, ganz gleich was die robots.txt erlaubt.

Wir haben dieselbe Messung auf denselben Katalog gerichtet, je eine Startseite. 67 wurden gelesen und 2 antworteten mit einer Bot-Abfrage, diese beiden gelten also als ungelesen statt in die eine oder andere Richtung gezählt.

1 der 67 liefert ihren eigenen Text nirgends aus. Bluefish AI antwortet mit 114 Bytes: ein Skript, das den Browser woandershin schickt, und sonst nichts. Keine Überschrift, kein Satz, kein Titel, keine Beschreibung, keine strukturierten Daten, nicht einmal ein Link, dem ein Crawler folgen könnte.

Die zweite Seite ist etwas anderes, und wir haben sie zuerst als dasselbe veröffentlicht. GEO-Vantage antwortet mit 4.870 Bytes, deren Textkörper nichts trägt, und wir haben das als unlesbar gezählt. Das ist es nicht. Ihr Head trägt Titel, Beschreibung und strukturierte Daten, eine Retrieval-Schicht hat also reichlich Material; sie nutzt dafür nur nicht den Textkörper. Wir haben 2 von 67 veröffentlicht und die richtige Zahl ist 1, mit einer zweiten Seite, die ihren Inhalt im Head trägt. Keine der beiden bietet eine noscript-Alternative, und beide lieferten bei zwei Lesungen am selben Tag Byte für Byte identische Antworten.

Zur Einordnung: die nächstdünnere Startseite im Katalog trägt 446 Zeichen Textkörper und der Median rund zehntausend.

Die Bilanz der Branche hängt also davon ab, nach welcher Achse man fragt. Bei robots.txt hält sie sich an das, was sie predigt. Beim Rendering veröffentlichen zwei Unternehmen, die KI-Sichtbarkeit verkaufen, eine Eingangstür, die ein KI-Crawler nicht lesen kann, und das ist eine Korrektur von einer Zeile und eine einzige Anfrage zum Prüfen.

Jede von einer KI zitierte Seite war lesbar, und ein Drittel hält es im Head

Die beiden Gruppen oben haben wir gewählt. Diese nicht. Unser Register enthält 79 URLs, die eine KI-Maschine in einer unserer Studien tatsächlich zitiert hat, die Stichprobe haben also die Maschinen gewählt. 64 ließen sich lesen, 14 antworteten mit einer Bot-Abfrage und 1 antwortete gar nicht.

0 der 64 waren unlesbar. Nicht eine zitierte Seite versäumte es, ihren eigenen Inhalt irgendwo in der Antwort mitzuliefern.

Aber 18 der 64 tragen ihn nur im Head, und alle sind YouTube oder Facebook. Eine YouTube-Videoseite antwortet mit rund 1,4 MB, deren Textkörper 217 Zeichen Seitenfuß sind und kein einziges Wort des Videos. Ihr Head trägt den Titel, die Beschreibung, die Keywords und ein vollständiges VideoObject in JSON-LD.

Dabei lohnt es sich zu verweilen, denn YouTube ist die meistzitierte Domain dieses ganzen Korpus. Der Textkörper ist nicht der Ort, an dem Zitierbarkeit für die Domain wohnt, die am häufigsten gewinnt. Was eine Retrieval-Schicht braucht, ist die Antwort an irgendeinem maschinenlesbaren Ort, und der Head zählt als solcher.

Was das nicht zeigen kann, und der Grund ist das Design selbst: die Stichprobe ist über das Ergebnis ausgewählt. «Zitierte Seiten sind lesbar» kann nicht heißen, dass Rendering Zitation verursacht, denn Seiten, die zitiert werden, sind womöglich aus Gründen lesbar, die sie zugleich zitierwürdig machen. Was ein solches Design leisten kann, ist die Gegenbehauptung zu töten. Wäre ein großer Teil der zitierten Seiten unlesbar gewesen, dann wäre das Ausliefern des eigenen Textes keine Voraussetzung fürs Zitiertwerden. Null von vierundsechzig waren es.

Wir haben die Liste verdoppelt, und der Anteil hielt

Die Zahl oben zählt Hosts, sie ist also ebenso eine Aussage über unsere Stichprobe wie über das Web. Wir haben 32 weitere gefragt, an einem späteren Tag, mit denselben 14 Crawlern und demselben Instrument, und die Vorhersage stand schriftlich fest, bevor die erste Anfrage lief: der Befund hält, wenn die neuen Hosts zwischen 30 und 55 Prozent landen.

25 der 32 lieferten eine Datei aus. 9 der 25 lassen Googlebot herein und weisen mindestens einen KI-Crawler ab, gegenüber 11 von 26 im ersten Durchlauf.

Zusammen sind das 20 von 51 Hosts. Zwei unabhängige Stichproben der Plattformen, die dieser Rat nennt, und die Lücke liegt beide Male dies- und jenseits von vier von zehn.

Auch die Googlebot-Zulassung hielt, 24 von 25 gegenüber 25 von 26 im ersten Durchlauf, und die einzige Ausnahme ist der Host zwei Absätze weiter unten.

Der zweite Durchlauf brachte zwei Dinge, die der erste nicht bringen konnte.

Bei 5 der 32 gibt es überhaupt keine robots.txt. Das ist das freizügige Extrem und keine Ablehnung: ohne Datei ist niemandem etwas verboten. Es wird getrennt von den 2 gezählt, die mit einer Bot-Abfrage antworteten, denn ungelesen und unbeschränkt sind verschiedene Zustände und nur einer davon ist Erlaubnis.

Und ein Host verschließt seine eigenen veröffentlichten Seiten vor allen. grok.com nennt GPTBot, ChatGPT-User, PerplexityBot, ClaudeBot, Google-Extended und Applebot-Extended in einer einzigen Gruppe und verbietet ihnen die gesamte Site, was dem Muster aus dem Abschnitt oben entspricht. Dazu liefert /share eine 404 und /share-links eine 200, seine öffentlichen Seiten liegen also auf dem einen Pfad, den die *-Gruppe abweist, und auf diesem Pfad sind alle 14 Crawler verboten, Googlebot eingeschlossen. Es ist der erste Host hier, bei dem eine Seite, die Sie veröffentlichen, vor allem verschlossen ist, die Taktik scheitert also schon beim Suchschritt und nicht erst beim KI-Schritt. Gefunden haben wir es, indem wir gefragt haben, auf welchem Pfad die Seiten tatsächlich liegen, statt die Wurzel zu messen.

Der KI-Arm wurde ebenfalls verdoppelt. 5 weitere Veröffentlichungs-Hosts lieferten eine Datei aus und 1 der 5 sperrt einen Wettbewerber aus, der Befund zwei Abschnitte weiter oben steht damit über beide Durchläufe bei 3 von 9. Das ist ein Drittel statt der Hälfte, und das ist die Richtung, in die sich eine kleine Stichprobe fast immer bewegt, wenn man sie vergrößert, und der Grund, sie zu vergrößern.

Der zweite Mechanismus, der mit robots.txt nichts zu tun hat

Die Taktik, die das alles ausgelöst hat, ist das Veröffentlichen eines Claude-Artefakts. Also haben wir veröffentlichte Artefakte als gewöhnlicher Client abgerufen, der kein JavaScript ausführt.

Jedes Artefakt liefert dasselbe zurück. Byte für Byte dasselbe: 91.774 Byte, bei zwei verschiedenen Artefakt-Kennungen, über drei User-Agents hinweg. Diese Nutzlast enthält einen Ersatztitel Claude Artifact, ein noindex, nofollow-Meta-Tag und 78 Zeichen sichtbaren Text, sobald Skripte und Tags entfernt sind. Keines dieser 78 Zeichen gehört zum Artefakt.

Ein Googlebot-User-Agent zu senden ändert nichts. Die Byte-Zahl ist identisch, es gibt also keine getrennte, vorgerenderte Fassung für Suchmaschinen. Google hat diese Seiten mit ihren echten Titeln im Index, weil Googlebot JavaScript ausführt und die Seite liest, die ein Browser bauen würde.

Das ist der Teil, auf den es ankommt, und er ist von allem darüber unabhängig. Ein Crawler, der die robots.txt vollständig ignorierte, bekäme immer noch 78 Zeichen Rahmenwerk. Die Taktik scheitert für KI-Sichtbarkeit doppelt, durch zwei Mechanismen, die nicht voneinander abhängen: die Datei sagt Nein, und die Seite ist leer für alles, was nicht rendert.

Wir beschreiben, wie sich eine Single-Page-Anwendung verhält. Das ist keine Kritik am Produkt, das nicht dafür gebaut ist, eine Publikationsplattform für das Marketing anderer Leute zu sein. Es ist eine Beschreibung dessen, was ein Abrufender erhält.

Falls Sie das gerade vorhatten

Die Taktik ist nicht erfunden. Diese Seiten sind indexiert, in Menge, in vielen Sprachen, und einige davon sind unverkennbar kommerziell. Wenn Ihr Ziel eine schnell rankende Seite in der Google-Websuche für einen wenig umkämpften Begriff ist, tut sie, was sie verspricht.

Verkauft wird sie als etwas anderes. In der Google-Websuche zu ranken und für KI-Assistenten lesbar zu sein sind zwei Ergebnisse mit zwei verschiedenen Torhütern, und dieser Durchlauf zeigt, dass sie bei 11 von 26 Hosts auseinanderfallen.

Prüfen Sie die Datei vor dem Veröffentlichen, nicht danach. Es kostet eine Anfrage. Rufen Sie https://derhost.example/robots.txt ab, suchen Sie die Gruppe, die den Crawler nennt, der Sie interessiert, und lesen Sie die Regel. Gibt es keine benannte Gruppe, gilt die *-Gruppe. Und wenn die Seite, die Sie veröffentlichen, im Client gerendert wird, rufen Sie sie mit etwas ab, das kein JavaScript ausführt, und sehen Sie nach, ob Ihre Worte in der Antwort stehen.

Und bevorzugen Sie eine Domain, die Ihnen gehört. Alles oben ist eine Entscheidung, die jemand anderes über Ihre Inhalte trifft, ohne Ankündigung ändern kann und aus geschäftlichen Gründen ändern wird. Auf Ihrer eigenen Domain gehört die Datei Ihnen.

Grenzen

• Eine Datei je Host, an einem Datum. Eine robots.txt ist eine Tatsache eines Tages. Jede Zeile trägt ihre Byte-Zahl, damit eine geänderte Datei beim nächsten Mal als geänderte Zeile auffällt.
• Erklärung, nicht Verhalten. Nichts hiervon misst, ob ein Crawler gehorcht, ob die Seite zitiert wird oder ob Ranking folgt.
• 51 Hosts über zwei Durchläufe, nicht das Web. Sie wurden gewählt, weil dieser Rat sie tatsächlich nennt. Eine andere Liste ergäbe andere Anteile, deshalb steht die Zahl überall dort, wo ein Anteil steht.
• Der Rendering-Befund betrifft eine Plattform. Wir haben veröffentlichte Claude-Artefakte abgerufen. Die übrigen Hosts der Liste rendern anders und wurden so nicht geprüft.
• 9 Hosts ergaben kein Urteil und bleiben aus jeder Zählung heraus, statt als Erlaubnis gezählt zu werden.

Häufige Fragen zum Veröffentlichen auf fremden Domains

Funktioniert das Veröffentlichen auf einer starken Domain für Google noch?

Ja, für das Wenige, was es tut. Diese Seiten sind indexiert und einige ranken für wenig umkämpfte Begriffe. Diese Studie misst eine andere Frage: ob die Maschinen, die Fragen beantworten, statt der einen, die Links auflistet, sie überhaupt lesen dürfen.

Um welchen Crawler muss ich mich wirklich kümmern?

Um den, der zu Ihrem gewünschten Ergebnis gehört. Trainings-Crawler wie GPTBot und Google-Extended entscheiden, ob Ihr Text später ein Modell informieren darf. Such-Crawler wie OAI-SearchBot entscheiden, ob er jetzt abgerufen und zitiert werden kann. Nutzer-Agenten wie ChatGPT-User und Claude-User holen eine Seite, weil jemand danach gefragt hat. Um heute in einer Antwort gefunden zu werden, zählt die Suche, und die wird am seltensten verweigert.

Wenn ein Host einen Crawler blockiert, bleibt der dann sicher draußen?

Nein, und diese Studie behauptet das nicht. Eine robots.txt ist eine Anweisung, keine Mauer. Was sie festhält, ist die Absicht, und die sollte man kennen, bevor man eine Strategie auf eine Domain baut, unabhängig davon, ob sie befolgt wird.

Warum verbietet Reddit Googlebot, wenn Reddit überall in Google steht?

Weil der Zugang dort geschäftlich vereinbart statt öffentlich erteilt ist. Die Datei ist für alle dieselbe, und Googles Präsenz ist das Ergebnis einer Abmachung. Genau deshalb ist das ein schlechtes Fundament für den Sichtbarkeitsplan eines Dritten.

Ist der Befund zum Claude-Artefakt ein Fehler?

Nein. So verhält sich eine im Client gerenderte Anwendung: der Server schickt eine Anwendung, der Browser baut die Seite. Google kommt damit zurecht, weil es JavaScript ausführt. Alles, was nur HTML abruft, sieht die Hülle, und das gilt für viele Crawler, nicht nur für die der KI.

Was sollte ich bei einem Host vor dem Veröffentlichen prüfen?

Drei Dinge, alle kostenlos. Rufen Sie seine robots.txt ab und suchen Sie die Gruppe für den Crawler, den Sie wollen. Rufen Sie die veröffentlichte Seite mit einem einfachen Client ab und prüfen Sie, ob Ihr Text in der Antwort steht. Und fragen Sie sich, ob der Host beides ohne Ankündigung ändern kann, denn das kann er.

Methode und Quellen

Jeder Host, der beurteilte Pfad, die Byte-Zahl der Datei, die dort verbotenen Crawler und die User-Agent-Gruppe, die jedes Urteil entschieden hat, stehen in unserem Messregister, zusammen mit den Zahlen zur Artefakthülle. Das Register führt auch die beiden Hosts, die kein Urteil ergaben, in ihrem eigenen Feld.

Die Crawler-Namen stammen aus der Dokumentation der Betreiber: OpenAIs Liste, Googles Liste und Anthropics. Die Regeln für die Gruppenzuordnung stehen in Googles robots.txt-Spezifikation.

Wenn Sie das gegen Ihre eigene Host-Liste wiederholen wollen: die ganze Methode ist eine Anfrage je Host und die Auswertungsregeln von oben. Die Hosts auszuwählen dauert länger als der Durchlauf.