Website offen für Menschen, geschlossen für KI

Der teuerste Defekt des Septembers sieht nicht aus wie ein Defekt. Die Website öffnet sich, das Design sitzt, der Kollege ruft sie auf dem Handy auf und sieht alles. Aber die Rankings fallen, Google Ads meldet "Destination not accessible", und in KI-Antworten taucht die Seite nicht mehr auf. In einer Analyse vom 7. September 2026 wird der Fall wörtlich beschrieben: Eine Agentur aktivierte im Juli 2026 in Cloudflare die Blockade aller Bots, der Googlebot geriet mit hinein, und zusammen mit der Organik legte sich auch die Werbung hin. Unten steht, wen man explizit wieder reinlassen muss und warum der zweite Verlustkanal, Skripte statt Links, in keinem Report auftaucht.

Woher die 403-Welle kommt

Am 1. Juli 2026 hat Cloudflare den einen Schalter "KI-Bots blockieren" entfernt und Bots in drei Kategorien aufgeteilt: Search, Agent, Training. Die Optionen stehen allen offen, auch im kostenlosen Tarif. Klingt nach einer Verbesserung, und das ist es auch, mit einer Einschränkung, die kaum jemand zu Ende gelesen hat.

Die Einschränkung: Einen Teil der Crawler stuft Cloudflare als zweckgemischt ein, sie sind gleichzeitig Suche und Training. Zu den gemischten zählen Googlebot, Bingbot und Applebot. Jede Konfiguration, die Training blockiert, inklusive der alten Option "Block AI bots", blockiert auch sie. Die Warnung dazu erschien am 5. August 2026, geklickt haben die Leute ihre Einstellungen aber im Juni und Juli.

Am 4. August 2026 beschrieb Search Engine Journal einen Beitrag aus r/SEO: Bei AI Training = Block zusammen mit aktivem Bot Fight Mode bekamen Googlebot und Bingbot HTTP 403, als sie die Sitemap holen wollten, und im Bereich AI Crawlers des Cloudflare-Panels wurden beide als blockiert angezeigt. Im Thread der Cloudflare Community schreibt ein Seitenbetreiber, dass schon Anfang Juli 2026 verifizierte Googlebot-Anfragen ein 403 kassierten, mit dem Vermerk in den Security Events: "Blocked by 'Block AI training crawlers'".

Und jetzt das wichtige Datum. Ab dem 15. September 2026 ändert Cloudflare die Defaults: Bei neuen Domains werden Bots der Kategorien Training und Agent auf Seiten mit Werbung blockiert, Search bleibt erlaubt. Eine neue Domain kommt also ab Werk mit aktivierter Blockade, und man muss sich damit nicht nach der ersten Beschwerde befassen, sondern vor dem Launch.

1. 1. Juli 2026Cloudflare teilt Bots in Search, Agent, Training
2. 4. August 2026Bericht über 403 für Googlebot und Bingbot bei der Sitemap
3. 5. August 2026Warnung: Googlebot, Bingbot, Applebot gelten als gemischt
4. 31. August 2026Reports zu KI-Flächen in allen Search-Console-Konten
5. 15. September 2026neue Blockade-Defaults für neue Domains

Warum das keine Randgeschichte mehr ist

Vor einem Jahr war das Blockieren von Crawlern ein Thema für ein Dutzend große Verlage. Jetzt ist es Grundrauschen. Laut Cloudflare lag der Anteil der 4xx-Antworten über alle Crawler in ihrem Netz im Juli 2026 bei 35,79% gegenüber 14,04% im Juli 2025, ein Plus von 21,75 Punkten. Die Wochenreihen bestätigen das: 11,70% bis 16,77% im Jahr 2025 und 34,85% bis 37,10% im Jahr 2026.

Der Grund liegt auf der Hand. Nach Cloudflare-Statistik für Juni 2026 entfielen 50,6% des Modell-Bot-Traffics auf Trainings-Crawler, auf Such-Crawler nur 10,7%, und mehr als die Hälfte der Abrufe traf Seiten, die sich seit dem letzten Besuch nicht geändert hatten. Im Juni 2026 erklärte Cloudflare-Chef Matthew Prince, der Bot-Traffic habe erstmals den menschlichen übertroffen. Wenn die Logs zeigen, dass die halbe Last aus dem Umpumpen unveränderter Seiten in irgendeinen Datensatz besteht, drückt sich der Knopf "verbieten" von selbst. Die Frage ist nur, was noch mit darunter fällt.

Noch ein Detail, das Gewohnheiten verschiebt: Die Bot-Steuerung ist von der Ebene robots.txt auf die Infrastrukturebene gewandert. Cloudflare-Kategorien, Content Signals mit dem Feld use (immediate, reference, full), kryptografische Identifikation per Web Bot Auth. Shopify wendet seit dem 7. Mai 2026 härtere Limits auf Bots an, die ihre Anfragen nicht per Web Bot Auth signieren. Änderungen in der robots.txt verschwinden dadurch nicht, sie sind nur nicht mehr der einzige Ort, an dem Ihre Website einem Bot "nein" sagt.

Wer immer auf der Whitelist stehen muss

Die Liste ist kurz, und sie hat nichts mit KI zu tun. Es sind die Bots, ohne die Suche, Werbung und Produktfeeds kaputtgehen.

• Googlebot
• Google InspectionTool
• AdsBot-Google
• AdsBot-Google-Mobile
• Storebot-Google

Zum AdsBot gibt es eine offizielle Position, und die beendet die Diskussion. Die Google-Ads-Hilfe zu "Destination not accessible" nennt als Ursachen ausdrücklich die Codes 404 und 403 beim Crawl durch AdsBot, ein Verbot des AdsBot in der robots.txt und Serverkonfigurationen, die den Zugriff blockieren. Die Empfehlung dort: die User Agents AdsBot-Google und AdsBot-Google-Mobile auf die Whitelist setzen und die Erreichbarkeit der Website aus allen Ländern sicherstellen. Letzteres tut besonders denen weh, die per Geofilter auf CDN-Ebene die halbe Welt aussperren: Der Bot kommt nicht aus der Richtung, aus der Sie ihn erwarten.

Google InspectionTool ist das, womit die URL-Prüfung in der Search Console arbeitet. Storebot-Google läuft über Produktseiten. Lässt man sie nicht rein, bekommt man keinen Rankingabsturz, sondern eine Merkwürdigkeit: In den Reports ist nichts zu sehen, und der Support sagt "bei uns ist alles in Ordnung".

Warum ein grüner Haken in der Search Console nichts beweist

In derselben Analyse vom 7. September 2026 steht der Satz, für den sie sich gelohnt hat: Eine erfolgreiche Prüfung per URL Inspection bestätigt den Zugriff des Such-Bots, aber nicht den Zugriff des AdsBot. Das sind unterschiedliche User Agents, und eine Regel im CDN kann den einen durchlassen und den anderen kappen.

Die Prüfreihenfolge ist also: erst Logs nach User Agent für die letzten 30 Tage, dann die Security Events im CDN-Panel, und erst danach die Google-Tools. In den Logs sehen Sie keine Meinung, sondern Antwortcodes. Wenn der Googlebot kommt und ein 403 bekommt, steht dort 403, und kein Haken in irgendeinem Interface überschreibt das. Bei mir läuft dieser Check einmal im Monat und nach jedem Eingriff in die Infrastruktur, ob durch fremde Hände oder meine eigenen [Zahl nötig: wie oft ich im Jahr eine überflüssige Regel gefunden habe].

Was das Experiment über 41 Tage gezeigt hat

Die zweite Hälfte der Verluste ist ebenfalls technisch, aber ganz anderer Art. Vinicius Stanula, Associate Director SEO bei LOCOMOTIVE, hat einen Versuch über 41 Tage aufgesetzt und ihn auf Search Engine Land beschrieben. Auf der Website entstanden 11 Bereiche, zu denen Links in reinem HTML führten, und 10 Bereiche, zu denen Links per JavaScript eingesetzt wurden. Die Sitemap lieferte 404, Breadcrumbs und Hierarchie-Panels wurden entfernt, dem Bot blieben also nur die Links.

Ergebnis: Der Googlebot erreichte 2% der Seiten, die nur über JS-Links zugänglich waren. GPTBot, ClaudeBot, Bingbot, die Crawler von Meta und Amazonbot fanden praktisch null solcher Seiten.

Das passt zu einer früheren Messung von Vercel und MERJ vom Dezember 2024: Bei keinem großen KI-Crawler wurde eine JavaScript-Ausführung festgestellt. Die Crawler von ChatGPT luden JS-Dateien in 11,50% der Anfragen herunter, die von Claude in 23,84%, führten sie aber nicht aus. Herunterladen und Ausführen ist nicht dasselbe, und genau in dieser Differenz verschwinden Kataloge, Filter, per Klick nachgeladene Blöcke und endlose Feeds.

Daraus folgt eine einfache Praxis. Seite öffnen, JavaScript im Browser abschalten, schauen, was übrig bleibt. Bleibt ein leerer Rahmen statt Produkten und Text, dann existiert die Seite für KI-Bots nicht. Links müssen ein a-Tag mit href sein und kein Klick-Handler, und die wichtigen Seiten müssen in einer Sitemap stehen, die 200 liefert.

Wie man merkt, dass man aus KI-Antworten gefallen ist

Das eigentliche Problem: Dieses Herausfallen sieht man in den üblichen Reports nicht. Klassische Positionen können stehen bleiben, der organische Traffic fließt ruhig weiter, und aus den KI-Antworten ist die Seite verschwunden. Im monatlichen Standardreport gibt es diese Spalte schlicht nicht.

Etwas gibt Google inzwischen heraus. Am 3. Juni 2026 starteten in der Search Console die Reports Search Generative AI performance, am 31. August 2026 wurden sie weltweit für alle Websites ausgerollt. Dort gibt es Impressionen, Seiten, Länder, Geräte und Daten. Klicks gibt es nicht. Am selben 31. August 2026 wurde global der Schalter aktiviert, mit dem man Inhalte von der Anzeige in Googles KI-Flächen ausschließen kann, inklusive AI Overviews, AI Mode und generativer Funktionen in Discover. Außerdem tauchten in den Reports Ansichten für externe Plattformen auf, darunter Instagram, YouTube und TikTok.

Und eine Einschränkung, die man vorher kennen sollte: Die generativen Daten leben nur im Interface. Eine Prüfung am 11. August 2026 zeigte, dass weder die Search Analytics API noch der Export nach BigQuery diese Zahlen ausliefern. Ein automatisches Dashboard zur KI-Sichtbarkeit lässt sich also vorerst nicht bauen, man muss von Hand hineinschauen und wöchentlich Screenshots ziehen. Impressionen ohne Klicks, kein Export, Löcher in der Historie: Daten gibt es, aber man kann sich nicht so auf sie stützen wie auf einen normalen Suchanfragen-Report.

Warum es zu früh ist, den Einbruch dem Algorithmus zuzuschreiben

Wenn Rankings fallen, lautet die erste Version immer: Update. Prüfen wir den Kalender. Das letzte bestätigte Ranking-Update ist ein Spam-Update: gestartet am 18. August 2026 gegen 12:30 US-Ostküstenzeit, abgeschlossen am 21. August 2026 um 4:50, der Rollout dauerte rund 2,5 Tage, global und für alle Sprachen, das dritte Spam-Update des Jahres 2026. Alles andere, was im September eingebrochen ist, ist eher Technik: Bot-Zugriff, Rendering, kaputte Landingpages.

Dazu passt eine weitere Septembergeschichte. Der Google Data Manager ändert das Schema der Datenerhebung auf der Website, eine Risikoanalyse dazu erschien am 8. September 2026. Der Sinn ist derselbe: Während alle über Textqualität diskutieren, bricht die Schicht weg, die niemand anschaut, weil sie immer funktioniert hat.

Was diese Woche zu tun ist

1. Logs der letzten 30 Tage öffnen und alle Antworten 403 und 404 nach User Agent suchen: Googlebot, AdsBot-Google, AdsBot-Google-Mobile, Google InspectionTool, Storebot-Google.
2. Im CDN-Panel prüfen, ob die Blockade von Trainings-Crawlern oder ein Bot-Abwehrmodus aktiv ist, der gemischte Crawler trifft. Bei neuen Domains vor dem 15. September 2026 erledigen, nicht danach.
3. JavaScript im Browser abschalten und drei typische Seiten durchgehen: Startseite, Kategorie, Produkt oder Artikel. Was ohne Skripte nicht sichtbar ist, existiert für KI-Bots nicht.
4. Sicherstellen, dass die Sitemap 200 liefert und dass wichtige Links a-Tags mit href sind.
5. In die Reports zu den KI-Flächen in der Search Console gehen, die aktuellen Impressionen nach Bereichen festhalten und sich eine wöchentliche Erinnerung setzen. Es gibt keinen Export, die Historie entsteht nicht von allein.

Trainings-Crawler zu blockieren ist übrigens eine völlig normale Entscheidung. Nicht normal ist es, aus einer Mail über gestoppte Anzeigen zu erfahren, wen man blockiert hat. Wenn Sie wollen, schaue ich mir Ihren Fall anhand von Logs und Einstellungen an, schreiben Sie an den Support.