Das Internet hatte schon immer Bots. Was es nie hatte – bis jetzt –, ist ein Netz, in dem Bots die Menschen zahlenmäßig übersteigen. Matthew Prince, Chief Executive von Cloudflare, bestätigte, dass automatisierter Traffic den menschlichen Traffic im Netzwerk des Unternehmens im Mai 2026 überstiegen hat – ein Meilenstein, der, so sagte er, deutlich früher eingetreten sei als von ihm erwartet.

Diese Aussage trägt besonderes Gewicht. Cloudflare leitet und schützt den Traffic eines erheblichen Teils des globalen Webs und hat damit eine Echtzeitansicht dessen, was sich tatsächlich im Internet bewegt, wie es kaum eine andere Organisation vorweisen kann. Dieser Blickwinkel ist wichtig, denn der nicht-menschliche Traffic ist kein einheitliches Phänomen: Er umfasst suchbezogene Indexierung, Crawler, die Inhalte für Trainingsdaten abgreifen, und KI-Agenten – Software, die im Auftrag eines Nutzers Informationen abruft oder Aufgaben erledigt, statt dass eine Person direkt einen Browser öffnet.

Die Rechnung geht für Verlage zunehmend nicht mehr auf

Wenn der Mai 2026 schon schlecht klingt, ist Princes Fünf-Jahres-Prognose deutlich beunruhigender. Er schätzt, dass nicht-menschlicher Traffic bis 2031 rund das 1.000-Fache des menschlichen Traffic-Volumens erreichen könnte, da KI-Agenten Aufgaben mit einer Frequenz ausführen, die keine menschliche Browser-Sitzung erreichen kann.

Die Daten deuten bereits in diese Richtung. Das Crawl-zu-Besucher-Verhältnis von Google – ein Maß dafür, wie oft ein Crawler eine Website aufruft im Verhältnis zu den Menschen, die er zurückschickt – hat sich von etwa 6:1 auf 18:1 oder schlechter verschlechtert. Für Verlage, die auf Werbemodellen basieren, die auf menschlicher Aufmerksamkeit aufbauen, ist dieses Verhältnis von enormer Bedeutung. Ein Crawler, der einen Artikel liest, generiert keine Werbeeinnahmen; ein Crawler, der einen Artikel dreimal so häufigest wie zuvor, während er prozentual weniger Leser zurückschickt, ist aktiv schädlich für das Geschäft.

Auch die Zusammensetzung des KI-Traffics verschiebt sich auf Weise, die das Bild weiter verkomplizieren. Trainings-Traffic – Crawler, die Inhalte abgreifen, um große Sprachmodelle zu speisen – macht derzeit 40 bis 52 % der gesamten KI-Crawler-Aktivität aus, eine deutliche Abkehr von der früheren Welle des KI-Traffics, die von suchbezogener Indexierung dominiert wurde. Jene frühere Welle bot zumindest die Möglichkeit, dass ein Mensch einem Link zur Quelle folgt; das Scraping für Trainingsdaten bietet keinen vergleichbaren Rückweg, weshalb diese Verschiebung den Druck auf werbefinanzierte Verlage zusätzlich erhöht.

Cloudflares Antwort: Standardmäßig blockieren, dann verhandeln

Prince und Cloudflare betrachten das nicht als bloße Beobachtung. Ab dem 15. September 2026 wird das Unternehmen KI-Trainings- und Agenten-Crawler auf werbefinanzierten Seiten für neue Domains und einen erheblichen Teil bestehender Websites standardmäßig blockieren. Verlage, die diesen Zugriff erlauben wollen, müssen die Blockierung aktiv aufheben – das bedeutet, dass abgedeckte Websites, die untätig bleiben, diese Crawler automatisch ausschließen.

Die Architektur dieser Entscheidung ist erheblich. Die Umkehrung des Standardwerts von „zulassen, sofern nicht blockiert“ zu „blockiert, sofern nicht erlaubt“ verschiebt die Verhandlungsmacht entschieden hin zu den Content-Erstellern. Bislang fiel die Last auf die Verlage, bestimmte Crawler zu identifizieren und zu blockieren – eine technische und operative Anstrengung, die die meisten kleinen und mittelgroßen Verlage nicht wirksam bewältigen können. Unter dem neuen Standard werden die KI-Unternehmen zur Partei, die an den Tisch kommen muss.

Prince hat auf ein Pay-per-Crawl- oder Micropayment-Modell als logisches Ziel verwiesen, bei dem KI-Unternehmen die Content-Eigentümer direkt für jeden Zugriff entschädigen, statt über die indirekte, trafficbasierte Werbekette, die derzeit der Ökonomie des Webs zugrunde liegt. Wie viele Verlage die Standardblockierung beibehalten und wie KI-Unternehmen darauf reagieren, Zugang anfragen zu müssen, sind die unmittelbaren Fragen im Vorfeld des Rollouts am 15. September.

Was das für die breitere digitale Wirtschaft bedeutet

Das heutige werbefinanzierte Web wurde für menschliche Aufmerksamkeit konzipiert. Display-Werbung, programmatische Auktionen, Klickraten, Sitzungsdauer – jede Kennzahl in diesem Gefüge setzt einen Menschen am anderen Ende des Browsers voraus. Wenn die Mehrheit des Traffics nicht-menschlich ist, beginnt diese gesamte Messinfrastruktur, das Falsche zu messen.

Für Cloudflare selbst ist die strategische Positionierung beträchtlich. Indem sich das Unternehmen als Infrastrukturebene positioniert, auf der die Blockierungs- oder Freigabeentscheidung getroffen wird, wird es zum natürlichen Intermediär in jeder Micropayment- oder Lizenzierungsarchitektur, die sich entwickelt.