Die Revolution des "Pay Per Crawl": Wie Verlage… · ELECTE

Die Ära der kostenlosen Content-Sammlung aus dem Web geht zu Ende. So verwandeln neue Plattformen KI-Bots von nicht zahlenden Besuchern in echte Kunden.

Das Problem: Wenn KI den Pakt mit den Verlegern bricht

Das Google-Modell: Ein Gleichgewicht, das funktionierte

Über zwanzig Jahre lang funktionierte das Web nach einem ungeschriebenen Pakt: Google und andere Suchmaschinen indexierten kostenlos die Inhalte der Publisher, zeigten Snippets und Zusammenfassungen auf ihren Seiten, lenkten im Gegenzug jedoch massiven Traffic zurück auf die ursprünglichen Websites. Die Publisher akzeptierten diese "Nutzung" ihrer Inhalte, weil sie dafür Sichtbarkeit, Leser und in der Folge Werbeeinnahmen erhielten.

Google News hat dieses Modell perfektioniert: Es fasst Nachrichten aus Tausenden von Quellen zusammen, zeigt Schlagzeilen und kurze Auszüge, aber jeder Klick führt den Nutzer auf die Originalseite. Eine Win-Win-Balance, die das digitale Informationsökosystem aufrechterhalten hat.

AI stört das Gleichgewicht

Stellen Sie sich nun vor, Sie betreiben eine Nachrichtenseite und stellen fest, dass täglich Tausende von KI-Bots Ihre Artikel durchsuchen, die Inhalte zur Fütterung ihrer Modelle nutzen und Nutzern vollständige Antworten liefern, ohne jemals Traffic auf Ihre Website zurückzulenken. KI, die keine Links generiert und keine Klicks erzeugt: Sie antwortet direkt. Willkommen in der Realität von 2025.

Laut Daten von Cloudflare entfallen bis Mitte 2025 80% der KI-Crawling-Aktivität auf das Modelltraining, während die Referrals zu den Verlagen (insbesondere von Google) drastisch zurückgehen. Das Modell, das zwanzig Jahre lang funktioniert hat, bricht zusammen: Google selbst schickt mit seinen AI Overviews immer weniger Traffic zu den Ursprungsseiten. Das Crawl-to-Refer-Verhältnis zeigt erschütternde Zahlen: Anthropic weist ein Verhältnis von 38.000 Crawls pro an die Website gesendetem Besucher auf, während OpenAI 1.700:1 erreicht.

Aber was würde passieren, wenn Bots zu zahlenden Kunden werden könnten, statt bloße kostenlose Konsumenten von Inhalten zu sein? Es ist Zeit für einen neuen Pakt: Wenn KI nicht mehr wie früher Google Rücklauf-Traffic garantieren kann, muss sie zumindest für den Zugang zu den Inhalten bezahlen.

Die Lösung: Pay-per-Crawl und KI-Mikropayments

Cloudflare eröffnet die Tänze

Im Juli 2025 hat Cloudflare angekündigt, das erste Internet-Infrastrukturunternehmen zu sein, das KI-Crawler standardmäßig blockiert, und führte gleichzeitig das System "Pay Per Crawl" ein. Die Neuerung? Jede neue Domain, die sich bei Cloudflare registriert, wird nun ausdrücklich gefragt, ob sie KI-Crawlern den Zugriff auf die Inhalte erlauben möchte.

Der eigentliche Game-Changer ist jedoch der Marktplatz, auf dem Verlage Vergütungen verlangen können von KI-Unternehmen, jedes Mal, wenn eine ihrer Seiten gescannt wird. Nicht mehr nur "erlauben" oder "blockieren", sondern eine dritte Option: "bezahlen lassen".

TollBit: Der KI-Pionier für Micropayment

Noch vor Cloudflare hatte TollBit begonnen, diese Infrastruktur aufzubauen. Das Startup, das kürzlich 24 Millionen Dollar in einer Series A eingesammelt hat, hat eine Plattform geschaffen, auf der KI-Bots Websites direkt für die Nutzung ihrer Inhalte bezahlen können.

TIME und Adweek gehören zu den ersten Kunden, die dieses Modell testen und dabei feststellen, dass KI eine neue Kundenkategorie mit spezifischen Anforderungen darstellt.

Die Zahlen: Wie viel können Sie wirklich verdienen?

TollBit-Projektionen

Einer detaillierten Analyse zufolge könnte TollBit bereits rund 71 Millionen Dollar pro Jahr für seine Verlagspartner generieren. So sieht es aus:

Exponentiell wachsender Traffic: Der KI-Bot-Traffic zu den TollBit-Kundenseiten hat sich jedes Quartal verdoppelt
Q4 2024: 2,75 Millionen Bot-Zugriffe täglich
Q1 2025: 6,5 Millionen Zugriffe
Prognose Q2 2025: 13 Millionen Zugriffe

Bei einem typischen CPM von 15 $ für Content-Websites ergibt das 195.000 $ pro Tag an potenziellen Einnahmen für das TollBit-Ökosystem, also über 71 Millionen $ jährlich.

Das Preismodell

TollBit schlägt zwei Preisstufen vor:

Summarization rate: Für Bots, die Inhalte zusammenfassen wollen
Syndication rate: Deutlich höher, für Bots, die den vollständigen Artikel anzeigen wollen

Der Unterschied kann beträchtlich sein, was dieses Modell für Premium- und Spezialinhalte besonders attraktiv macht.

Tatsächliche Daten aus der Praxis

Eine Analyse von TollBit zu 160 Websites hat ergeben, dass AI-Unternehmen im Durchschnitt 2 Millionen Mal im Q4 2024 gecrawlt haben. Jede Seite wurde im Durchschnitt 7 Mal gecrawlt.

Toshit Panigrahi, Mitgründer von TollBit, erklärt: "Der von diesen AI-Plattformen generierte Bot-Traffic entspricht nahezu dem Bot-Traffic von Suchmaschinen, die es seit 20 Jahren gibt, was unglaublich ist."

Das sich entwickelnde Ökosystem

DataDome: Schutz und Monetarisierung

DataDome hat eine Partnerschaft geschlossen sowohl mit TollBit als auch mit anderen Plattformen, um eine integrierte Lösung anzubieten: Echtzeitschutz vor bösartigen Bots und Monetarisierung der konformen.

Ihre Daten zeigen, dass sich der AI-Traffic in nur sechs Monaten verdreifacht hat, von 2,6% auf 8,2% des gesamten verifizierten Bot-Traffics.

Skyfire: Das KI-Zahlungsnetzwerk

Skyfire verfolgt einen anderen Ansatz und baut ein ganzes Zahlungsnetzwerk für autonome AI-Agenten auf. Mit 8,5 Millionen $ an Kapital und Partnerschaften mit Unternehmen wie DataDome will Skyfire zur Standard-Zahlungsinfrastruktur für die AI-Wirtschaft werden.

Die Auswirkungen für Verleger: Chancen und Herausforderungen

Die konkreten Vorteile

Neue Einnahmequelle: Diversifizierung über traditionelle Werbung hinaus
Granulare Kontrolle: Möglichkeit zu wählen, welche Bots zugreifen dürfen und zu welchem Preis
Vollständige Transparenz: Detaillierte Dashboards darüber, wer auf Inhalte zugreift und wie oft
Direkte Vergütung: Sofortige Zahlungen ohne Werbe-Vermittler

Realistische Herausforderungen

Begrenzte Akzeptanz: Nicht alle AI-Unternehmen werden bereit sein zu zahlen
Komplexes Pricing: Schwierig, den korrekten Wert je Inhaltstyp zu bestimmen
Durchsetzung: Viele Bots werden die Regeln weiterhin ignorieren (von 3,3% im Jahr 2024 auf 13% im März 2025)
Notwendige Skalierung: Mikrozahlungen werden erst bei hohen Volumen wirklich relevant

Realistische Prognosen für Verleger

Die Schwelle der Bequemlichkeit: Blockieren zahlt sich nicht immer aus

Bevor wir die Zahlen analysieren, ist es wichtig zu betonen, dass Pay Per Crawl sich nicht für alle lohnt. Für Websites mit begrenztem Traffic kann es strategisch vorteilhafter sein, AI-Bots kostenlosen Zugang zu gewähren: Das erhöht die Auffindbarkeit von Inhalten in AI-Systemen, baut Beziehungen zu aufstrebenden Plattformen auf und positioniert die Website im Hinblick auf zukünftige Chancen als "AI-freundlich".

Die direkte Monetarisierung wird nur dann attraktiv, wenn das Volumen den Verwaltungsaufwand und die Implementierungskosten rechtfertigt.

Für kleine Websites (10K Besuche/Monat)

Geschätzter Bot-Traffic: 500-1.000 AI-Zugriffe/Monat
Potenzielle Einnahmen: 5-50 $/Monat (abhängig von CPM und Acceptance Rate)
Auswirkung: Marginal, oft ist es besser, für die Sichtbarkeit offen zu bleiben
Empfehlung: Beobachten und strategischen kostenlosen Zugang abwägen

Für mittlere Websites (100K Besuche/Monat)

Geschätzter Bot-Traffic: 5.000-15.000 AI-Zugriffe/Monat
Potenzielle Einnahmen: $75-750/Monat
Auswirkung: Schwelle, ab der eine Monetarisierung sinnvoll wird
Empfehlung: Mit kostenpflichtigen Premium-Inhalten experimentieren

Für große Verlage (mehr als 1 Million Besuche/Monat)

Geschätzter Bot-Traffic: 50.000-200.000+ AI-Zugriffe/Monat
Potenzielle Einnahmen: $750-10.000+/Monat
Auswirkung: Potenzielle neue, substanzielle Geschäftslinie
Empfehlung: Sofortige Umsetzung empfohlen

Die Zukunft der Lizenzierung von Inhalten

Prashanth Chandrasekar, CEO von Stack Overflow, bringt die Situation perfekt auf den Punkt: "Community-Plattformen, die LLMs mit Daten versorgen, sollten für ihre Beiträge entschädigt werden, damit sie in ihre Communities reinvestieren können."

Da der AI-zu-AI-Handel in den nächsten drei Jahren voraussichtlich 46 Milliarden Dollar erreichen wird, könnten sich Verlage, die sich frühzeitig in diesem Ökosystem positionieren, einen erheblichen Wettbewerbsvorteil verschaffen.

Fazit: Zeit zum Handeln?

"Pay Per Crawl" ist keine Science-Fiction mehr, sondern gelebte Praxis. Für Verlage stellt sich nicht die Frage, ob sich dieses Modell durchsetzen wird, sondern ob und wann sie sich anpassen können, um dessen Wert abzuschöpfen.

Die unbequeme Wahrheit: Nicht jeder sollte sofort monetarisieren. Für Websites mit begrenztem Traffic (<50.000 Besuche/Monat) kann es strategisch vorteilhafter sein, den freien Zugang für AI-Bots beizubehalten und so Sichtbarkeit und Beziehungen für künftige Chancen aufzubauen. Die Rentabilitätsschwelle für eine direkte Monetarisierung wird in der Regel erst bei erheblichen Traffic-Volumina erreicht.

Die Prognosen zeigen ein attraktives Einnahmepotenzial für mittlere und große Verlage, insbesondere bei qualitativ hochwertigen Inhalten und hohem Traffic. Der Erfolg wird jedoch von der Fähigkeit abhängen,:

Die eigene Rentabilitätsschwelle bewerten (Volumen vs. Verwaltungsaufwand)
Die richtige Strategie wählen (freier Zugang, vollständige Sperrung oder Monetarisierung)
Die richtige Plattform wählen (Cloudflare, TollBit oder integrierte Lösungen)
Wettbewerbsfähige, aber rentable Preise festlegen
Die Qualität der Inhalte beibehalten, die die Mikrozahlungen rechtfertigt
Den Ansatz laufend überwachen und optimieren

Für Verlage mit substanziellem Traffic, die bereit sind zu experimentieren, könnte 2025 das Jahr sein, in dem AI aufhört, nur ein Kostenfaktor zu sein, und endlich zu einer Geschäftschance wird. Für alle anderen kann es an der Zeit sein, die Grundlagen zu schaffen, um diese Chance in Zukunft zu nutzen.

Hauptquellen:

Die Pay-per-Crawl-Revolution: Wie Verlage den KI-Traffic monetarisieren können

Diesen Artikel mit KI zusammenfassen