De Revolutie van "Pay Per Crawl": Hoe… · ELECTE

Het tijdperk van het gratis verzamelen van webinhoud loopt ten einde. Zo veranderen nieuwe platformen AI-bots van niet-betalende bezoekers in echte klanten.

Het probleem: wanneer AI het pact met uitgevers verbreekt

Het Google-model: een balans die werkte

Meer dan twintig jaar lang draaide het web op een ongeschreven pact: Google en andere zoekmachines indexeerden gratis de content van uitgevers, toonden snippets en samenvattingen op hun pagina's, maar stuurden in ruil daarvoor massaal verkeer terug naar de originele sites. Uitgevers accepteerden dit "gebruik" van hun content omdat ze zichtbaarheid, lezers en, als gevolg daarvan, advertentie-inkomsten kregen.

Google News heeft dit model geperfectioneerd: het verzamelt nieuws uit duizenden bronnen, toont koppen en korte fragmenten, maar elke klik brengt de gebruiker naar de oorspronkelijke site. Een win-win balans die het digitale informatie-ecosysteem in stand heeft gehouden.

AI doorbreekt het evenwicht

Stel je nu voor dat je een nieuwssite beheert en ontdekt dat elke dag duizenden AI-bots je artikelen scannen, de content gebruiken om hun modellen te voeden en volledige antwoorden aan gebruikers geven, zonder ooit verkeer naar jouw site terug te sturen. AI die geen links genereert, en geen clicks genereert: hij antwoordt rechtstreeks. Welkom in de realiteit van 2025.

Volgens gegevens van Cloudflare is tegen medio 2025 80% van de AI-crawlactiviteit bestemd voor het trainen van modellen, terwijl de doorverwijzingen naar uitgevers (vooral vanaf Google) drastisch afnemen. Het model dat twintig jaar heeft gewerkt, brokkelt af: Google zelf stuurt met zijn AI Overviews steeds minder verkeer naar de originele sites. De "crawl-to-refer" ratio toont schokkende cijfers: Anthropic heeft een verhouding van 38.000 scans voor elke bezoeker die naar de site wordt gestuurd, terwijl OpenAI 1.700:1 haalt.

Maar wat zou er gebeuren als bots betalende klanten konden worden in plaats van louter gratis consumenten van content? Het is tijd voor een nieuw pact: als AI niet langer terugkerend verkeer kan garanderen zoals Google dat deed, moet het op zijn minst betalen voor toegang tot content.

De oplossing: betalen per crawl en AI microbetalingen

Cloudflare opent de dans

In juli 2025 heeft Cloudflare aangekondigd dat het het eerste internetinfrastructuurbedrijf is geworden dat AI-crawlers standaard blokkeert, en tegelijkertijd het "Pay Per Crawl"-systeem introduceerde. Het nieuwe? Elk nieuw domein dat zich bij Cloudflare registreert, wordt nu expliciet gevraagd of het AI-crawlers toegang tot de content wil geven.

Maar de echte game-changer is de marketplace waar uitgevers vergoedingen kunnen vragen aan AI-bedrijven telkens wanneer een van hun pagina's wordt gescand. Niet meer alleen "toestaan" of "blokkeren", maar een derde optie: "laten betalen".

TollBit: De AI-pionier op het gebied van microbetalingen

Nog vóór Cloudflare was TollBit al begonnen met het opbouwen van deze infrastructuur. De startup, die onlangs $24 miljoen ophaalde in de Series A, heeft een platform gecreëerd waar AI-bots rechtstreeks websites kunnen betalen om hun content te gebruiken.

TIME en Adweek behoren tot de eerste klanten die met dit model experimenteren en ontdekken dat AI een nieuwe klantencategorie vormt met specifieke behoeften.

De cijfers: Hoeveel kun je echt verdienen?

TollBit prognoses

Volgens een gedetailleerde analyse zou TollBit al ongeveer $71 miljoen per jaar kunnen genereren voor zijn uitgeverspartners. Zo werkt het:

Exponentieel groeiend verkeer: Het AI-botverkeer naar TollBit-klantensites is elk kwartaal verdubbeld
Q4 2024: 2,75 miljoen dagelijkse bot-bezoeken
Q1 2025: 6,5 miljoen bezoeken
Projectie Q2 2025: 13 miljoen bezoeken

Met een typische CPM van $15 voor contentsites vertaalt dit zich naar $195.000 per dag aan potentiële inkomsten voor het TollBit-ecosysteem, oftewel meer dan $71 miljoen per jaar.

Het prijsmodel

TollBit stelt twee prijsniveaus voor:

Summarization rate: Voor bots die de content willen samenvatten
Syndication rate: Veel hoger, voor bots die het volledige artikel willen tonen

Het verschil kan aanzienlijk zijn, waardoor dit een bijzonder aantrekkelijk model is voor premium en gespecialiseerde content.

Feitelijke gegevens uit het veld

Een analyse van TollBit op 160 websites heeft aangetoond dat AI-bedrijven gemiddeld 2 miljoen keer scanden in Q4 2024. Elke pagina werd gemiddeld 7 keer gescand.

Toshit Panigrahi, medeoprichter van TollBit, legt uit: "Het bot-verkeer dat door deze AI-platformen wordt gegenereerd, is bijna gelijk aan het bot-verkeer van zoekmachines die al 20 jaar bestaan, wat ongelooflijk is."

Het evoluerende ecosysteem

DataDome: Bescherming en verzilvering

DataDome heeft partnerships gesloten met zowel TollBit als andere platformen om een geïntegreerde oplossing te bieden: real-time bescherming tegen kwaadwillende bots en monetisatie van conforme bots.

Hun gegevens tonen aan dat het AI-verkeer in slechts zes maanden is verdrievoudigd, van 2,6% naar 8,2% van al het geverifieerde bot-verkeer.

Skyfire: het AI-betalingsnetwerk

Skyfire vertegenwoordigt een andere aanpak, door een heel betalingsnetwerk voor autonome AI-agenten op te bouwen. Met $8,5 miljoen opgehaald en partnerships met bedrijven als DataDome, wil Skyfire de standaard betalingsinfrastructuur worden voor de AI-economie.

De impact voor uitgevers: kansen en uitdagingen

De concrete voordelen

Nieuwe inkomstenbron: Diversificatie voorbij traditionele advertenties
Granulaire controle: Mogelijkheid om te kiezen welke bots toegang krijgen en tegen welke prijs
Volledige zichtbaarheid: Gedetailleerde dashboards over wie toegang heeft tot content en hoe vaak
Directe vergoeding: Onmiddellijke betalingen zonder advertentietussenpersonen

Realistische uitdagingen

Beperkte adoptie: Niet alle AI-bedrijven zullen ermee instemmen te betalen
Complexe prijsstelling: Moeilijk om de juiste waarde per contenttype te bepalen
Handhaving: Veel bots blijven de regels negeren (van 3,3% in 2024 naar 13% in maart 2025)
Benodigde schaal: Micropayments worden alleen significant bij hoge volumes

Realistische voorspellingen voor uitgevers

De drempel van gemak: blokkeren loont niet altijd

Voordat we de cijfers analyseren, is het belangrijk te benadrukken dat Pay Per Crawl niet voor iedereen voordelig is. Voor sites met beperkt verkeer kan het toestaan van gratis toegang aan AI-bots strategisch voordeliger zijn: het vergroot de vindbaarheid van content in AI-systemen, bouwt relaties op met opkomende platformen en positioneert de site als "AI-vriendelijk" met het oog op toekomstige kansen.

Directe tegeldemaking wordt pas aantrekkelijk als de volumes de complexiteit van het beheer en de implementatiekosten rechtvaardigen.

Voor kleine sites (10K bezoeken/maand)

Geschat bot-verkeer: 500-1.000 AI-bezoeken/maand
Potentiële inkomsten: $5-50/maand (afhankelijk van CPM en acceptance rate)
Impact: Marginaal, vaak beter om open te blijven voor zichtbaarheid
Aanbeveling: Monitoren en strategische gratis toegang evalueren

Voor middelgrote sites (100K bezoeken/maand)

Geschat botverkeer: 5.000-15.000 AI-bezoeken/maand
Potentiële inkomsten: $75-750/maand
Impact: Drempel waarop het zinvol begint te worden om monetisatie te overwegen
Aanbeveling: Experimenteren met betaalde premium content

Voor grote uitgevers (1M+ bezoeken/maand)

Geschat botverkeer: 50.000-200.000+ AI-bezoeken/maand
Potentiële inkomsten: $750-10.000+/maand
Impact: Potentieel substantiële nieuwe bedrijfstak
Aanbeveling: Onmiddellijke implementatie aanbevolen

De toekomst van licenties voor inhoud

Prashanth Chandrasekar, CEO van Stack Overflow, vat de situatie perfect samen: "Community-platforms die LLM's voeden zouden gecompenseerd moeten worden voor hun bijdragen, zodat ze kunnen herinvesteren in hun communities."

Met de AI-to-AI-handel die naar verwachting $46 miljard zal bereiken in de komende drie jaar, zouden uitgevers die zich vroeg in dit ecosysteem positioneren een aanzienlijk concurrentievoordeel kunnen behalen.

Conclusie: Tijd voor actie?

"Pay Per Crawl" is geen sciencefiction meer, maar operationele realiteit. Voor uitgevers is de vraag niet óf dit model zich zal doorzetten, maar of en wanneer ze zich kunnen aanpassen om de waarde ervan te benutten.

De ongemakkelijke waarheid: niet iedereen moet meteen monetiseren. Voor sites met beperkt verkeer (<50K bezoeken/maand) kan het behouden van vrije toegang voor AI-bots strategisch voordeliger zijn, om zichtbaarheid en relaties op te bouwen voor toekomstige kansen. De drempel waarbij directe monetisatie de moeite waard wordt, ligt over het algemeen bij aanzienlijke verkeersvolumes.

Prognoses laten aantrekkelijke potentiële inkomsten zien voor middelgrote en grote uitgevers, vooral voor content van hoge kwaliteit en veel verkeer. Het succes zal echter afhangen van het vermogen om:

De eigen drempel van rentabiliteit beoordelen (volumes vs. beheercomplexiteit)
De juiste strategie kiezen (vrije toegang, volledige blokkering, of monetisatie)
Het juiste platform kiezen (Cloudflare, TollBit, of geïntegreerde oplossingen)
Concurrerende maar winstgevende prijzen instellen
Contentkwaliteit behouden die de micropayments rechtvaardigt
De aanpak voortdurend monitoren en optimaliseren

Voor uitgevers met aanzienlijk verkeer die bereid zijn te experimenteren, zou 2025 het jaar kunnen zijn waarin AI ophoudt slechts een kostenpost te zijn en eindelijk een zakelijke kans wordt. Voor alle anderen kan dit het moment zijn om de fundamenten te leggen om deze kans in de toekomst te benutten.

Belangrijkste bronnen:

De Pay Per Crawl-revolutie: hoe uitgevers geld kunnen verdienen aan AI-verkeer

Vat dit artikel samen met AI