Pay per crawl-revolutionen: Hur publicister kan tjäna pengar på AI-trafik

Eran av gratis insamling av webbinnehåll håller på att ta slut. Så här förvandlar nya plattformar AI-bottar från icke-betalande besökare till riktiga kunder.

Problemet: När AI bryter mot pakten med publicisterna

Google-modellen: En balans som fungerade

I över tjugo år har webben fungerat enligt ett oskrivet avtal: Google och andra sökmotorer indexerade utgivarnas innehåll gratis, visade utdrag och sammanfattningar på sina sidor, men skickade i gengäld massiv trafik till de ursprungliga webbplatserna. Utgivarna accepterade denna "användning" av sitt innehåll eftersom de fick synlighet, läsare och därmed annonsintäkter.

Google News har fulländat denna modell: den samlar nyheter från tusentals källor, visar rubriker och korta utdrag, men varje klick tar användaren till den ursprungliga webbplatsen. En win-win-balans som har upprätthållit det digitala ekosystemet för information.

AI bryter balansen

Föreställ er nu att ni driver en nyhetssajt och upptäcker att tusentals AI-bottar varje dag genomsöker era artiklar, använder innehållet för att mata sina modeller och ge fullständiga svar till användarna, utan att någonsin skicka trafik till er sajt. AI som inte genererar länkar och inte genererar klick: den svarar direkt. Välkommen till 2025 års verklighet.

Enligt data från Cloudflare går 80 % av AI-crawlingaktiviteten i mitten av 2025 till modellträning, medan hänvisningarna till utgivare (särskilt från Google) minskar drastiskt. Modellen som har fungerat i tjugo år håller på att smulas sönder: Google självt, med sina AI Overviews, skickar allt mindre trafik till de ursprungliga sajterna. Förhållandet "crawl-till-hänvisning" visar chockerande siffror: Anthropic har ett förhållande på 38 000 genomsökningar för varje besökare som skickas till sajten, medan OpenAI når 1 700:1.

Men vad skulle hända om bottarna kunde bli betalande kunder istället för att bara konsumera innehåll gratis? Det är dags för ett nytt avtal: om AI inte längre kan garantera returtrafik som Google gjorde, måste den åtminstone betala för tillgången till innehållet.

Lösningen: Pay Per Crawl och AI-mikrobetalningar

Cloudflare öppnar danserna

I juli 2025 tillkännagav Cloudflare att man blivit det första internetinfrastrukturföretaget att blockera AI-crawlare som standard, och introducerade samtidigt systemet "Pay Per Crawl". Det nya? Varje ny domän som registreras hos Cloudflare tillfrågas nu uttryckligen om den vill tillåta AI-crawlare att komma åt innehållet.

Men den verkliga game changern är marknadsplatsen där utgivare kan begära ersättning från AI-företag varje gång en av deras sidor skannas. Inte längre bara "tillåt" eller "blockera", utan ett tredje alternativ: "ta betalt".

TollBit: Pionjär inom AI-mikrobetalning

Redan innan Cloudflare hade TollBit börjat bygga denna infrastruktur. Startupen, som nyligen tog in 24 miljoner dollar i en Series A-runda, har skapat en plattform där AI-bottar kan betala webbplatser direkt för att använda deras innehåll.

TIME och Adweek är bland de första kunderna som testar denna modell, och upptäcker att AI utgör en ny kundkategori med specifika behov.

Siffrorna: Hur mycket kan du verkligen tjäna?

TollBit-prognoser

Enligt en detaljerad analys skulle TollBit redan kunna generera cirka 71 miljoner dollar per år till sina utgivarpartner. Så här:

• Exponentiellt växande trafik: AI-bottrafiken till TollBits kundsajter har fördubblats varje kvartal
• Q4 2024: 2,75 miljoner bot-besök per dag
• Q1 2025: 6,5 miljoner besök
• Prognos Q2 2025: 13 miljoner besök

Med en typisk CPM på 15 dollar för innehållssajter innebär detta 195 000 dollar per dag i potentiella intäkter för TollBit-ekosystemet, det vill säga över 71 miljoner dollar årligen.

Prissättningsmodellen

TollBit föreslår två prissättningsnivåer:

• Summarization rate: För bottar som vill sammanfatta innehållet
• Syndication rate: Mycket högre, för bottar som vill visa hela artikeln

Skillnaden kan vara betydande, vilket gör detta till en särskilt attraktiv modell för premium- och specialinnehåll.

Faktiska data från fältet

En analys från TollBit av 160 webbplatser visade att AI-företag i genomsnitt genomförde 2 miljoner genomsökningar under Q4 2024. Varje sida genomsöktes i genomsnitt 7 gånger.

Toshit Panigrahi, medgrundare av TollBit, förklarar: "Bot-trafiken som genereras av dessa AI-plattformar är nästan lika stor som sökmotorernas bot-trafik, som funnits i 20 år, vilket är otroligt."

Det föränderliga ekosystemet

DataDome: Skydd och intäktsgenerering

DataDome har ingått partnerskap med både TollBit och andra plattformar för att erbjuda en integrerad lösning: skydd i realtid mot skadliga bottar och monetisering av de som följer reglerna.

Deras data visar att AI-trafiken tredubblades på bara sex månader, från 2,6 % till 8,2 % av all verifierad bot-trafik.

Skyfire: AI-betalningsnätverket

Skyfire representerar ett annat tillvägagångssätt, genom att bygga upp ett helt betalningsnätverk för autonoma AI-agenter. Med 8,5 miljoner dollar insamlade och partnerskap med företag som DataDome, siktar Skyfire på att bli standardinfrastrukturen för betalningar inom AI-ekonomin.

Konsekvenser för utgivare: Möjligheter och utmaningar

De konkreta fördelarna

1. Ny intäktskälla: Diversifiering bortom traditionell reklam
2. Detaljerad kontroll: Möjlighet att välja vilka bottar som ska få tillgång och till vilket pris
3. Fullständig insyn: Detaljerade dashboards över vem som kommer åt innehållet och hur ofta
4. Direkt ersättning: Omedelbara betalningar utan reklammellanhänder

Realistiska utmaningar

1. Begränsad anslutning: Inte alla AI-företag kommer att acceptera att betala
2. Komplex prissättning: Svårt att fastställa rätt värde per innehållstyp
3. Efterlevnad: Många bottar kommer att fortsätta ignorera reglerna (från 3,3 % 2024 till 13 % i mars 2025)
4. Nödvändig skala: Mikrobetalningar blir betydande endast vid höga volymer

Realistiska prognoser för utgivarna

Tröskeln för bekvämlighet: Blockering lönar sig inte alltid

Innan vi går igenom siffrorna är det viktigt att понтера att Pay Per Crawl inte är lönsamt för alla. För webbplatser med begränsad trafik kan det vara strategiskt mer fördelaktigt att låta AI-bottar få tillgång gratis: det ökar innehållets upptäckbarhet i AI-system, bygger relationer med framväxande plattformar och positionerar webbplatsen som "AI-vänlig" inför framtida möjligheter.

Direkt monetarisering blir attraktivt först när volymerna motiverar komplexiteten i hanteringen och implementeringskostnaderna.

För små webbplatser (10 000 besök/månad)

• Uppskattad bot-trafik: 500–1 000 AI-anrop/månad
• Potentiella intäkter: 5–50 dollar/månad (beroende på CPM och acceptansgrad)
• Påverkan: Marginell, oftast bättre att förbli öppen för synlighet
• Rekommendation: Övervaka och överväg strategisk gratis tillgång

För medelstora webbplatser (100 000 besök/månad)

• Uppskattad bottrafik: 5 000–15 000 AI-besök/månad
• Potentiella intäkter: 75–750 USD/månad
• Påverkan: Tröskeln där det börjar vara meningsfullt att överväga monetisering
• Rekommendation: Experimentera med betalt premiuminnehåll

För stora utgivare (1 miljon besök/månad)

• Uppskattad bottrafik: 50 000–200 000+ AI-besök/månad
• Potentiella intäkter: 750–10 000+ USD/månad
• Påverkan: Potentiellt en ny, betydande affärslinje
• Rekommendation: Omedelbar implementering rekommenderas

Framtiden för innehållslicensiering

Prashanth Chandrasekar, VD för Stack Overflow, sammanfattar situationen perfekt: "Community-plattformar som driver LLM:er borde kompenseras för sina bidrag så att de kan återinvestera i sina communities."

Med AI-till-AI-handeln beräknad att nå 46 miljarder dollar inom de kommande tre åren, kan förlag som positionerar sig tidigt i detta ekosystem hamna med en betydande konkurrensfördel.

Slutsats: Dags att agera?

"Pay Per Crawl" är inte längre science fiction, utan operativ verklighet. För förlag är frågan inte om denna modell kommer att slå igenom, utan om och när de kan anpassa sig för att fånga dess värde.

Den obekväma sanningen: alla bör inte monetisera direkt. För sajter med begränsad trafik (<50 000 besök/månad) kan det vara strategiskt mer fördelaktigt att behålla fri åtkomst för AI-bottar, och på så sätt bygga synlighet och relationer för framtida möjligheter. Lönsamhetströskeln för direkt monetisering nås generellt vid betydande trafikvolymer.

Prognoserna visar på attraktiva potentiella intäkter för medelstora och stora utgivare, särskilt för kvalitetsinnehåll och betydande trafik. Framgång kommer dock att bero på förmågan att:

1. Utvärdera sin egen lönsamhetströskel (volymer vs. administrativ komplexitet)
2. Välja rätt strategi (fri åtkomst, total blockering, eller monetisering)
3. Välja rätt plattform (Cloudflare, TollBit, eller integrerade lösningar)
4. Sätta konkurrenskraftig men lönsam prissättning
5. Behålla innehållskvalitet som motiverar mikrobetalningarna
6. Kontinuerligt övervaka och optimera tillvägagångssättet

För förlag med betydande trafik som är villiga att experimentera kan 2025 bli året då AI slutar vara enbart en kostnad och äntligen blir en affärsmöjlighet. För alla andra kan det vara dags att bygga grunden för att fånga denna möjlighet i framtiden.

Huvudkällor:

• Cloudflare Blog: AI Crawler Control
• TollBit Series A Announcement
• MIT Technology Review: Cloudflare AI Blocking
• DataDome Partnership Announcement
• Skyfire TechCrunch Coverage