"Pay Per Crawl"의 혁명: 어떻게… · ELECTE

웹 콘텐츠를 무료로 수집하던 시대가 끝나가고 있다. 새로운 플랫폼들이 AI 봇을 무료 방문객에서 진짜 고객으로 바꾸는 방법을 소개한다.

문제: AI가 퍼블리셔와의 약속을 어길 때

구글 모델: 성공적인 균형

20년 넘게 웹은 암묵적인 협약 위에서 돌아갔다. 구글을 비롯한 검색 엔진들은 퍼블리셔의 콘텐츠를 무료로 색인하고 자사 페이지에 스니펫과 요약을 노출했지만, 그 대가로 원본 사이트로 막대한 트래픽을 되돌려주었다. 퍼블리셔들은 이러한 콘텐츠 "활용"을 받아들였는데, 그 대가로 노출과 독자, 그리고 그에 따른 광고 수익을 얻었기 때문이다.

Google 뉴스는 수천 개의 출처에서 뉴스를 취합하여 헤드라인과 짧은 발췌문을 보여주되, 클릭할 때마다 원래 사이트로 이동하는 모델을 완성했습니다. 디지털 정보 생태계를 지탱해 온 상생의 균형.

균형을 깨는 AI

이제 여러분이 뉴스 사이트를 운영한다고 상상해보자. 매일 수천 개의 AI 봇이 여러분의 기사를 스캔하고, 그 콘텐츠로 자사 모델을 학습시키고, 사용자에게 완결된 답변을 제공하지만 여러분의 사이트로는 단 한 번도 트래픽을 돌려보내지 않는다는 사실을 발견하게 된다. 링크를 생성하지 않고, 클릭도 생성하지 않는 AI: 직접 답을 내놓을 뿐이다. 2025년의 현실에 오신 것을 환영한다.

Cloudflare의 데이터에 따르면, 2025년 중반까지 AI 크롤링 활동의 80%가 모델 학습을 목적으로 하는 반면, 퍼블리셔로의 리퍼럴(특히 구글발)은 급격히 줄어들고 있다. 20년간 작동해온 모델이 무너지고 있다: 구글 자체도 AI Overviews를 통해 원본 사이트로 보내는 트래픽을 점점 줄이고 있다. "크롤링 대 리퍼럴" 비율은 충격적인 수치를 보여준다: Anthropic은 사이트로 보내는 방문자 1명당 크롤링 38,000회라는 비율을 기록하고 있으며, OpenAI는 1,700:1에 달한다.

하지만 봇이 콘텐츠의 단순한 무료 소비자가 아니라 유료 고객이 될 수 있다면 어떨까요? 이제 새로운 계약이 필요한 시점입니다. AI가 예전 구글처럼 더 이상 리턴 트래픽을 보장할 수 없다면, 최소한 콘텐츠 접근에 대한 비용을 지불해야 합니다.

솔루션: 크롤링당 지불 및 AI 소액 결제

클라우드플레어가 춤을 추다

2025년 7월, Cloudflare가 발표한 바에 따르면, 이 회사는 AI 크롤러를 기본적으로 차단하는 최초의 인터넷 인프라 기업이 되었으며, 동시에 "Pay Per Crawl" 시스템을 도입했습니다. 새로운 점은? Cloudflare에 새로 등록하는 모든 도메인은 이제 AI 크롤러의 콘텐츠 접근을 허용할지 명시적으로 질문받습니다.

하지만 진정한 게임 체인저는 퍼블리셔가 AI 기업으로부터 보상을 요청할 수 있는 마켓플레이스입니다. 자사 페이지가 스캔될 때마다 말이죠. 더 이상 단순히 "허용" 또는 "차단"뿐만 아니라, 세 번째 옵션인 "유료화"가 생긴 것입니다.

톨비트: AI 소액 결제의 선구자

Cloudflare보다 먼저, TollBit이 이 인프라 구축을 시작했습니다. 최근 시리즈 A에서 2,400만 달러를 조달한 이 스타트업은 AI 봇이 웹사이트에 직접 비용을 지불하고 콘텐츠를 이용할 수 있는 플랫폼을 만들었습니다.

TIME과 Adweek는 이 모델을 실험하고 있는 초기 고객 중 하나로, AI가 특정한 요구사항을 가진 새로운 고객 카테고리라는 사실을 발견하고 있습니다.

숫자: 실제로 얼마를 벌 수 있을까요?

톨비트 예측

한 상세 분석에 따르면, TollBit은 이미 파트너 퍼블리셔들을 위해 연간 약 7,100만 달러를 창출하고 있을 수 있습니다. 그 방법은 다음과 같습니다:

기하급수적으로 증가하는 트래픽: TollBit 고객 사이트로 향하는 AI 봇 트래픽이 분기마다 두 배씩 증가했습니다
2024년 4분기: 일일 275만 건의 봇 접속
2025년 1분기: 650만 건의 접속
2025년 2분기 예상치: 1,300만 건의 접속

콘텐츠 사이트의 일반적인 CPM인 15달러를 적용하면, 이는 TollBit 생태계 전체에 하루 19만 5,000달러, 즉 연간 7,100만 달러 이상의 잠재적 수익으로 환산됩니다.

가격 모델

TollBit은 두 가지 가격 수준을 제안합니다:

요약(Summarization) 요금: 콘텐츠를 요약하려는 봇을 위한 요금
신디케이션(Syndication) 요금: 전체 기사를 표시하려는 봇을 위한, 훨씬 더 높은 요금

그 차이가 상당할 수 있으므로 프리미엄 및 전문 콘텐츠에 특히 매력적인 모델입니다.

현장의 실제 데이터

TollBit이 160개 웹사이트를 대상으로 실시한 분석에 따르면, AI 기업들은 2024년 4분기에 평균 200만 회 크롤링을 수행한 것으로 나타났습니다. 페이지당 평균 7회씩 크롤링되었습니다.

TollBit의 공동 창업자 Toshit Panigrahi는 이렇게 설명합니다: "이러한 AI 플랫폼들이 생성하는 봇 트래픽은 20년 동안 존재해온 검색 엔진의 봇 트래픽과 거의 맞먹는 수준이며, 이는 놀라운 일입니다."

진화하는 에코시스템

DataDome: 보호 및 수익화

DataDome은 TollBit 및 다른 플랫폼들과 파트너십을 체결하여 통합 솔루션을 제공합니다: 악성 봇에 대한 실시간 보호와 규정을 준수하는 봇의 수익화입니다.

그들의 데이터에 따르면 AI 트래픽은 불과 6개월 만에 세 배로 증가하여, 전체 검증된 봇 트래픽 중 2.6%에서 8.2%로 늘어났습니다.

스카이파이어: AI 결제 네트워크

Skyfire는 다른 접근 방식을 취하고 있으며, 자율 AI 에이전트를 위한 전체 결제 네트워크를 구축하고 있습니다. 850만 달러 투자 유치와 DataDome 같은 기업들과의 파트너십을 통해, Skyfire는 AI 경제를 위한 표준 결제 인프라가 되는 것을 목표로 하고 있습니다.

퍼블리셔에게 미치는 영향: 기회와 도전 과제

구체적인 이점

새로운 수익원: 전통적인 광고를 넘어선 다각화
세밀한 제어: 어떤 봇에게 어떤 가격으로 접근을 허용할지 선택할 수 있는 가능성
완전한 가시성: 누가 콘텐츠에 접근하고 얼마나 자주 접근하는지에 대한 상세 대시보드
직접 보상: 광고 중개자 없는 즉각적인 결제

현실적인 과제

제한적인 도입: 모든 AI 기업이 비용 지불에 동의하지는 않을 것입니다
복잡한 가격 책정: 콘텐츠 유형별로 적정 가치를 산정하기가 어렵습니다
규정 준수(Enforcement): 많은 봇들이 계속해서 규칙을 무시할 것입니다(2024년 3.3%에서 2025년 3월 13%로 증가)
필요한 규모: 소액 결제는 대량의 물량이 있어야만 의미 있는 수준이 됩니다

퍼블리셔를 위한 현실적인 예측

편리함의 한계: 차단이 항상 효과가 있는 것은 아닙니다.

수치를 분석하기 전에, Pay Per Crawl이 모두에게 유리한 것은 아니라는 점을 짚고 넘어갈 필요가 있습니다. 트래픽이 제한적인 사이트의 경우, AI 봇에게 무료 접근을 허용하는 것이 전략적으로 더 유리할 수 있습니다: 이는 AI 시스템 내에서 콘텐츠의 발견 가능성을 높이고, 신흥 플랫폼들과의 관계를 구축하며, 향후 기회를 대비해 사이트를 "AI 친화적"으로 자리매김하게 합니다.

직접 수익 창출은 볼륨이 관리 복잡성과 구현 비용을 정당화할 수 있을 때만 매력적으로 다가옵니다.

소규모 사이트(월 10,000회 방문)의 경우

예상 봇 트래픽: 월 500-1,000회 AI 접속
잠재 수익: 월 $5-50 (CPM 및 승인율에 따라 다름)
영향: 미미함, 가시성을 위해 개방 상태를 유지하는 것이 더 나은 경우가 많음
권장 사항: 모니터링하고 전략적인 무료 접근을 평가할 것

중간 규모 사이트(월 10만회 방문)

예상 봇 트래픽: 월 5,000-15,000회 AI 접속
잠재 수익: 월 $75-750
영향: 수익화를 고려하기 시작하는 것이 타당해지는 임계점
권장 사항: 유료 프리미엄 콘텐츠로 실험할 것

대형 퍼블리셔(월 100만회 이상 방문)의 경우

예상 봇 트래픽: 월 50,000-200,000회 이상 AI 접속
잠재 수익: 월 $750-10,000 이상
영향: 실질적인 새로운 비즈니스 라인이 될 잠재력
권장 사항: 즉시 도입 권장

콘텐츠 라이선싱의 미래

Prashanth Chandrasekar, Stack Overflow CEO는 상황을 완벽하게 요약합니다: "LLM에 데이터를 제공하는 커뮤니티 플랫폼은 그 기여에 대해 보상을 받아야 하며, 이를 통해 자신들의 커뮤니티에 재투자할 수 있어야 합니다."

향후 3년 내 460억 달러 규모에 이를 것으로 예상되는 AI-to-AI 상거래를 배경으로, 이 생태계에 일찌감치 자리 잡는 퍼블리셔는 상당한 경쟁 우위를 확보할 수 있습니다.

결론: 행동할 때가 되었나요?

"Pay Per Crawl"는 더 이상 공상 과학이 아니라 실질적인 현실입니다. 퍼블리셔에게 있어 문제는 이 모델이 자리 잡을 것인가가 아니라, 언제, 어떻게 그 가치를 포착하기 위해 적응할 수 있는가입니다.

불편한 진실: 모두가 즉시 수익화해야 하는 것은 아닙니다. 트래픽이 제한적인 사이트(월 5만 방문 미만)의 경우, AI 봇에게 자유로운 접근을 유지하는 것이 미래의 기회를 위한 가시성과 관계 구축 측면에서 전략적으로 더 유리할 수 있습니다. 직접 수익화가 타당해지는 임계점은 일반적으로 상당한 트래픽 규모에서 도달됩니다.

특히 양질의 콘텐츠와 상당한 트래픽을 보유한 중대형 퍼블리셔에게는 매력적인 잠재 수익이 될 것으로 예상됩니다. 하지만 성공 여부는 능력에 달려 있습니다:

자신의 타당성 임계점을 평가할 것(트래픽 규모 대 관리 복잡성)
올바른 전략을 선택할 것(자유 접근, 전면 차단, 또는 수익화)
올바른 플랫폼을 선택할 것(Cloudflare, TollBit, 또는 통합 솔루션)
경쟁력 있으면서도 수익성 있는 가격을 설정할 것
마이크로 결제를 정당화할 만한 콘텐츠 품질을 유지할 것
지속적으로 접근 방식을 모니터링하고 최적화할 것

실험할 의향이 있는 상당한 트래픽을 보유한 퍼블리셔에게 2025년은 AI가 단순한 비용에서 마침내 비즈니스 기회로 전환되는 해가 될 수 있습니다. 나머지 모든 이들에게는 향후 이 기회를 포착하기 위한 기반을 다질 때일 수 있습니다.

주요 출처:

크롤링당 비용 지불 혁명: 퍼블리셔가 AI 트래픽으로 수익을 창출하는 방법

AI로 이 아티클 요약하기