클라우드플레어는 AI 크롤러 차단 및 크롤당 결제 시스템을 도입했습니다. 도메인 고객은 AI 크롤러 차단 여부를 선택할 수 있으며, 비공개 베타로 크롤러가 콘텐츠 접근 시 요금을 부과합니다. 매튜 프린스 CEO는 출판사들이 존재론적 위협에 직면했다고 강조하며, 창작자와 AI 기업 간 균형을 목표로 합니다.
클라우드플레어(Cloudflare)는 AI 봇 크롤러를 차단하기 위한 새로운 조치를 발표했습니다. 우선, 회사에 새로 가입하여 웹사이트 트래픽을 관리하려는 도메인 고객은 AI 크롤러를 허용할지 완전히 차단할지를 선택할 수 있습니다. 2024년에 클라우드플레어는 AI 봇을 차단할 수 있는 무료 도구를 출시했지만, 이번 변화로 사용자는 설정을 조정하지 않고도 기본적으로 AI 봇을 차단할 수 있게 되었습니다. Condé Nast, TIME, The Associated Press를 포함한 여러 대형 출판사는 이미 크롤러 차단에 가입했습니다. 또한, 클라우드플레어는 “크롤당 결제(pay per crawl)”라는 이름의 비공개 베타 시험을 시작했으며, 이는 크롤러가 웹사이트의 콘텐츠에 접근하려면 비용을 지불해야 가능하게 합니다.
클라우드플레어의 CEO 매튜 프린스(Matthew Prince)는 최근 발표를 통해, 사용자들이 챗봇의 출처 링크를 클릭하지 않기 때문에 출판사들이 존재론적 위협에 직면하고 있다고 언급했습니다. 사용자들이 출처를 방문하지 않으면 웹사이트는 운영에 필요한 광고 수익을 얻지 못합니다. 프린스는 “오리지널 콘텐츠는 지난 세기 동안 인터넷을 가장 위대한 발명품 중 하나로 만든 원천이며, 창작자들이 이를 계속 만들어나가는 것이 필수적입니다”라고 강조했습니다. “AI 크롤러는 무제한으로 콘텐츠를 긁어가고 있습니다. 우리는 창작자들에게 힘을 되돌려주면서도 AI 회사들이 혁신할 수 있도록 돕는 것이 목표입니다. 이는 새로운 모델을 통해 모든 사람에게 유용한 자유롭고 활기찬 인터넷의 미래를 보호하는 일입니다.”
클라우드플레어는 출판사들이 AI 봇에게 콘텐츠 접근에 대한 요금을 부과할 수 있어야 한다고 믿으며, 크롤당 결제는 이를 위한 첫 번째 시험입니다. “AI 크롤러가 콘텐츠 요청을 할 때마다, 그들은 성공적으로 접근할 수 있도록 요청 헤더를 통해 결제 의사를 표시하거나, 402 Payment Required 응답과 함께 가격을 받습니다,”라고 클라우드플레어는 설명했습니다. 회사는 이러한 거래를 기록하고, 기본 기술 인프라를 제공합니다. 출판사들은 특정 크롤러에게 콘텐츠에 무료로 접근할 수 있게 허용할 수 있으며, 다른 크롤러에게는 웹사이트 전반에 걸쳐 균일한 요청당 가격을 설정할 수 있습니다.
클라우드플레어는 크롤당 결제가 아직 초기 단계에 있으며, 이 도구가 미래에 발전할 것으로 기대한다고 밝혔습니다. 또한, 출판사들이 AI 크롤러에게 콘텐츠에 대한 요금을 부과할 수 있도록 다른 마켓플레이스와 방법의 개발도 지원하고 있다고 전했습니다. 예를 들어, 마켓플레이스는 콘텐츠 유형에 따라 출판사들이 다른 요금을 부과할 수 있는 동적 가격 책정을 가능하게 할 수 있습니다.
※출처: Engadget
