AI 챗봇의 부상으로 출판업계의 광고 수익이 위협받고 있습니다. Cloudflare의 CEO 매튜 프린스는 AI가 사용자의 사이트 방문을 감소시켜 출판업계의 위기를 초래한다고 지적했습니다. AI 챗봇의 요약본에 대한 의존도가 높아지며 광고 수익이 감소해 출판사들은 적절한 보상을 받을 필요가 있습니다. 프린스는 AI 크롤러를 차단하는 도구 개발을 통해 이를 해결하려고 합니다.
생성형 AI를 개발하는 기업들은 자사의 챗봇이 사용자에게 제공하는 답변에 웹사이트 링크를 포함시킨다고 항상 강조합니다. 그러나 Cloudflare의 CEO 매튜 프린스는 Axios와의 인터뷰에서 검색 트래픽 리퍼럴이 계속 급감하고 있음을 밝혔습니다. 그는 사람들이 챗봇 링크를 통해 사이트를 방문하기보다 AI 요약본에 더 의존하게 되면서 출판업계가 존재의 위기를 직면하고 있다고 언급했습니다.
프린스는 10년 전 구글이 크롤링한 두 개의 페이지마다 출판사에 한 명의 방문자를 보냈던 반면, 6개월 전에는 여섯 개의 페이지마다 한 명, 현재는 18개의 페이지마다 한 명으로 비율이 떨어졌다고 설명했습니다. OpenAI는 6개월 전에는 250개의 페이지를 크롤링할 때마다 한 명의 방문자를 출판사에 보냈고, Anthropic은 6,000개의 페이지마다 한 명을 보냈습니다. 현재 OpenAI는 1,500개의 페이지마다 한 명을 보내고 있고, Anthropic은 60,000개의 페이지마다 한 명을 보냅니다.
사람들은 지난 몇 달간 AI 챗봇을 더욱 신뢰하게 되었습니다. 출판사들의 문제는 사람들이 사이트로의 링크를 클릭하지 않으면 광고 수익이 발생하지 않는다는 점입니다. 그래서 프린스는 출판사가 적정한 보상을 받을 수 있도록 조치를 취할 것을 권장하고 있습니다. 프린스는 Cloudflare가 이미 ‘no crawl’ 지시가 있는 웹 페이지에서도 대형 언어 모델을 위한 콘텐츠 스크래핑을 차단할 수 있는 도구를 개발 중이라고 밝혔습니다. 2024년에 여러 매체는 AI 기업들이 웹사이트의 Robots Exclusion Protocol, 즉 robots.txt 파일을 무시하고 그 콘텐츠를 가져가 기술을 훈련시키고 있다고 보도한 바 있습니다.
Cloudflare는 작년부터 스크래퍼를 차단할 방법을 모색해왔습니다. 그러나 정식으로 AI Labyrinth를 도입한 것은 올해 3월입니다. 이 도구는 ‘no crawl’ 지침을 따르지 않는 AI 크롤러 및 기타 봇의 자원 낭비를 목적으로 AI 생성 콘텐츠를 사용하여 선동하고 혼란 시킵니다. 이 방식은 승인되지 않은 크롤러를 일련의 설득력 있는 AI 생성 페이지로 연결시키지만, 실제로 해당 도구가 보호하는 사이트의 콘텐츠를 포함하지 않습니다. 이를 통해 크롤러는 시간과 자원을 낭비하게 됩니다.
“저는 매일 중국, 러시아, 이란, 북한, 아마도 미국, 이스라엘 정부 등 우리의 고객 사이트에 해킹을 시도하는 이들과 전쟁을 벌이고 있습니다,”라고 프린스는 말했습니다. “그런데 팔로 알토에 있는 어떤 기업의 개발자들조차 막지 못한다니 말이 되나요?”
※출처: Engadget
