Як сайти тепер можуть контролювати і заробляти на AI які копіюють їхній контент

Cloudflare, провайдер хмарної інфраструктури, який обслуговує 20% інтернету, оголосив про запуск нового маркетплейсу, який переосмислює відносини між власниками сайтів і AI-компаніями — даючи видавцям більше контролю над своїм контентом.

За минулий рік Cloudflare створив інструменти, які допомагають сайтам боротися з AI-ботами, що збирають їхній контент. Це, наприклад, кнопка, щоб одним кліком заблокувати всіх таких ботів, і спеціальна панель, де можна бачити, як саме вони заходять на сайт. У 2024 році керівник компанії Меттью Принс казав, що це готує базу для нового сервісу — де сайти можуть продавати свій контент AI-компаніям і отримувати гроші. І ось тепер цей сервіс починає працювати.

Що таке Pay per Crawl і як він працює

Новий сервіс називається Pay per Crawl — «плати за сканування». Зараз він тестується в обмеженому режимі. Власники сайтів можуть самі вирішувати, чи дозволити AI-ботам збирати їхній контент, і якщо так — то за яку ціну. Можна дозволити безкоштовний доступ або зовсім заблокувати ботів. Cloudflare також показує, навіщо саме боти сканують сайт — чи для навчання AI, чи щоб включити інформацію в пошукові відповіді, або з інших причин.

Щоб брати участь у цій системі, і сайти, і AI-компанії повинні мати акаунти в Cloudflare. Вони домовляються про ціну за кожне сканування, а Cloudflare отримує гроші від AI і переводить їх сайтам. Зараз це не працює з криптовалютами, але компанія думає зробити свій власний «стейблкоїн» — тип цифрової валюти.

Контроль над ботами — нові правила для сайтів

Cloudflare також повідомив, що всі нові сайти, створені на їхній платформі, автоматично блокуватимуть AI-ботів. Власники мають вручну дати дозвіл, якщо хочуть їх пропускати. Вже багато великих медіа, як Conde Nast, TIME і Fortune, підтримали цю ідею «блокування за замовчуванням».

Раніше сайти дозволяли Google сканувати свої сторінки, щоб отримувати трафік і гроші з реклами. Але тепер дані показують, що Google робить лише 14 сканувань на кожен перехід на сайт, а AI-боти OpenAI і Anthropic — тисячі разів більше, але майже не дають переходів.

Нова загроза для сайтів — AI, який бере контент без переходів

Google і OpenAI створюють «розумних» AI-агентів, які самі шукають інформацію на сайтах і віддають її користувачам без переходу на сам сайт. Це загрожує доходам сайтів, бо трафік падає.

Cloudflare вважає, що сервіс Pay per Crawl стане корисним, коли такі AI-агенти почнуть працювати самостійно і платити за контент напряму.

Уяви, що ти просиш AI знайти нове дослідження, юридичний документ чи ресторан, а він має бюджет, щоб купити найкращу інформацію для тебе.

Чи вдасться переконати AI-компанії платити?

Цей маркетплейс — велика ідея, але поки не ясно, чи захочуть AI-компанії платити, бо зараз вони отримують контент безкоштовно. Водночас Cloudflare — одна з небагатьох компаній, що може це організувати.

Авторка: Дар’я Бровченко

Джерело