Сайти воюють з AI ботами

Все більше сайтів, як-от Вікіпедія чи онлайн-бібліотеки, скаржаться на ботів штучного інтелекту, які копіюють їхній контент без дозволу. Сайти кажуть, що ці боти створюють проблеми — і починають їм протистояти.

Що сталося

Тошіт Паніграхі, керівник компанії TollBit, нещодавно повідомив одному великому спортивному сайту неприємну новину: на ньому «оселилися» AI-боти. За місяць сайт відвідали 13 мільйонів таких ботів. Вони автоматично «зчитували» тексти, щоб використати їх у програмах штучного інтелекту. Але натомість лише 600 людей прийшли на сайт саме через ці системи.

Такі боти ще називають «краулерами». Їх запускають AI-компанії, щоб збирати інформацію з інтернету. Але дедалі більше організацій — новинні медіа, культурні установи, архіви — вважають, що це шкодить їхнім сайтам. Боти створюють надто багато трафіку, збільшують витрати, а користі від цього — мінімум.

Чому це проблема

Уже багато років в інтернеті працюють боти. Наприклад, Google використовує своїх ботів, щоб оновлювати пошукову видачу. А архів Інтернету зберігає копії сторінок, щоб можна було побачити, як виглядали сайти раніше.

Більшість сайтів не проти таких ботів, бо завдяки їм до сайтів приходять нові користувачі. Але з AI-ботами все інакше. Після запуску ChatGPT у 2022 році такі краулери почали з'являтися масово. І сайти скаржаться, що вони не тільки не допомагають, а ще й створюють технічні проблеми і фінансове навантаження.

AI-боти не діють обережно, як Google. Вони можуть «завантажити» цілий сайт за хвилини — всі тексти, фото, навіть відео. Через це сайти не витримують. Наприклад, бібліотека Університету Північної Кароліни повідомила, що система зависла через масову активність AI-ботів. А Вікіпедія змушена була витратити більше грошей, щоб її сайт залишався доступним.

Сайти починають захищатися

Деякі розробники і власники сайтів кажуть, що проблема не тільки в трафіку. Коли AI-боти збирають контент і використовують його для відповідей у чатботах, це позбавляє сайти відвідуваності. А саме від трафіку залежить виживання новинних і незалежних онлайн-ресурсів.

Для прикладу, Google-боти принесли тому ж спортивному сайту мільйони відвідувань. А AI-боти — лише кілька сотень. Але і ті, й інші створили навантаження на систему.

Частина сайтів уже блокує таких ботів або ставить заборони. Але не всі AI-компанії звертають на це увагу. Тому з’являються інші способи боротьби: спеціальні технічні рішення або навіть «платні стіни» — якщо AI хоче далі використовувати контент, то має заплатити.

Деякі компанії, як-от Cloudflare і TollBit, вже пропонують послуги з автоматичного блокування краулерів. А деякі AI-компанії почали укладати партнерства з сайтами й платити за використання контенту (наприклад, OpenAI має угоду з The Washington Post).

Чи можна знайти компроміс

Не всі вважають, що блокування — правильний шлях. Деякі експерти кажуть: краще було б знайти спільне рішення — щоб сайти могли заробляти на використанні їхніх даних у штучному інтелекті. Інакше інтернет розділиться на тих, хто блокує AI, і тих, хто від нього виграє.

Але багато видавців вважають, що діяти треба вже зараз. Бо інакше — сайти втратять аудиторію, ресурси і шанс на розвиток.

«Якщо видавці хочуть вижити, треба знайти рішення, яке буде вигідним обом сторонам», — каже Тошіт Паніграхі.

Авторка: Дар’я Бровченко

Джерело