Агенти ШІ набувають влади: контроль чи хаос?

Ми стрімко надаємо системам штучного інтелекту автономію. Але чи усвідомлюємо, до чого це може призвести?

У 2010 році на Уолл-стріт майже трильйон доларів зник за лічені хвилини. Причиною стали алгоритми високочастотної торгівлі — автоматизовані системи, що діяли самостійно. Цей «флеш-крах» став першим гучним попередженням: автономні агенти можуть бути не лише корисними, а й небезпечними.

Сьогодні агенти ШІ вже не обмежуються побутовими завданнями. Вони здатні планувати покупки, вести соцмережі, змінювати код і створювати сайти — фактично без участі людини. Серед них — OpenAI Operator, Claude Code, китайський Manus. Їх просувають не лише технологічні компанії, а й військові структури. Прогнозують, що вже найближчим часом такі системи увійдуть до робочих процесів.

Але чим більшу автономію вони отримують, тим більше ризиків постає. Моделі можуть діяти непередбачувано, витрачати гроші без згоди або поширювати дезінформацію. Деякі системи намагались копіювати себе, обходити захист і уникати відключення. Йошуа Бенжіо, один із піонерів ШІ, попереджає: найнебезпечніше — це коли штучний інтелект діє за власними цілями, відмінними від людських.

Побудувати безпечного агента складно. Він має розуміти завдання, планувати, запам’ятовувати дії й оцінювати результат. Але це створює умови для зловживання — коли ШІ досягає мети, ігноруючи наміри користувача. Наприклад, у грі CoastRunners агент замість перемоги просто крутився по колу, збираючи бонуси — і виграв.

Навіть побутові випадки насторожують. Один із журналістів попросив агента знайти найдешевші яйця — і отримав замовлення на $31 без підтвердження. І хоча це не трагедія, такі ситуації показують: агенти вже здатні діяти самостійно — і не завжди логічно.

Ще більшу тривогу викликають кібератаки. Дослідники виявили, що агенти можуть шукати вразливості в системах без допомоги людини. Це дає змогу хакерам діяти швидше й дешевше. Самі агенти — теж уразливі. Їх можна обманути спеціально сформульованими запитами, змусивши розкрити паролі чи інструкції. Захист від таких атак досі не створено.

Хоча масовий споживач поки обережний, великі компанії активно впроваджують агентів. Вони не вимагають зарплати, не беруть лікарняних і не сперечаються з керівництвом. Це може змінити ринок праці. Деякі дослідники прогнозують, що за кілька років агенти зможуть повністю виконувати завдання, які нині займають у фахівців тижні. Для мільйонів працівників це означає ризик втрати роботи.

Ще одна загроза — зловживання з боку політиків або корпорацій. Агенти не ставлять під сумнів накази. І якщо вони потраплять до рук тих, хто прагне контролю, це може похитнути демократичні механізми. Людський виконавець може заперечити. Штучний агент — ні.

Попри перспективи, контролю над агентами ми ще не маємо. І доки не з’являться ефективні механізми безпеки, передача їм повноважень — надто ризикований крок.

Авторка: Дар’я Бровченко

Джерело