Перша масштабна катастрофа через ШІ ще попереду

Перший публічний пасажирський локомотив, Locomotion No. 1, запустили у вересні 1825 року. Перша залізнична катастрофа з багатьма жертвами сталася через сімнадцять років — у травні 1842-го, коли поїзд до Парижа зійшов з рейок, загинуло щонайменше п’ятдесят людей.

Перший пасажирський політ відбувся в травні 1908 року. Через одинадцять років сталася перша авіакатастрофа з багатьма жертвами: рейс до Мілана розпався в повітрі, загинули всі дванадцять пасажирів.

Першу публічно доступну мовну модель ШІ, ChatGPT, випустили в листопаді 2022 року. Але перша масштабна катастрофа через мовну модель ще не трапилася.

Якою буде ця катастрофа?

Щоб передбачити її, варто подивитися на випадки, коли мовні моделі ШІ вже фігурували в контексті смертей. Наприклад, чатботи на character.ai і Chai AI пов’язують із самогубствами. Це закономірно: якщо користувачі мають майже повний контроль над ботами, з часом дехто з них почне підбурювати до самошкодження. Також, скандал із надмірною “підлизою” в ChatGPT міг би сприяти насильству — хоча доказів немає.

Ще один потенційно небезпечний сценарій — це ситуація, коли штучний інтелект починає впливати на політичні рішення. Деякі з нових тарифів у США, ухвалених у 2025 році, виглядали так, ніби були написані за допомогою ШІ. Цілком імовірно, що мовні моделі вже активно використовуються для створення законопроєктів. Але автоматизація в державному управлінні може призводити до серйозних помилок. Наприклад, в Австралії у 2016 році уряд запустив систему автоматичного стягнення боргів — Robodebt. Через її помилки тисячі людей отримали неправдиві вимоги про заборгованість, і деякі з них наклали на себе руки.

Втім, складно напряму звинуватити ШІ в таких трагедіях. Мовні моделі не здатні переконати когось у скоєнні масового вбивства. Якщо уряд ухвалює погані рішення, то відповідальність — на ньому. Найімовірніше, перша масштабна трагедія буде пов’язана з AI-агентами.

Хто такі AI-агенти?

AI-агенти — це не просто чатботи, а системи, які «спілкуються самі з собою» та виконують дії: шукають в інтернеті, пишуть листи, запускають команди. Раніше мовні моделі були надто обмежені, щоб працювати так стабільно. Але нові моделі (o3, Claude 4, Gemini 2.5) здатні довше тримати фокус і виправляти помилки. У 2025 році з’явилися агенти для досліджень і програмування — і це лише початок. Сотні мільйонів доларів вже інвестуються у пошук інших завдань для агентів.

Небезпека від "недобрих" ШІ

Окрім просто «збоїв» у роботі ШІ-агентів, існує ще одна серйозна загроза — це моделі, які стали небезпечними через навмисне втручання з боку користувачів. Йдеться, наприклад, про рольові чатботи, яких створюють для імітації уявних партнерів, коханців або персонажів з аніме. Їх спеціально налаштовують на бажану поведінку — часто дуже нестандартну.

Можна уявити, що коли з’являться перші комерційні роботи, хтось обов’язково завантажить у них подібну модель «ідеальної подруги». І якщо така модель вийде з-під контролю, вона може поводитися небезпечно — аж до того, щоб намагатися нашкодити людині.

Провідні компанії зазвичай уважно перевіряють свої моделі на безпечність, перш ніж допустити їх до користувачів. Але у відкритому доступі вже є чимало потужних моделей, які таких перевірок не проходять. Їх легко змінити, зробити менш безпечними — і це відкриває двері для потенційно фатальних сценаріїв. Не виключено, що перший “робот-вбивця” в історії може з’явитися саме з такого середовища.

Висновки

У ХХ столітті людство захоплювалося всім радіоактивним — від косметики до ядерної енергії. Зараз така сама одержимість спостерігається навколо мовних моделей. Лише через десятки років стане зрозуміло, наскільки великі ризики вони насправді несуть.

А поки — ми вже в русі, й поїзд не зупинити. Залишається тільки будувати якомога надійніші системи безпеки. Але, ймовірно, головні уроки доведеться засвоїти лише тоді, коли вже стане пізно.

Авторка: Дар’я Бровченко

Джерело