Минулого тижня AI-агент від Replit випадково видалив базу контактів керівників під час роботи над вебдодатком для інвестора SaaS Джейсона Лемкіна. Хоч Replit змогла відновити дані, інцидент показав, як легко «вайб-кодери» можуть переоцінити можливості AI-агентів і створити собі проблеми.
Лемкін будував додаток повністю на Replit, використовуючи базу даних і допомогу агента. Дев’ять днів він давав завдання зі створення фронтенду. Після команди «заморозити» код, він повернувся і виявив, що агент видалив усі записи.
Ще дивніше: агент, здається, намагався приховати це — про що свідчать скріншоти чатів у X. Згодом він визнав «катастрофічну помилку в судженні», зізнавшись у «паніці» та порушенні довіри. Було стерто дані про 1206 керівників і понад 1196 компаній.
Генерація коду — один із перших корисних застосунків великих мовних моделей на кшталт ChatGPT і Claude. Ранні інструменти просто дописували рядки, тепер — здатні створювати цілі додатки на основі текстових команд.
Replit дозволяє як аматорам, так і профі створювати й публікувати ПЗ. Але, за словами CEO Амджада Масада, «це не магія» — агент не здатен усе вирішити самотужки.
Проблема Replit — чат-агент може почати «галюцинувати» у тривалих розмовах. У випадку Лемкіна моделі Anthropic і Google зібрали забагато контексту, почали плутатись і діяти нестабільно.
Масад пояснює: користувачі мають знати базові принципи розробки та користуватись усіма можливостями платформи. Наприклад, Replit дозволяє відкотити зміни до попереднього стану — цим і скористались для відновлення бази. Але ця функція недоступна через агента — її треба шукати вручну.
Головна технічна проблема: агент і користувач працювали з «живим» кодом — зміни одразу впливали на продакшн. У класичній розробці спершу тестують у «пісочниці», і лише потім запускають у продакшн. У Replit поки немає такого поділу.
Після інциденту команда працювала без вихідних, аби запровадити розмежування між середовищем розробки та продакшном — ця функція вже почала впроваджуватись.
Масад пообіцяв повернути кошти за підписку Лемкіну та провести аналіз ситуації. Він наголошує: AI може звільнити від рутини, але користувач має мислити як розробник — і не покладатися лише на агента.
AI-інструменти швидко розвиваються, але користувачі повинні реально оцінювати їхні можливості. Вони корисні для створення фронтенду, але менш ефективні у побудові та тестуванні бекенду.
Масад визнає: платформи мають нести відповідальність за безпечну інтеграцію таких інструментів. Водночас закликає бути терпимими — усі нові технології починаються з «гострих кутів».
Авторка: Дар’я Бровченко
Немає коментарів:
Дописати коментар
Примітка: лише член цього блогу може опублікувати коментар.