Коли ШІ заважає, а не допомагає: несподівані висновки про продуктивність розробників

Неочікуване дослідження показало: інструменти штучного інтелекту можуть знижувати продуктивність програмістів, що руйнує усталені уявлення про трансформаційну силу цієї технології.

Програмне забезпечення — основа сучасної цивілізації, і ШІ вже змінює сам процес його створення. Але досі незрозуміло, чи призведе це до масового скорочення робочих місць у сфері програмування, чи навпаки — зробить кожного розробника надлюдиною. А може — і те, й інше водночас.

Дослідження, проведене незалежною некомерційною організацією METR, зосередилося на досвідчених програмістах, які працювали над великими open source-проєктами.

Учасники були впевнені, що інструменти ШІ пришвидшують їхню роботу на 20%, але реальні дані показали: вони працювали на 19% повільніше.

Попри ретельне планування, дослідження охоплювало лише 16 програмістів, які виконали 246 завдань.

Уже десятки років технічні візіонери мріють про «програмування природною мовою», коли достатньо просто сказати, що потрібно зробити. Із появою мовних моделей, здатних генерувати код, здавалося, що ця мрія стала реальністю.

«Найгарячіша нова мова програмування — англійська», — сказав співзасновник OpenAI Андрій Карпатий у 2023 році після запуску ChatGPT. У лютому він увів термін vibe-coding — створення сирих прототипів за допомогою запиту до улюбленого ШІ.

Прихильники «програмування майбутнього» вважають, що інженери стануть менеджерами, редакторами специфікацій і перевіряльниками якості. Інший сценарій — вони залишаться без роботи.

Кодування з підтримкою ШІ дає більше користі при створенні нових систем «з нуля», ніж під час підтримки чи вдосконалення великих проєктів. Саме в таких завданнях METR зафіксувала зниження продуктивності.

Одна з головних причин — недовіра до згенерованого коду: розробники витрачають більше часу на його перевірку, тестування та виправлення.

«Один із розробників втратив щонайменше годину, намагаючись вирішити проблему за допомогою ШІ, а потім скасував усі зміни та зробив усе вручну», — йдеться у звіті.

Інструменти ШІ стрімко вдосконалюються, тож результати швидко застаріють. Також не варто робити надто широких висновків — у багатьох компаніях ШІ реально підвищив продуктивність.

Важливе застереження: не слід покладатися лише на самооцінку ефективності — ми часто неадекватно її оцінюємо.

Ще один момент: кількість виконаних завдань — не завжди показник цінності. Тисячі тікетів можуть нічого не значити, якщо проєкт от-от закриють. А одна несподівана ідея здатна змінити все — і жоден KPI цього не зафіксує.

У підсумку: спільнота розробників розділена між захопленням і тривогою щодо ШІ в програмуванні.

«Кинути програмування через LLM — це як кинути столярство через появу електропили», — написав AI-розробник і блогер Саймон Віллісон у Bluesky.
«Або як кинути сільське господарство через появу тракторів і комбайнів», — відповів йому ветеран індустрії Том Коутс.

Авторка: Дар’я Бровченко

Джерело