Генеральний директор Anthropic зізнався: ми не розуміємо, як працює ШІ

 

"Це відсутність розуміння є практично безпрецедентною в історії технологій."

 

Генеральний директор одного з провідних світових лабораторій з розробки штучного інтелекту нещодавно сказав те, про що інші воліли б мовчати: ніхто насправді не знає, як працює ШІ.

У статті, опублікованій на його особистому вебсайті, Даріо Амодеї, генеральний директор Anthropic, оголосив плани створити потужний "МРТ для ШІ" впродовж наступного десятиліття. Мета — не лише зрозуміти, що стоїть за технологією, але й попередити будь-які непередбачувані небезпеки, пов'язані з тим, що, на його думку, залишаються невідомими аспекти цієї технології.

"Коли генеративна система ШІ робить щось, наприклад, підсумовує фінансовий документ, ми не маємо чіткого або точного розуміння, чому вона робить вибір саме таким чином — чому вона обирає певні слова, а не інші, або чому інколи припускається помилок, хоча зазвичай вона точна,"

— зізнався генеральний директор Anthropic.

З першого погляду це може здивувати людей поза світом ШІ — дізнатися, що люди, які створюють ці технології, "насправді не розуміють, як працюють їхні власні творіння", — зазначив він, додаючи, що кожен, хто занепокоєний цією невідомістю, "має повне право хвилюватися".

Але, можливо, це й не таке велике здивування; усі генератори зображень і тексту, які стали популярними останніми роками, працюють за тим самим принципом: вони аналізують величезні обсяги даних і дають статистичним системам можливість знаходити у них патерни, які потім можна відтворювати. Все це працює на основі створених людьми творчих робіт, а не на принципах машинного інтелекту.

"Це відсутність розуміння," — написав Амодеї, — "є практично безпрецедентною в історії технологій."

На думку Амодеї, ця невідомість про те, як працює ШІ та які непередбачувані ризики можуть бути пов’язані з ним, є основним рушієм для роботи Anthropic.

У кінці 2020 року генеральний директор і його сестра Даніела залишили OpenAI через побоювання щодо безпеки компанії, особливо через те, що ці проблеми відкидаються заради прибутку. Амодеї і ще п’ятеро колишніх співробітників OpenAI заснували Anthropic наступного року, щоб працювати над створенням безпечнішого ШІ — і частина цієї роботи зосереджена на з'ясуванні того, як працює сама технологія.

У останні місяці, за словами Амодеї, Anthropic зосередилася не лише на тому, щоб допомогти "керувати" розвитком ШІ і його потенційними наступниками — штучним загальним інтелектом, який може принести користь людству. Водночас вони працюють над "спокусливою можливістю" для дослідників зрозуміти, як саме працює ШІ, і дослідити "внутрішні механізми" цих систем, перш ніж моделі досягнуть надмірної потужності.

"Нещодавно ми провели експеримент, в якому команда 'червоних' навмисно внесла помилку у модель (наприклад, зробила так, щоб модель експлуатувала прогалину в завданні), а командам 'синіх' було доручено з’ясувати, що саме не так,"

— пояснив генеральний директор.

"Кілька команд успішно вирішили проблему; важливо, що деякі з них використовували інструменти для розуміння роботи моделі під час розслідування."

Хоча потрібно ще багато попрацювати над удосконаленням цих "інструментів", які не були детально описані в есе Амодеї, цікаво, що конкуренти OpenAI не лише працюють над покращенням ШІ, а й намагаються зрозуміти, як і чому він працює.

"Могутній ШІ визначатиме долю людства," — підсумував Амодеї, — "і ми повинні розуміти наші власні творіння, перш ніж вони радикально змінять нашу економіку, наші життя і наше майбутнє."

Авторка: Дар’я Бровченко

Джерело