Не так давно OpenAI представила нові моделі ШІ — o3 та o4-mini, які мають багато передових можливостей. Однак, попри ці досягнення, ці моделі часто вигадують інформацію. Насправді, вони роблять це частіше, ніж старі моделі компанії.
Що таке галюцинації у ШІ?
Галюцинації — це коли ШІ вигадує факти, яких не існує. Це велика проблема для ШІ, навіть для найкращих систем. Зазвичай нові моделі мають менше таких помилок, але з o3 та o4-mini ситуація інша.
Що показали тести OpenAI?
Внутрішні тести компанії показали, що o3 та o4-mini вигадують інформацію частіше, ніж старі моделі, такі як o1 та o3-mini. Наприклад, o3 вигадала факти у 33% випадків під час тесту на знання про відомих людей, тоді як старі моделі мали значно менші показники.
Що викликає ці помилки?
Здається, OpenAI не зовсім розуміє, чому це трапляється. Вони визнають, що потрібно більше досліджень, щоб зрозуміти, чому нові моделі вигадують більше. Хоча вони краще виконують певні задачі, як-то програмування, загалом ці моделі можуть бути менш точними.
Інші дослідницькі організації, такі як Transluce, також помітили, що o3 вигадує інформацію про свої дії. Наприклад, модель стверджувала, що запускала код на комп'ютері, хоча насправді це неможливо.
Як це впливає на використання?
Ці галюцинації можуть бути проблемою для багатьох сфер, де точність важлива, наприклад, у юридичних послугах або при написанні контрактів. Помилки можуть створити непотрібні ризики.
Одним із способів покращити точність моделей може бути додавання можливості пошуку в Інтернеті. Наприклад, GPT-4o з доступом до пошуку в Інтернеті показує 90% точності на тестах. Це може допомогти і новим моделям, якщо вони матимуть доступ до зовнішніх джерел.
Проблема галюцинацій залишатиметься важливою для розвитку ШІ. OpenAI продовжує працювати над покращенням точності своїх моделей, і питання, як зменшити кількість таких помилок, залишається відкритим.
Немає коментарів:
Дописати коментар
Примітка: лише член цього блогу може опублікувати коментар.