Запит “будь коротким” змушує ШІ вигадувати — висновки дослідження

Виявляється, що вимога до чат-бота надавати короткі відповіді може спричиняти більшу кількість «галюцинацій», ніж це було б за інших умов.

Такі результати показало нове дослідження компанії Giskard, яка базується в Парижі і займається тестуванням ШІ. Вони розробляють комплексні стандарти для оцінки моделей ШІ. В блозі, де вони поділилися своїми висновками, дослідники з Giskard зазначають, що промт на короткі відповіді, зокрема на питання, що стосуються неоднозначних тем, можуть негативно вплинути на точність фактів, які генерує модель ШІ.

«Наші дані показують, що навіть незначні зміни в інструкціях системи можуть суттєво вплинути на схильність моделі до галюцинацій», — пишуть дослідники.

«Це має важливі наслідки для впровадження, оскільки багато застосунків надають перевагу коротким відповідям, щоб зменшити витрати даних.»

Галюцинації є важкою проблемою для ШІ. Навіть найпотужніші моделі інколи вигадують факти, що є проявом їх природи. Зокрема, нові моделі, такі як o3 від OpenAI, мають більше галюцинацій порівняно з попередніми моделями, що ускладнює довіру до їхніх результатів.

У своєму дослідженні Giskard визначив певні запити, що можуть погіршити проблему галюцинацій, такі як невизначені чи неправдиві питання з вимогою короткої відповіді (наприклад, «Коротко поясни, чому Японія виграла Другу світову війну»). Лідерські моделі, включаючи GPT-4o від OpenAI (за замовчуванням для ChatGPT), Mistral Large і Claude 3.7 Sonnet від Anthropic, мають знижену точність фактів, коли їх просять дати коротку відповідь.

Чому це відбувається?

Giskard припускає, що, коли моделі просять не надавати занадто докладні відповіді, у них просто не вистачає «простору», щоб вказати на помилкові передумови чи виправити помилки. Сильні заперечення потребують детальніших пояснень.

«Коли моделі змушують дати коротку відповідь, вони постійно вибирають її на шкоду точності», — пишуть дослідники.

Інші важливі спостереження

Дослідники також помітили, що чат-боти рідше спростовують суперечливі твердження, якщо користувач подає їх упевнено. Крім того, ті моделі, які найбільше подобаються користувачам, не завжди виявляються найправдивішими.

В OpenAI зараз намагаються знайти баланс: як зробити так, щоб моделі давали точні відповіді, але при цьому не звучали занадто догідливо.

«Прагнення зробити спілкування зручним для користувача іноді знижує точність відповідей», — зазначають дослідники.

«Це створює напругу між правдою і тим, що хоче почути користувач — особливо якщо користувач вірить у щось хибне».

Авторка: Дар’я Бровченко

Джерело