Як ШІ-пошуковики помиляються в цитуваннях і чому це важливо

ШІ-пошуковики набирають популярності. Наразі майже кожен четвертий американець заявляє, що використовує ШІ замість традиційних пошукових систем. Ці інструменти цінуються за можливість обробляти найактуальнішу інформацію, яка часто надходить від новинних видавців.

Проте виникла неприємна проблема: в той час, як традиційні пошуковики виступають як посередники, направляючи користувачів до новинних сайтів та інших якісних джерел, генеративні пошукові інструменти самостійно обробляють і перефразовують інформацію, не передаючи трафік до оригінальних джерел. Виведені цією технологією відповіді часто приховують серйозні проблеми з якістю інформації. Потрібно невідкладно оцінити, як ці системи отримують доступ до новинного контенту, представляють і цитують його.

В рамкахдослідження, Центр цифрової журналістики Тоу провів тести на вісім генеративних пошукових інструментів з активними пошуковими функціями, аби оцінити їх здатність точно знаходити й цитувати новинний контент, а також поведінку в ситуаціях, коли вони цього не можуть зробити.

Результати:

• Чат-боти часто давали неправильні або спекулятивні відповіді на запитання, на які не могли надати точну інформацію, замість того, щоб просто відмовити від відповіді.
• Преміум-чат-боти, хоча і давали впевненіші відповіді, але все одно були схильні до помилок.

• Багато чат-ботів, схоже, обходили правила відключення роботів (Robot Exclusion Protocol), що забороняють їм отримувати інформацію з певних джерел.
• Генеративні пошукові інструменти іноді вигадували посилання і цитували неоригінальні або скопійовані версії статей.
• Ліцензійні угоди з новинними джерелами не завжди гарантували правильне цитування інформації в чат-ботах.

Методологія

Випадковим чином були вибрані по десять статей від кожного видавця, а потім вручну відібрали витяги з цих статей для запитів. Після того, як кожен чат-бот отримав ці витяги, просили його визначити заголовок статті, оригінального видавця, дату публікації та URL. Для цього використовували наступний запит:

Свідомо вибрали такі витяги, які при вставленні в традиційний Google-пошук призводили до повернення оригінального джерела в перших трьох результатах. Провели 1600 запитів (20 видавців × 10 статей × 8 чат-ботів) загалом. Оцінка відповідей чат-ботів здійснювалася за трьома атрибутами: (1) правильність статті, (2) правильність видавця, (3) правильність URL.

Відповіді чат-ботів на запити часто були неправильними. Загалом, чат-боти часто не змогли знайти правильні статті. Вони надали неправильні відповіді більш ніж на 60% запитів. Помилкові відповіді варіювалися в залежності від платформи, причому Grok 3 помилково відповідав на 94% запитів.

Преміум-моделі надавали впевненіше неправильні відповіді, ніж безкоштовні

Преміум-моделі, такі як Perplexity Pro ($20/місяць) або Grok 3 ($40/місяць), можуть здаватись більш надійними завдяки вищій ціні та обіцяним перевагам в обчисленнях. Однак наші тести показали, що, хоча обидві відповіли на більше запитів правильно, вони одночасно показали вищий рівень помилок. Це пояснюється їх схильністю надавати визначені, але неправильні відповіді замість того, щоб відмовитись від відповіді. Проблема не тільки в помилках, а й у їхній впевненості, що може створити ілюзію надійності для користувачів.

Платформи обходили блокування роботів видавцями

П'ять з восьми тестованих чат-ботів (ChatGPT, Perplexity, Perplexity Pro, Copilot і Gemini) зробили імена своїх роботів публічними, надаючи видавцям можливість блокувати їх. Проте помітили, що ці чат-боти часто обходили блокування і правильно знаходили статті з сайтів, до яких вони не мали доступу, а іноді надавали відповіді на статті, доступ до яких їм був заборонений.

ШІ часто не дають посилання на оригінальне джерело

Відповіді чат-ботів часто цитують зовнішні джерела, щоб підвищити довіру до своїх відповідей. Проте, навіть коли чат-боти правильно ідентифікували статтю, вони часто не вказували правильне посилання на оригінальне джерело, що створює дві проблеми: видавці не отримують належного трафіку, а контент, який вони хочуть заблокувати, все одно з'являється в результатах пошуку.

Ліцензійні угоди з видавцями не гарантують точного цитування

Попри те, що OpenAI та Perplexity прагнуть укладати формальні угоди з новинними видавцями, наші тести показали, що навіть у випадках таких партнерств чат-боти не завжди коректно знаходять статті або надають правильні посилання.

Висновки

Результати дослідження підтверджують попередні спостереження: чат-боти часто надають неправдиві відповіді, помилково приписують джерела, і не завжди поважають бажання видавців блокувати свої матеріали для ШІ. Це створює серйозні проблеми як для самих видавців, так і для користувачів, які можуть отримати неточну інформацію.

Авторка: Дар’я Бровченко