AI не розуміє «ні» — і це велика проблема для медичних ботів

Багато моделей штучного інтелекту не розпізнають заперечення, що ставить під загрозу точність медичних діагнозів.

Діти розуміють «ні», а ШІ — ні
Малюки швидко засвоюють значення слова «ні», однак моделі штучного інтелекту часто провалюються у розумінні заперечень. Команди із заперечними словами, як-от «не» або «ні», можуть кардинально змінити сенс, але для багатьох ШІ це стає проблемою. Особливо небезпечною ця вада стає у медицині: модель може не відрізнити знімок із підписом «ознаки пневмонії» від знімка з підписом «ознаки пневмонії відсутні».

Масштабне тестування моделей
Дослідники з Массачусетського технологічного інституту на чолі з Кумайлом Альхамудом протестували різні моделі, щоб з’ясувати, як добре вони розуміють заперечення. Команда створила близько 80 тисяч тестових задач, у яких зображення мали пари підписів — один із зазначенням наявності об’єкта, інший — з його відсутністю.

Було протестовано 10 версій моделі CLIP, а також новішу AIMV2. Дві з версій CLIP спеціально навчали на медичних знімках. Це так звані vision-language моделі, які поєднують розуміння зображень і тексту.

У першому тесті моделі мали знайти зображення, на яких є один об’єкт, але немає іншого. Наприклад, «стіл без стільця». Без заперечення точність була близько 80%, але щойно з’являлось «без» — точність падала до 65% і нижче.

У другому тесті моделі обирали найточніший підпис до зображення. Для медичних знімків було лише два варіанти: наприклад, «є пневмонія» або «пневмонії немає». Навіть у такому спрощеному форматі найкращі моделі давали правильну відповідь лише у 40% випадків. Людина з цим справляється без зусиль.

Чому моделі ігнорують заперечення
Причина криється у так званій афірмаційній упередженості: більшість моделей ШІ припускають, що їм потрібно підтвердити наявність чогось, і не звертають увагу на заперечення. Ці результати буде представлено на конференції з комп’ютерного бачення та розпізнавання образів (CVPR) у Нешвіллі 11–15 червня.

Контекст — не завжди рятує

Усі ці моделі базуються на трансформерах — архітектурі, що дуже добре працює з контекстом. Але слова на кшталт «не» та «ні» діють незалежно від контексту — вони можуть з’являтися будь-де у реченні й радикально змінювати зміст. Це підриває здатність моделей точно інтерпретувати запити.

У медицині заперечення — критично важливе
Карін Верспур із Королівського технологічного інституту Мельбурна підкреслює, що заперечення у медичному контексті є вирішальним: лікарі мають знати не лише те, що є у пацієнта, а й те, чого немає. Це допомагає виключити діагнози. Її власне дослідження також показало, що мовні моделі часто не роблять правильних висновків у реченнях із запереченнями.

Навчання допомагає, але частково
Додавання прикладів із запереченнями до тренувальних даних покращило точність інформаційного пошуку на 10%, а результати в завданнях із варіантами відповідей — на 30%. Але це лише часткове рішення. На думку дослідниці Марзіє Гассемі з MIT, більшість подібних підходів є тимчасовими латками й не вирішують проблему на фундаментальному рівні.

Авторка: Дар’я Бровченко

Джерело