AI-помилка в британській медицині: пацієнту приписали фейковий діабет і стенокардію

Лондонський пацієнт отримав запрошення на діабетичний скринінг через вигаданий діагноз, згенерований штучним інтелектом Annie від компанії Anima Health. Запис містив симптоми, яких ніколи не було, і навіть вигадану лікарню з фальшивою адресою. В NHS назвали це «поодиноким випадком», однак інцидент викликав дискусію про безпечне впровадження ШІ у медицину.

Лист, що спантеличив пацієнта

Чоловік, який не має діабету і не відчував симптомів, отримав офіційне запрошення на офтальмологічний скринінг. Лише під час візиту до медсестри він дізнався, що в його картці стоїть діагноз діабету 2 типу, болі в грудях та задишка — наслідок «ймовірної стенокардії». Все це було неправдою.

Запис позначався як «згенеровано Annie», а в меддокументах фігурувала фіктивна лікарня «Health Hospital» із неіснуючою адресою.

NHS: людський фактор, але відповідальність — реальна

Доктор Меттью Нобл з NHS пояснив, що ШІ використовується в обмеженому режимі, а ця помилка сталася через неуважність редактора, який випадково зберіг неправильну версію документа. Незважаючи на це, запис потрапив у систему, і пацієнт отримав запрошення на обстеження.

Представник NHS підкреслив: Anima лише пропонує медичні формулювання, які мають перевірятись лікарями. Проте в цьому випадку перевірка виявилася недостатньою.

Системні виклики для медицини

Ситуація стала прикладом того, як навіть незначна помилка ШІ може спричинити реальні наслідки для пацієнтів. У системі охорони здоров’я, де технології покликані знижувати навантаження, важливо зберігати пильність і контроль.

Інструмент Annie зареєстрований як медичний пристрій класу I — тобто не має приймати клінічні рішення самостійно. Але через недбалість інформація згенерованого ШІ стала частиною медичної історії.

Професор Брендан Делані з Імперського коледжу наголосив: основна проблема таких інструментів — не точна трансляція, а зміна суті тексту. Це вимагає нового рівня регулювання. Деякі компанії вже почали реєструвати свої продукти як пристрої класу 2а — з підвищеним ризиком і посиленим контролем.

Великобританія просуває ШІ в медицині — з обережністю

У «Десятирічному плані охорони здоров’я» уряд заявив про намір зробити NHS лідером у впровадженні ШІ. Однак адаптація таких рішень до реальних потреб і дотримання норм — непросте завдання.

Міністр охорони здоров’я Вес Стрітінг визнав, що деякі лікарі вже користуються інноваціями до їх офіційного схвалення. Це свідчить про високу зацікавленість у ШІ, але й підкреслює ризики передчасного використання.

ШІ як союзник — під наглядом людини

Попри інцидент, пацієнт не втратив віру в потенціал штучного інтелекту:
«Я за ШІ, якщо він допомагає NHS. Але великі мовні моделі ще потребують серйозного нагляду. Ця помилка — не аргумент проти інновацій, а нагадування про важливість людського контролю».

Авторка: Дар’я Бровченко

Джерело