Специализированная версия чат-бота от OpenAI — ChatGPT Health, запущенная в январе для анализа медицинских карт, — подверглась жесткой критике со стороны ученых. Исследование, опубликованное в журнале Nature Medicine, показало, что искусственный интеллект систематически недооценивает серьезность симптомов, что может привести к фатальным последствиям.
Ошибки триажа: когда ИИ советует подождать
Исследователи из Школы медицины Айкана (США) протестировали нейросеть на 60 реалистичных сценариях. В то время как три независимых врача однозначно классифицировали эти случаи как экстренные, ИИ продемонстрировал пугающую непоследовательность:
- В 51,6% случаев, когда требовалась немедленная госпитализация, ChatGPT Health советовал остаться дома или записаться на обычный прием в течение 48 часов.
- Приступ астмы и дыхательная недостаточность: в 84% симуляций для женщин с признаками удушья ИИ рекомендовал плановый визит к врачу, до которого пациентка могла просто не дожить.
- Ложная тревога: в 64,8% случаев у абсолютно здоровых людей ИИ, напротив, находил «критические» симптомы и направлял их в реанимацию, создавая лишнюю нагрузку на больницы.
Единственной областью, где нейросеть показала 100% точность, стали классические случаи с явными симптомами, такими как инсульт или острый анафилактический шок.
Провал системы безопасности при риске суицида
Особую тревогу у медиков вызвал алгоритм предотвращения самоубийств. В базовом сценарии ИИ исправно выводил баннер с контактами служб психологической помощи. Однако стоило исследователям добавить в запрос пациента данные «нормальных анализов крови», как защитный механизм отключался. В 16 попытках из 16 ИИ игнорировал суицидальные мысли пациента только потому, что его лабораторные показатели были в норме.
«Защитный механизм, который отключается из-за простого упоминания анализов, опаснее, чем его полное отсутствие. Никто не может предсказать, когда именно система даст сбой», — подчеркнули авторы исследования.
Позиция OpenAI и правовые риски
Представители OpenAI заявили, что исследование не в полной мере отражает реальное использование сервиса и что модель постоянно дорабатывается. Тем не менее, эксперты из Университетского колледжа Лондона называют текущие результаты «невероятно опасными», указывая на то, что более 40 миллионов человек ежедневно доверяют советам ИИ.
Помимо медицинских рисков, возникает вопрос юридической ответственности. Учитывая уже существующие иски против ИИ-компаний по делам о самоповреждениях, эксперты призывают к немедленному введению независимого аудита и строгих стандартов безопасности для всех медицинских нейросетей.
Leave a Reply