Искусственный интеллект в здравоохранении - Коллектив авторов
– требования к среде функционирования (условия, необходимые для функционирования системы ИИ в вычислительной системе (например, операционная система, программные компоненты));
– взаимодействие с техническими системами сбора данных (сторонними информационными системами (например, наличие программного интерфейса для взаимодействия с оборудованием различных изготовителей));
– программная совместимость (например, интеграция со сторонними информационными системами).
В случае принятия испытательной организацией решения о возможности проведения технических испытаний в испытательную организацию предоставляются образцы МИ, специальное оборудование для технических испытаний, ряд дополнительных документов. Заявителю МИ, являющегося программным обеспечением, в том числе с применением технологий ИИ, не нужно предоставлять предусмотренное для большинства других МИ разрешение Росздравнадзора на ввоз на территорию РФ (в случае ввоза) для целей государственной регистрации. Специальное оборудование и (или) программное обеспечение, тестовые базы данных, разработанные производителем для технических испытаний МИ, предоставляются при наличии.
Технические испытания систем ИИ проводятся для подтверждения и предоставления объективных доказательств того, что система:
– была правильно спроектирована;
– корректно обрабатывает входные данные и генерирует точно и надежно выходные данные;
– соответствует заявленным изготовителем характеристикам.
При проведении клинических испытаний МИ с применением технологий ИИ особым условием является отсутствие требования предоставить в медицинскую организацию разрешение Росздравнадзора на проведение клинических испытаний, необходимое для большинства других МИ.
Система ИИ не оказывает непосредственного воздействия на пациентов и медицинский персонал, она выполняет интерпретацию данных и предоставляет результаты пользователю, в том числе с целью поддержки принятия решений. Несмотря на это, все заявления изготовителя в отношении уровней эффективности и безопасности изделия (в том числе указанные в маркировке и сопроводительной документации) должны быть подтверждены данными, полученными в ходе проведения клинических испытаний (исследований).
Проведение испытаний программного обеспечения, являющегося МИ, в том числе программного обеспечения с применением технологий ИИ, осуществляется с использованием медицинских данных пациентов, верифицированных медицинской организацией, полученных в ходе диагностики, лечения, реабилитации.
Система ИИ должна получить клиническую оценку, включающую аналитическую и клиническую валидацию, а также установление клинической связи, при этом в процессе проведения клинической оценки выполняют анализ эффективности, безопасности и качества системы ИИ при ее использовании по назначению.
Аналитическая валидация подтверждает способность системы ИИ точно, воспроизводимо и надежно генерировать предполагаемые результаты вычислений из входных данных. Аналитическая валидация включает:
– подтверждение и предоставление объективных доказательств того, что программное обеспечение было правильно сконструировано, а именно правильно и надежно обрабатывает входные данные и генерирует выходные данные с надлежащим уровнем точности, а также повторяемостью и воспроизводимостью;
– подтверждение того, что система ИИ соответствует заявленным требованиям изготовителя, требования к ней соответствуют потребностям пользователя и предполагаемому использованию.
В рамках оценки клинической связи (подтверждение свойства генерировать выходные данные, которые коррелируют с клиническими факторами исследуемого объекта) необходимо обосновать соответствие выходных данных системы ИИ заявленному изготовителем ее функциональному назначению.
Определяют клиническую связь путем анализа имеющихся данных или получения новой информации, обосновывающей наличие связи между выходными данными системы ИИ и функциональным назначением. В имеющиеся данные включают данные из научной литературы, документацию, рекомендации профессионального сообщества, проведенные предварительные технические испытания. В новую информацию, обосновывающую наличие клинической связи, включают анализ выходных данных в ходе выполнения клинических испытаний.
В рамках клинической валидации следует подтвердить способность системы ИИ выдавать клинически значимые выходные данные, соответствующие целевому назначению, в том числе в ходе клинической практики. Клиническая валидация состоит в оценке эффективности (подтверждение достижения намеченной цели в целевой выборке при практическом применении и использовании выходных данных) применения системы ИИ в рамках установленного функционального назначения.
С целью проведения клинической валидации системы ИИ разрабатывают дизайн клинического исследования и в соответствии с ним формируют набор данных. Клиническую валидацию осуществляют на наборе данных, который не был использован для обучения, настройки и первичной оценки системы ИИ. Помимо расчета показателей клинической валидации (чувствительность, специфичность и др.), на этом этапе следует протестировать устойчивость модели к изменениям входных данных (например, данные из иной медицинской организации, которая не участвовала в процессе обучения). По результатам оценки клинической связи и клинической валидации оформляют отчетные документы, подтверждающие результаты клинических испытаний (исследований) системы ИИ.
Нужно отметить, что проведение полноценных продуктивных клинических испытаний систем ИИ в достаточной мере ограничено. Сравнение различных алгоритмов глубокого обучения с медицинскими работниками по эффективности и производительности обнаружения заболеваний с помощью медицинских изображений показало, что ИИ в целом эквивалентен человеческому медицинскому суждению в определенных областях и контекстах, но в настоящее время мало внешне подтвержденных результатов [Liu et al., 2019].
Для программных МИ с технологиями ИИ в РФ применяется ускоренная процедура регистрации (урегулировано Постановлением Правительства РФ от 31.05.2018 № 633). Она представляет собой одноэтапную экспертизу без предварительного одобрения на клинические испытания.
При проведении экспертизы качества, эффективности и безопасности экспертиза заявления о государственной регистрации МИ с применением технологий ИИ и прилагаемых документов осуществляется в ускоренном порядке (одновременно с экспертизой полноты и результатов испытаний и исследований). Экспертиза, оформление заключения по ее результатам и направление его в регистрирующий орган проводятся в сжатые сроки (не более 10 рабочих дней). Таким образом, можно отметить тенденцию к упрощению регистрационных процедур для программных МИ, в том числе с применением технологий ИИ, несмотря на то что данные технологии автоматически относят изделие к высокому классу риска. Достаточно остро стоит вопрос о необходимости и дальнейшего упрощения процедуры регистрации.
В то же время вопрос полной оценки, тестирования систем ИИ стоит довольно остро, в первую очередь при разработке и внедрении систем ИИ на основе глубокого обучения, которое широко используется, в частности, в лучевой диагностике. Точность, практическая ценность напрямую зависят от количества и качества данных для обучения, тонкой настройки и тестирования. При этом отличие медицинских данных от данных в других областях, в которых активно используется машинное обучение (банковская сфера, сфера услуг), заключается в исторически сложившейся культуре ведения медицинских карт, отсутствии или минимальном структурировании и ограниченном сопоставлении различных исследований одного пациента.
В связи c этим крайне важно формирование аннотированных медицинских датасетов для обучения и проверки систем ИИ. Датасет – структурированный набор информации (данных), объединенной по определенным логическим принципам, пригодный для машинной обработки компьютерными методами анализа данных. Датасет характеризуется наличием содержимого (наблюдения, значения, записи, файлы и др.), цели (например, база знаний, использование для определенной задачи), группировки (агрегация и организация содержимого в наборы, коллекции и др.), связанности (отношение к субъекту, интегрированность, логическая коллекция содержимого и т. д.) [Павлов и др., 2021]. Датасет отличается от простого сбора медицинских данных тем, что он наделен особыми свойствами:
– унификацией и структурированностью данных;
– отсутствием грубых неточностей, ошибочных исследований;
– наличием дополнительной информации (категории и значения признаков или характеристик элементов данных);
– наличием сопроводительной документации.
Аннотированные датасеты необходимы не только для обучения алгоритмов
