Оценка качества работы искусственного интеллекта в выявлении дегенеративных заболеваний пояснично-крестцового отдела позвоночника

04.09.2024

Оценка качества работы искусственного интеллекта в выявлении дегенеративных заболеваний пояснично-крестцового отдела позвоночника

Введение

Согласно данным Всемирной организации здравоохранения основной причиной инвали- дизации в мире являются болезни костно-мышечной системы, среди которых преобладают заболевания позвоночника. Люди с дегенеративными болезнями позвоночника наиболее часто нуждаются в современных высокоточных методах диагностики и составляют большую долю потока пациентов в кабинетах магнитно-резонансной томографии (МРТ).

В связи с нарастанием популярности среди населения и повышением доступности МРТ- исследований в последние годы ежедневная нагрузка на врача-рентгенолога сильно возросла, что негативно сказывается на текущем качестве работы и дальнейшей работоспособности специалиста. Также продолжается тренд по развитию алгоритмов нейронных сетей и увеличению доступных вычислительных мощностей, что позволяет реализовывать более сложные модели искусственного интеллекта (ИИ) и обрабатывать большие объемы обучающих данных. Из текущих тенденций возникают благоприятные условия для разработки и внедрения в практическую медицину сервисов на базе ИИ, помогающих врачам в приоритетных направлениях радиологии. В качестве таких систем в настоящее время применяются модели глубокого обучения нейронных сетей, которые представляют собой математическое воплощение системы взаимодействия нейронов человека. Входные данные проходят через слои нейронной сети, где значимость каждого элемента из совокупности данных меняется в зависимости от распределения весов между слоями, а затем в соответствии со степенью расхождения выходных и эталонных значений меняется распределение весов для получения более релевантных результатов в новой эпохе обучения.

Как и множество других специальностей, лучевая диагностика находится на пути к более плотному взаимодействию с системами ИИ для повышения качества и скорости выполняемой работы. Особенностью использования систем нейросетей для диагностики заболеваний позвоночника является возможность упростить оценку МРТ-снимков, что будет способствовать повышению согласованности, точности и объективности оценки исследований, а в более дальней перспективе может полностью освободить врачей-рентгенологов от интерпретации наиболее часто встречающихся патологических изменений в многократно повторяющихся однотипных исследованиях.

При помощи метода МРТ врачи-рентгенологи с достаточно высокой точностью определяют производные дегенеративных изменений позвоночника. В то же время задача осложняется существованием нескольких подходов в дифференцировании как отдельных патологических состояний, так и степени их проявлений. Например, определение стеноза позвоночного канала на уровне поясничного отдела позвоночника отличается в зависимости от выбираемой системы оценки, критерии которой могут быть как количественными в виде размера позвоночного канала по срединной линии на уровне диска, так и качественными в виде степени деформации дурального мешка и эпидурального жира (С. Shizas). Также примером могут служить отличающиеся степени фораминальных стенозов в зависимости от выбранной специалистом классификации изменений (наиболее часто используются классификации по Lee и по Wildermuth) и измерения пролабирования межпозвонковых дисков в просвет позвоночного канала с учетом толщины задней продольной связки или без него.

Цель - проведение сравнительной оценки выходных данных комплекса обученных моделей сверточных нейронных сетей (convolutional neural network, CNN) и интерпретации патологических изменений поясничного отдела позвоночника врачами-рентгенологами при проведении МРТ.

Материал и методы

Сформирован большой объем анонимизированных архивов для использования в качестве обучающего и тестового наборов данных нейросети после ретроспективного анализа более 12 тыс. МРТ-исследований среди пациентов старше 18 лет на базе диагностических и клинико-диагностических центров: ООО «Клиника Эксперт Воронеж», ООО «Клиника Эксперт Пермь», ООО «Клиника Эксперт Курск», ООО «МРТ-Эксперт Столица», ООО «МРТ-Эксперт Мытищи» (структурное подразделение в г. Орехово-Зуево), ООО «Клиника Эксперт Липецк», ООО «Клиника Эксперт Владикавказ», ООО «Клиника Эксперт Новосибирск», ООО «МРТ-Эксперт БСК», ООО «МРТ-Экс- перт-З». Все пациенты были проверены на безопасность прохождения МРТ, подписали согласие на обработку персональных данных и их передачу в ООО «Системы поддержки принятий решений».

Исследования состояли из набора программ в двух плоскостях, содержащих последовательности Т2^Е, Л-TSE, Т2 с программой жироподавления (STIR) в сагиттальной плоскости и Т2^Е в аксиальной плоскости. На этапе поиска исключались исследования с выраженными артефактами от металлоконструкции и наличием изображений низкого качества, не позволяющего достаточно точно интерпретировать снимки и постконтрастные серии.

Для дополнительного подтверждения целевых патологических изменений сбор анонимизированных архивов МРТ-исследований проводился врачами-рентгенологами. Для исключения повторной выгрузки архивов при параллельном сборе разными специалистами фиксировались временные периоды и сервер, с которого скачивалась медицинская информация. Для сохранения отобранных архивов применялось облачное хранилище АНО ДПО «Институт повышения квалификации медицинских кадров» с ограниченным доступом. Возможность использовать облачное хранилище предоставлялась врачам-рентгено- логам по VPN-доступу после индивидуальной настройки на компьютерах медицинских учреждений, где работали специалисты. Архивы были отсортированы в хранилище данных по целевым патологическим изменениям.

Процесс разметки анонимизированных изображений для формирования обучающего набора данных проводился в два этапа. На первом этапе разметка выполнялась сотрудниками ООО «Системы поддержки принятий решений», использующими разработанный алгоритм разметки изображений (согласованный с врачами-рентгенологами, имеющими не менее чем 5-летний опыт подготовки описаний исследований, выполненных на магнитно-резонансном томографе) методом выделения границ с применением цветовой схемы, привязанной к списку нормальных анатомических структур и рассматриваемых в работе патологических изменений. Проведена ручная разметка всех анатомических структур и патологических изменений, касающихся поясничного отдела позвоночника на аксиальных срезах, также выполнена разметка на сагиттальных срезах (в отличие от схожих

работ, использующих автоматическую разметку для обучения алгоритмов CNN) [1].

На втором этапе врачами-рентгенологами проводилась проверка разметки для исключения несовпадений между работой специалистов на первом этапе и профессиональной оценкой МРТ-изображений. При отсутствии ошибок, выявленных на втором этапе, и дополнительных комментариев по качеству выделения контуров работа с кейсом в рамках процесса разметки считалась завершенной.

В дальнейшем, после обучения нейронной сети на размеченных вручную датасетах, разметка выполнялась в автоматизированном режиме для каждого исследования с отражением нумерации позвонков(рис.1)[2, 3].

Определение размера и структуры обучающей, валидационной и тестовой выборок, а также процесс обучения CNN для анализа нормы и патологических изменений осуществлялись сотрудниками компании Remedy Logic. Анализ отдельных патологических изменений проводился с автоматизированным выбором релевантных сагиттальных или аксиальных срезов [4, 5].

После процесса обучения нейронных сетей была организована проверка точности их работы, которая выполнялась при содействии пяти вра- чей-рентгенологов с опытом работы по специальности от 5 до 10 лет. Проверка осуществлялась путем анализа МРТ-изображений с последующим сравнением профессиональных выводов специалистов и результатов работы ИИ. Архивы, использованные в процессе данной проверки, ранее не применялись для формирования обучающей, валидационной и тестовой выборок, участвовавших в процессе обучения нейронных сетей.

По итогу проверки формировались промежуточный сравнительный отчет (в рамках не опубликованной в медицинских журналах промежуточной научно-исследовательской работы) и итоговый сравнительный отчет, результаты которого представлены в данной статье. В промежуточном отчете проводилась первичная оценка точности работы нейросетей в выявлении выбуханий, протрузий и экструзий дисков, стеноза позвоночного канала, латеральных стенозов, фораминальных стенозов, спондилолистеза, а также артроза межпозвонковых суставов. В итоговом отчете помимо повторной оценки точности выявления патологических изменений, обозначенных в промежуточном отчете, была добавлена проверка дегенеративных изменений замыкательных пластин, синовита межпозвонковых суставов, дегенерации межпозвонковых дисков, остеофитов, переходных позвонков, гипертрофии желтых связок и грыж Шморля. Также в итоговом отчете определялись количественные измерения переднезадних размеров и высоты протрузий и экструзий межпозвонковых дисков.

Результаты и обсуждение

Осуществлен процесс автоматической отправки анонимизированных архивов исследований пациентов, прошедших МРТ-обследование, на сервер, физически расположенный на территории Российской Федерации, для обработки на обученной модели ИИ и последующей отправки результатов в радиологическую информационную систему диагностических центров. Каждому анонимизированному исследованию перед отправкой присвоен уникальный идентификационный номер, который также указан в отчете ИИ [6].

Выходные данные ИИ для каждого кейса представлены JSON-файлом с указанием уровней пояснично-крестцового отдела позвоночника, названия патологии для каждого отдела и количественных измерений или степени патологических изменений. В рамках радиологической информационной системы полученный JSON-файл преобразуется в PDF-файл, доступ к которому предоставляется в интерфейсе системы в виде интерактивного значка, расположенного за каждой заявкой пациента, прошедшего обследование пояснично-крестцового отдела позвоночника. Время получения PDF-файла после прохождения обследования составляет менее 15 мин, далее врач может ознакомиться с полученной информацией о патологических изменениях и использовать ее в своем протоколе и заключении. В документе выведены данные о характере патологических изменений на уровне каждого диска вместе с изображениями - одним сагиттальным снимком, локализованным по срединной линии, и по одному аксиальному срезу на каждый представленный дисковый уровень. Изображения уровней без патологических изменений, а также информация об отсутствии стенозов и артроза межпозвонковых суставов в документе не отображаются во избежание перегрузки протокола лишней информацией (рис. 2).

Результаты по выявлению патологических изменений соответствуют проверенным в промежуточном отчете, а именно: выбухания, протрузии, экструзии дисков, центральный стеноз позвоночного канала, латеральные стенозы, фораминальные стенозы, спондилолистез, артроз межпозвонковых суставов. Количественные измерения, представленные в отчете, указаны в качестве справочной информации, их точность не проверялась в рамках текущего исследования точности алгоритмов. Информация о патологических изменениях из итогового отчета не выводилась в PDF-файл в рамках этапа интеграции с радиологической информационной системой, представленного на изображении.

Далее в рамках процесса последовательного улучшения работы сервиса ИИ в результаты анализа были добавлены следующие патологические изменения: дегенеративные изменения замыкательных пластин, синовит межпозвонковых суставов, дегенерация дисков, остеофиты, переходные позвонки, гипертрофия желтых связок и грыжи Шморля.

Оценка работы алгоритма проводилась не только по добавленным патологическим изменениям, но и по патологическим изменениям, ранее фигурировавшим в промежуточном отчете.

В процессе проверки работы алгоритма для итогового отчета участвовали пять врачей-рент- генологов с опытом работы по интерпретации МРТ-изображений от 5 до 10 лет. Каждому врачу было предоставлено на описание по 20 одинаковых DICOM с МРТ-исследованием поясничнокрестцового отдела позвоночника. Кейсы, участвовавшие в проверке, были отобраны случайно, а также не были задействованы как часть обучающих, проверочных и тестирующих выборок в рамках работ по обучению и повышению точности функционирования ИИ. В каждом исследовании была проведена оценка пяти дисковых уровней, что в сумме, соответственно, дает по 100 оцененных анатомических уровней на каждого специалиста.

Далее каждый врач сравнил свои результаты с результатами работы алгоритма и указал на наличие возникших расхождений. Если оценка трех врачей для конкретной патологии в одной локализации совпадала, то она устанавливалась как эталонная и относительно нее проводилось сравнение результативности алгоритма. Показатели для большинства патологических изменений имеют значения >0,8. Предельно высокие показатели чувствительности и специфичности выявления переходных позвонков, специфичности определения спондилолистезов и грыж Шморля обусловлены малым количеством данных патологических изменений в рамках случайно отобранных исследований пояснично-крестцового отдела позвоночника.

ИИ продемонстрировал сопоставимые значения чувствительности и специфичности в сравнении с эталонным результатом в группе опытных врачей-рентгенологов (см. табл.).

Схожие результаты были продемонстрированы в других исследованиях, выполненных на базе обучения CNN для анализа дегенеративных изменений поясничного отдела позвоночника в общем [7, 8] и изменений, связанных с экструзиями и протрузиями дисков, в частности [9-11]. Значения <0,8 были зафиксированы в показателях чувствительности выявления дегенерации замыкательных пластин, гипертрофии желтых связок и грыж Шморля, а также специфичности определения артроза межпозвонковых суставов и остеофитов.

Анализ количественных измерений пролаби- рования дисков (экструзий и протрузий) в просвет позвоночного канала проводился в рамках проверки точности выявления патологических изменений поясничного отдела позвоночника. Автоматизированная количественная оценка выбухания дисков не ставилась как задача работы алгоритмов ввиду низкой клинической значимости данных изменений. В качестве результатов работы ИИ были представлены количественные данные о передне-заднем размере и высоте сегментов дисков, пролабирующих в просвет позвоночного канала, без отдельного указания высоты миграции диска выше или ниже края замыкательной пластины тела прилежащего позвонка. Результаты проверки врачами фиксировались в виде оценок «правильно», «частично правильно» и «неправильно» в зависимости от степени их расхождения с результатами работы алгоритмов. Оценка «правильно» устанавливалась при совпадении обоих

Значения чувствительности и специфичности заключений с использованием искусственного интеллекта параметров, «частично правильно» - при совпадении одного из двух измеряемых параметров, «неправильно» - при полном отсутствии совпадений. Измерения врачами пролабировавших сегментов дисков осуществлялись с учетом толщины задней продольной связки.

На данном этапе точность количественного определения протрузий и экструзий оказалась низкой, расхождение между результатами врачей и алгоритма в большинстве случаев составило около 3 мм. В основном это связано с преимущественным определением экструзий и протрузий дисков только на уровне срединного сагиттального среза, что соответствует медианному сектору на аксиальных срезах. Данная ошибка будет скорректирована в последующих апдейтах ИИ. На итоговом этапе был реализован автоматизированный обмен анонимизированной информацией между сервером, на котором хранятся исследования, сервером, где происходит работа ИИ, и серверами, на которых осуществляется работа радиологической информационной системы. Реализован способ презентации результатов работы ИИ в виде интерактивного значка в интерфейсе радиологической информационной системы, содержащего PDF-файл. В PDF-файле отображаются автоматизированно размеченные изображения в сагиттальной и аксиальной плоскостях, а также текстовая информация о патологических изменениях на каждом уровне.

В рамках итогового отчета зафиксированы хорошие результаты в определении большинства распространенных дегенеративных изменений пояснично-крестцового отдела позвоночника. Также наблюдается воспроизведение высоких значений чувствительности и специфичности для патологий, демонстрировавших аналогичные высокие показатели в промежуточном отчете. Высокое качество диагностики патологических изменений позвоночника при помощи современных алгоритмов нейронных сетей было подтверждено и в других работах [12, 13]. В то же время процесс определения количественных показателей нуждается в доработке в виде оценки на каждом сагиттальном срезе для выявления наибольшего размера пролаби- рования диска в просвет позвоночного канала.

Сокращение временных затрат на интерпретацию и написание протокола врачами-рентгенологами составляет от 2 до 10 мин на каждое исследование в зависимости от опыта работы специалиста и выраженности дегенеративных изменений пояснично-крестцового отдела позвоночника.

Дальнейшее развитие алгоритмов нейронных сетей приведет к расширению функционала сервисов, основанных на ИИ, вплоть до полной автоматизации решения диагностических задач среди наиболее часто выявляемых патологических изменений методами лучевой диагностики. Совокупность возрастающего числа специалистов в сфере компьютерного зрения и увеличения доступных вычислительных мощностей создают условия для реализации на практике более сложных и точных моделей ИИ, способных в короткие сроки справиться с большим объемом и большей сложностью диагностических задач.

Заключение

Точность метода МРТ в оценке дегенеративных изменений пояснично-крестцового отдела позвоночника является самой высокой среди всех неинвазивных методов диагностики, при этом рост доступности методов лучевой диагностики прямо пропорционален увеличению количества проводимых исследований.

Значительный объем работы при анализе пояснично-крестцового отдела позвоночника в большинстве случаев складывается из повторяющегося процесса нахождения и измерения типичных проявлений дегенеративных изменений в каждом анатомическом сегменте. Как и множество других специальностей, лучевая диагностика находится на пути к более плотному взаимодействию с системами ИИ для повышения качества и скорости выполняемой работы. С помощью современной генерации CNN возможно автоматизированное выявление целого ряда патологий на МРТ-изображениях пояснично-крестцового отдела позвоночника, что способствует снижению нагрузки на опытных врачей-рентгенологов и вероятности ошибки специалистов с малым опытом работы.

В дальнейшем вследствие повышения доступности высокоэффективных сервисов ИИ будет происходить все более плотное внедрение их в медицинскую практику, что повысит скорость и качество оказания медицинских услуг.

Литература

Li H, Luo H, Huan W, et al. Automatic lumbar spinal MRI image segmentation with a multi-scale attention network. Neural Comput Appl. 2021; 33(18): 11589-602.

Zhou Y, Liu Y, Chen Q, et al. Automatic lumbar MRI detection and identification based on deep learning. J Digit Imaging. 2019; 32(3): 513-20.

Natalia F, Young JC, Afriliana N, et al. Automated selection of mid-height intervertebral disc slice in traverse lumbar spine MRI using a combination of deep learning feature and machine learning classifier. PLoS One. 2022;

17(1): e0261659.

Wang X, Zhai S, Niu Y. Automatic vertebrae localization and identification by combining deep SSAE contextual features and structured regression forest. J Digit Imaging. 2019; 32(2): 336-48.

Lewandrowski KU, Muraleedharan N, Eddy SA, et al. Feasibility of deep learning algorithms for reporting in routine spine magnetic resonance imaging. Int J Spine Surg. 2020; 14(s3): S86-97.

Hallinan JTPD, Zhu L, Yang K, et al. Deep learning model for automated detection and classification of central canal, lateral recess, and neural foraminal stenosis at lumbar spine MRI. Radiology. 2021; 300(1): 130-8.

Jamaludin A, Lootus M, Kadir T, et al. ISSLS Prize in Bioengineering Science 2017: Automation of reading of radiological features from magnetic resonance images (MRIs) of the lumbar spine without human intervention is comparable with an expert radiologist. Eur Spine J. 2017; 26(5): 1374-83.

Lehnen NC, Haase R, Faber J, et al. Detection of degenerative changes on mr images of the lumbar spine with a convolutional neural network: a feasibility study. Diagnostics. 2021; 11(5): 902.

Tsai JY, Hung IYJ, Guo YL, et al. Lumbar disc herniation automatic detection in magnetic resonance imaging based on deep learning. Front Bioeng Biotechnol. 2021; 9: 708137.

Han Z, Wei B, Leung S, et al. Automated pathogenesis-based diagnosis of lumbar neural foraminal stenosis via deep multiscale multitask learning. Neuroinformatics. 2018; 16(3-4): 325-37.

Galbusera F, Casaroli G, Bassani T. Artificial intelligence and machine learning in spine research. JOR Spine. 2019; 2(1): e1044.

Azimi P, Yazdanian T, Benzel EC, et al. A review on the use of artificial intelligence in spinal diseases. Asian Spine J. 2020; 14(4): 543-71.

Теги: магнитно-резонансная томография
234567 Начало активности (дата): 04.09.2024 23:30:00
234567 Кем создан (ID): 989
234567 Ключевые слова: магнитно-резонансная томография, искусственный интеллект, нейронная сеть, сверточная нейронная сеть, глубокое обучение, программное обеспечение в медицине
12354567899

Оценка качества работы искусственного интеллекта в выявлении дегенеративных заболеваний пояснично-крестцового отдела позвоночника