23.06.2024
Оценка диагностической точности системы автоматического анализа цифровых рентгенограмм легких при выявлении округлых образований
Цифровые рентгенологические исследования легких занимают значимую (более 30%) долю от всех лучевых исследований в Российской Федерации
В настоящее время большинство данных об эффективности систем анализа цифровых рентгенологических изображений предоставлено самими разработчиками и нуждается в качественной проверке на базах данных, подготовленных независимо от разработчика. При этом следует учитывать, что разработанные базы должны быть эквивалентны тем исследованиям, в которых будет применяться конкретная система распознавания и анализа рентгенограмм в реальной практике.
Целью исследования было проанализировать информативность автоматического распознавания округлых образований в легких при цифровой рентгенографии с использованием одного из общедоступных диагностических алгоритмов на публично недоступных эталонных наборах данных.
Материал и методы
Настоящее исследование основано на результатах распознавания и анализа цифровых рентгенограмм легких из тестовых баз посредством автоматической системы анализа медицинских изображений, ядром которой служит ансамбль из 10 нейронных сетей, созданных на основе архитектуры DenseNet-121 (свидетельство о регистрации программы для ЭВМ RU-2019665266, торговое название - FutureMed Analyzer). Она позиционируется как программное обеспечение в виде системы поддержки принятия врачебных решений, предоставляющее врачу-рентгенологу возможность получить «второе мнение» [9].
Для тестирования были сформированы две модели рентгенологического скрининга на основе зарегистрированных баз данных:
«Базы цифровых рентгенограмм легких в передней проекции без патологических изменений» (свидетельство о регистрации RU- 2019622406) - 5000 рентгенограмм;
«Результаты лучевых исследований пациентов с периферическими образованиями легких» (свидетельство о регистрации RU- 2019621712) - 150 рентгенограмм.
Для формирования «Базы цифровых рентгенограмм легких в передней проекции без патологических изменений» использовали рентгенограммы легких, выполненные пациентам без жалоб с целью скрининга туберкулеза.
Критерием отбора было согласованное мнение 5 врачей-рентгенологов об отсутствии патологических изменений на рентгенограмме. Критерием исключения из базы служило подозрение хотя бы одного рентгенолога на наличие патологических образований в легких.
База «Результаты лучевых исследований пациентов с периферическими образованиями легких» составлена на основе структурированных деперсонализированных данных лучевых исследований (рентгенограмм в передней проекции и компьютерных томограмм) 150 пациентов с различными верифицированными периферическими образованиями в легких. Структура патологических изменений, представленных в базе, была следующей: туберкулез легких - 33% (n = 50), рак легких - 49% (n = 74), доброкачественные образования легких - 14% (n = 20), другое - 3% (n = 6).
Модель 1 состояла из 100 рентгенограмм легких с соотношением «норма:патология» 94%:6% (94 человека без значимой рентгенологической патологии и 6 человек с подтвержденным наличием синдрома округлого образования в легочной ткани).
Для более детальной оценки возможности системы машинного обучения и анализа цифровых рентгенологических изображений в качестве программного продукта, направленного на обнаружение округлых образований в легких на цифровых рентгенограммах, и для определения совокупности параметров их диагностической точности была сформирована модель 2 с использованием всего объема информации из ранее указанных баз данных (5150 цифровых рентгенограмм). Соотношение «норма:патология» в модели 2 составило 97%:3%.
Для сопоставления эффективности автоматического распознавания образований в легких при цифровой рентгенографии относительно референс-теста (баз данных) применялся классический набор показателей, характеризующих диагностическую результативность (чувствительность, специфичность, отношение правдоподобия положительного результата, отношение правдоподобия отрицательного результата, прогностическая ценность положительного результата, прогностическая ценность отрицательного результата, точность) [10, 11].
Результаты
Согласно полученным результатам интерпретации цифровых рентгенограмм посредством использования системы машинного обучения и анализа цифровых рентгенологических изображений были определены основные критерии информативности диагностического теста, сформированы и проанализированы четырехпольные таблицы сопряженности (табл. 1, 2).
По результатам анализа, диагностической системой из модели 1 было верно интерпретировано 98% рентгенограмм, из модели 2 - 95%.
При анализе результатов интерпретации рентгенограмм с наличием округлого образования в легком из моделей 1 и 2 были интерпретированы как рентгенограммы с наличием патологических изменений в легких 83 и 69% случаев соответственно, при этом лишь на 33 и 55% снимков была верно указана локализация патологии на получаемой тепловой карте.
Количество правильных ответов при разделении рентгенограмм легких из моделей 1 и 2 на норму и патологию составило 95 и 98% соответственно. Чувствительность в выявлении патологических образований колебалась от 69 до 83%. Специфичность составила 99% для рентгенограмм из модели 1 и 96% для рентгенограмм из модели 2, что коррелирует с показателем прогностической ценности отрицательного результата (99%).
Дополнительно нами были построены графики, позволяющие оценить качество бинарной классификации, - характеристические кривые (ROC-кривые). Параметр «площадь под кривой» для модели 1 составил 0,91, для модели 2 - 0,85 (рисунок), что служит признаком хорошего качества моделей [10, 12, 13].
Отношение правдоподобия положительного результата по итогам анализа рентгенограмм из модели 1 составило 78,3, из модели 2 - 15,8. Прогностическая ценность положительного результата была больше при интерпретации рентгенограмм из выборки 1 - 83%. В целом получен довольно низкий показатель гиподиагностики: для модели 1 - 17%, для модели 2 - 31%. Все это можно рассматривать как положительный результат в отношении использования подобных программных продуктов на выборке с заранее известным преобладающим числом рентгенограмм без патологических изменений.
Мы также проанализировали влияние рентгенологических характеристик округлых образований в легких на качество их выявления системой машинного обучения и анализа цифровых рентгенологических изображений из модели 2.
В 31% случаев снимки были интерпретированы как рентгенограммы без патологических изменений, при этом на 19% рентгенограмм была неверно указана локализация патологических изменений. Среди случаев гиподиагностики 46% рентгенограмм были с верифицированным раком легкого.
Дополнительно изучена взаимосвязь между типом округлого образования, его размерами и частотой пропуска патологических изменений при использовании автоматической системы анализа медицинских изображений.
Программа не выявила ни одного образования по типу «матового стекла». Среди рентгенограмм с наличием образования солидного типа количество ошибочных интерпретаций составило 29% (n = 38), среди рентгенограмм с образованиями субсолидного типа - 38% (n = 6).
Количество случаев гипердиагностики при анализе рентгенограмм с образованиями размерами до 10 мм составило 80% (n = 4), размерами от 10 до 30 мм - 33% (n = 32), размерами более 30 мм - 21% (n = 10).
Оценка диагностической точности системы автоматического анализа цифровых рентгенограмм легких при выявлении округлых образований
Оказалось, что наибольшие сложности с выявлением патологии возникали в случае локализации изменений в С1, С2 правого легкого (31 и 28% соответственно) и в С1+2 левого легкого (53%). Это может быть ассоциировано с локализацией патологических изменений за тенью ребер и в верхушках легких в результате суммации тени округлого образования и тени 1-го ребра или ключиц на рентгенограмме.
Обсуждение
Полученные показатели критериев диагностической эффективности интерпретации цифровых рентгенограмм легких с синдромом округлого образования в легочной ткани свидетельствуют о перспективности данного метода интерпретации цифровых рентгенологических изображений, а также о возможности допуска программного продукта к клинической валидации [10].
При сравнении результатов нашего исследования с данными других работ отмечено, что показатели чувствительности, специфичности, отношения правдоподобия положительного результата, отношения правдоподобия отрицательного результата, прогностической ценности положительного результата, прогностической ценности отрицательного результата находятся в одном диапазоне, но колеблются в пределах 5-10%, что может быть обусловлено как качеством обучения программных продуктов, так и разностью выборок, примененных для тестирования. Это требует дальнейшего исследования на большем количестве выборок [6, 8, 14].
Если сравнивать ресурсы данного продукта с возможностями врача-рентгенолога в выявлении аналогичной патологии, можно говорить о сопоставимых результатах. В нашей предыдущей работе мы провели тестирование врачей-рентгенологов на возможность выявления округлых образований в легких при цифровой рентгенографии. Были получены следующие показатели диагностической эффективности: чувствительность - 75,35%, специфичность - 72,28%, отношение правдоподобия положительного результата - 2,71, отношение правдоподобия отрицательного результата - 0,34, прогностическая ценность положительного результата - 54,02%, прогностическая ценность отрицательного результата - 87,15%, точность - 73,2% [5].
Схожие данные опубликованы Y. Sim и соавт.: результаты тестирования системы машинного обучения и анализа цифровых рентгенологических изображений были аналогичны таковым, полученным при тестировании врачей-рентгенологов, при этом на этапе повторного анализа рентгенограмм врачом-рентгенологом уже с использованием результатов анализа рентгенограмм программным продуктом средняя чувствительность возможностей рентгенологов повысилась с 65,1 до 70,3%, в свою очередь чувствительность программы автоматического анализа в среднем составила 67,3% (от 56,1 до 82,7%) [15].
Вместе с тем подчеркнем, что при использовании модели 2 с большим объемом рентгенограмм в исследовании и уменьшением соотношения между нормой и патологией мы видим снижение чувствительности программного продукта, прогностической ценности положительного результата, отношения правдоподобия положительного результата и площади ROC-кривой. При этом специфичность, прогностическая ценность отрицательного результата и точность снижаются крайне незначительно (в пределах 2-3%). Все это может быть обусловлено как большей вариативностью различных патологических процессов, предложенных системе, так и размерами выборки наблюдений и соотношением между нормой и патологией.
Отметим: данная система автоматического обнаружения патологических изменений не смогла решить наиболее сложные проблемы выявления при рентгенографии округлых образований, встречающихся в клинической практике (образования с низкими плотностными характеристиками, по данным компьютерной томографии относящиеся к типу «матового стекла»), и при локализации патологических изменений за тенью ребер и в верхушках легких - так называемую проблему суммации теней.
Заключение
Диагностическая эффективность исследуемой системы автоматического анализа изображений на основе сверточных нейронных сетей приближается к аналогичным показателям врачей-рентгенологов.
В случае принятия решения о целесообразности рассмотрения системы в качестве вспомогательного второго мнения для врачей-рентгенологов медицинским учреждениям для выбора подходящей системы необходимо проводить предварительное тестирование на собственных моделях, эквивалентных исследованиям, которые проводятся в данном учреждении (параметры выполнения рентгенографии, характер и частота выявляемой патологии).
Медицинскому сообществу предстоит широкая клиническая апробация разработанных систем искусственного интеллекта на независимых наборах данных, и эти результаты могут изменить показатели диагностической точности данных алгоритмов.
Литература
Тюрин ИЕ. Лучевая диагностика в Российской Федерации в 2016 г. Вестник рентгенологии и радиологии. 2017;98(4):219-226. doi: 10.20862/0042-4676-2017-98-4-219-226.
Трофимова ТН, Козлова ОВ. Лучевая диагностика 2018 в цифрах и фактах. Лучевая диагностика и терапия. 2019;(3):100-102. doi: 10.22328/2079-5343-2019-10-3-100-102.
Yerushalmy J, Harkness JT, Cope JH, Kennedy BR. The role of dual reading in mass radiography. American Review of Tuberculosis. 1950;61:443-464.
Nakamura K, Ohmi A, Kurihara T, Suzuki S, Ta- dera M. [Studies on the diagnostic value of 70 mm radiophotograms by mirror camera and the reading ability of physicians]. Kekkaku. 1970;45(4):121-128. Japanese.
Гаврилов ПВ, Ушков АД, Смольникова УА. Выявление округлых образований в легких при цифровой рентгенографии: роль опыта работы врача-рентгенолога. Медицинский альянс. 2019;(2):51-56.
Lakhani P, Sundaram B. Deep Learning at Chest Radiography: Automated Classification of Pulmonary Tuberculosis by Using Convolutional Neural Networks. Radiology. 2017;284(2):574- 582. doi: 10.1148/radiol.2017162326.
Jaeger S, Karargyris A, Candemir S, Folio L, Siegelman J, Callaghan F, Zhiyun Xue, Palaniappan K, Singh RK, Antani S, Thoma G, Yi-Xiang Wang, Pu-Xuan Lu, McDonald CJ. Automatic tuberculosis screening using chest radiographs. IEEE Trans Med Imaging. 2014;33(2):233-245. doi: 10.1109/ TMI.2013.2284099.
Морозов СП, Владзимирский АВ, Ледихо- ва НВ, Соколина ИА, Кульберг НС, Гомболев- ский ВА. Оценка диагностической точности системы скрининга туберкулеза легких на основе искусственного интеллекта. Туберкулез и болезни легких. 2018;96(8):42-49. doi: 10.21292/2075-1230-2018-96-8-42-49.
Падалко МА, Наумов АМ, Назариков СИ, Лушников АА. Применение технологий искусственного интеллекта для диагностики туберкулеза и онкологических заболеваний. Туберкулез и болезни легких. 2019;97(11):62. doi: 10.21292/2075-1230- 2019-97-11-62-62.
Морозов СП, Владзимирский АВ, Кляштор- ный ВГ, Андрейченко АЕ, Кульберг НС, Гом- болевский ВА, Сергунова КА. Клинические испытания программного обеспечения на основе интеллектуальных технологий (лучевая диагностика): методические рекомендации. Серия «Лучшие практики лучевой и инструментальной диагностики». Вып. 57. М.; 2019. 53 с.
Васильев АЮ, Малый АЮ, Серова НС. Анализ данных лучевых методов исследования на основе принципов доказательной медицины: учебное пособие. М.: ГЭОТАР-Медиа; 2008. 32 с.
Fawcett T. An introduction to ROC analysis. Pattern recognition letters. 2006;27(8):861-874. doi: 10.1016/j.patrec.2005.10.010.
Macskassy SA, Provost F, Rosset S. ROC confidence bands: An empirical evaluation. In: ICML '05: Proceedings of the 22nd international conference on Machine learning. 2005. p. 537544. doi: 10.1145/1102351.1102419.
Nam JG, Park S, Hwang EJ, Lee JH, Jin KN, Lim KY, Vu TH, Sohn JH, Hwang S, Goo JM, Park CM. Development and Validation of Deep Learning-based Automatic Detection Algorithm for Malignant Pulmonary Nodules on Chest Radiographs. Radiology. 2019;290(1): 218-228. doi: 10.1148/radiol.2018180237.
Sim Y, Chung MJ, Kotter E, Yune S, Kim M, Do S, Han K, Kim H, Yang S, Lee DJ, Choi BW. Deep Convolutional Neural Network-based Software Improves Radiologist Detection of Malignant Lung Nodules on Chest Radiographs. Radiology. 2020;294(1):199-209. doi: 10.1148/ radiol.2019182465.
Автор:
Гаврилов Павел Владимирович - канд. мед. наук, вед. науч. сотр., руководитель направления «Лучевая диагностика»
Смольникова Ульяна Алексеевна - аспирант отделения лучевой диагностики ФГБУ «Санкт- Петербургский научно-исследовательский институт фтизиопульмонологии» Минздрава России
Теги: рентгенография легких
234567 Начало активности (дата): 23.06.2024 17:24:00
234567 Кем создан (ID): 989
234567 Ключевые слова: рентгенография легких, округлые образования, скрининг, искусственный интеллект, сверточные нейронные сети
12354567899
Похожие статьи
Ухудшение течения прогрессирующего интерстициального заболевания легких у пациентки с болезнью Стилла взрослых после перенесенной новой коронавирусной инфекцииРентген на дому 8 495 22 555 6 8
Передвижной рентген-аппарат для удобного проведения диагностики появился в тавдинской больнице
Клинический случай хордомы крестца и копчика, имеющей массивный внутритазовый компонент (хирургическое лечение с кратким обзором литературы)
Комбинированный остеосинтез при лечении диафизарных переломов большеберцовой кости
