Исследователи из «Сколтеха» обучили нейросеть обнаруживать и описывать патологии на рентгеновских снимках человеческих легких

20.04.2023

Исследователи из «Сколтеха» обучили нейросеть обнаруживать и описывать патологии на рентгеновских снимках человеческих легких

Нейросеть сокращает время описания одного снимка с нескольких минут примерно до 30 секунд, если не требуется значительная корректировка текста. В большинстве случаев специалисту затем нужно лишь подтвердить предложенный ИИ диагноз — или отсутствие патологии. Система работает на базе современных моделей машинного зрения и компьютерной лингвистики, в том числе GPT-3 small.

Обычные модели просто классифицируют, а нейросеть «Сколтеха» благодаря использованию современных моделей машинного зрения и компьютерной лингвистики учится автоматически описывать рентгеновские снимки, отмечают разработчики. Нейросеть обучена на парах «изображение — текст». Для этого был составлен радиологический словарь, чтобы повысить точность с точки зрения терминов и правил их использования в тексте.

Также сформирована большая сводная база рентгеновских снимков для использования в качестве обучающих данных. Ученые подчеркивают, что модель «знает» лишь те диагнозы, указания на которые действительно можно найти на рентгене легких. Обучающую выборку сбалансировали по разным болезням.