Медицинская открытая сеть для искусственного интеллекта
Разработчик(и) | Nvidia , Национальные институты здравоохранения , Королевский колледж Лондона |
---|---|
Первоначальный выпуск | Версия 0.2.0 (23 ноября 2021 г.) |
Стабильная версия | Версия 1.2.0 (30 апреля 2023 г.) |
Репозиторий | github |
Написано в | Питон |
Платформа | Кросс-платформенный |
Доступно в | Английский |
Тип | Программное обеспечение для здоровья |
Лицензия | Лицензия Апач |
Веб-сайт | монахи |
Медицинская открытая сеть для искусственного интеллекта ( MONAI ) — это с открытым исходным кодом , поддерживаемая сообществом, платформа для глубокого обучения (DL) в области медицинской визуализации. MONAI предоставляет набор оптимизированных для предметной области реализаций различных алгоритмов и утилит DL, специально разработанных для медицинской визуализации задач . MONAI используется в исследованиях и промышленности, помогая разработке различных приложений медицинской визуализации, включая сегментацию изображений , классификацию изображений, регистрацию изображений и генерацию изображений . [1]
MONAI был впервые представлен в 2019 году совместными усилиями инженеров Nvidia , Национальных институтов здравоохранения и академического сообщества Королевского колледжа Лондона . Структура была разработана для решения конкретных проблем и требований DL, применяемых к медицинской визуализации. [1]
Построенная на основе PyTorch , популярной библиотеки DL, MONAI предлагает высокоуровневый интерфейс для выполнения повседневных задач медицинской визуализации, включая предварительную обработку изображений , увеличение , обучение модели DL , оценку и логические выводы для различных приложений медицинской визуализации. MONAI упрощает разработку моделей DL для анализа медицинских изображений, предоставляя ряд готовых компонентов и модулей. [1] [2] [3]
MONAI является частью более крупного пакета на основе искусственного интеллекта (ИИ) программного обеспечения под названием NVIDIA Clara. [4] Помимо MONAI, Clara также включает в себя NVIDIA Parabricks для анализа генома. [5]
Основы анализа медицинских изображений
[ редактировать ]Медицинская визуализация — это ряд методов и технологий визуализации, которые позволяют врачам визуализировать внутренние структуры человеческого тела. Он помогает в диагностике , лечении и мониторинге различных заболеваний, что позволяет медицинским работникам получать подробные и неинвазивные изображения органов, тканей и физиологических процессов. [6]
Медицинская визуализация развивалась благодаря технологическим достижениям и научным знаниям. Сегодня оно включает в себя такие методы, как рентген , компьютерная томография (КТ), магнитно-резонансная томография (МРТ), ультразвук , ядерная медицина и цифровая патология , каждый из которых предлагает возможности и понимание анатомии и патологии человека. [6]
Изображения, полученные с помощью этих методов медицинской визуализации, интерпретируются рентгенологами , обученными специалистами по анализу и диагностике заболеваний на основе визуальной информации, зафиксированной на изображениях. В последние годы в этой области наблюдаются достижения в области компьютерной диагностики , интеграции методов искусственного интеллекта и глубокого обучения для автоматизации анализа медицинских изображений и помощи рентгенологам в обнаружении отклонений и повышении точности диагностики. [7]
Функции
[ редактировать ]MONAI предоставляет надежный набор библиотек, инструментов и комплектов разработки программного обеспечения (SDK), которые охватывают весь процесс создания приложений для медицинской визуализации. Он предлагает широкий спектр ресурсов для поддержки каждого этапа разработки решений искусственного интеллекта (ИИ) в области медицинской визуализации, от начальной аннотации (маркировка MONAI) до [2] посредством разработки и оценки моделей (MONAI Core), [1] и окончательное развертывание приложения (SDK для развертывания приложений MONAI). [3]
Маркировка медицинских данных
[ редактировать ]MONAI Label — это универсальный инструмент, который совершенствует процесс маркировки изображений и обучения за счет поддержки искусственного интеллекта. Это упрощает задачу аннотирования новых наборов данных за счет использования алгоритмов искусственного интеллекта и взаимодействия с пользователем . Благодаря этому сотрудничеству MONAI Label обучает модель искусственного интеллекта решению конкретной задачи и постоянно улучшает ее производительность по мере получения дополнительных аннотированных изображений. Инструмент предлагает ряд функций и интеграций, которые оптимизируют рабочий процесс аннотаций и обеспечивают плавную интеграцию с существующими платформами медицинской визуализации. [8]
- Аннотации с помощью искусственного интеллекта : MONAI Label помогает исследователям и практикам в области медицинских изображений, предлагая аннотации на основе взаимодействия с пользователем с использованием алгоритмов искусственного интеллекта. Эта помощь искусственного интеллекта значительно сокращает время и усилия, необходимые для маркировки новых наборов данных, позволяя пользователям сосредоточиться на более сложных задачах. Предложения, предоставленные MONAI Label, повышают эффективность и точность процесса аннотирования. [8]
- Непрерывное обучение : по мере того, как пользователи предоставляют дополнительные аннотированные изображения, MONAI Label использует эти данные для улучшения своей производительности с течением времени. Инструмент обновляет свою модель искусственного интеллекта новыми полученными аннотациями, расширяя возможности маркировки изображений и адаптации к конкретным задачам. [8]
- Интеграция с платформами медицинских изображений: MONAI Label интегрируется с платформами медицинских изображений, такими как 3D Slicer , просмотрщик Open Health Imaging Foundation для радиологии, [9] КуПат, [10] и цифровой архив слайдов по патологии. [11] Эти интеграции обеспечивают связь между MONAI Label и существующими инструментами медицинской визуализации, облегчая совместные рабочие процессы и обеспечивая совместимость с существующими платформами. [8]
- Интеграция настраиваемых средств просмотра: разработчики имеют возможность интегрировать MONAI Label в свои настраиваемые средства просмотра изображений с помощью предоставленных серверных и клиентских API . Эти API абстрагированы и тщательно документированы, что обеспечивает плавную интеграцию со специальными приложениями. [8]
Разработка и оценка модели глубокого обучения
[ редактировать ]В MONAI Core исследователи могут найти набор инструментов и функций для обработки, загрузки наборов данных , реализации модели глубокого обучения (DL) и оценки. Эти утилиты позволяют исследователям оценивать производительность своих моделей. MONAI Core предлагает настраиваемые конвейеры обучения, позволяющие пользователям создавать и обучать модели, поддерживающие различные подходы к обучению, такие как обучение с учителем , с полуконтролем и самоконтролем . Кроме того, пользователи имеют возможность реализовывать различные вычислительные стратегии для оптимизации процесса обучения. [1]
- Ввод-вывод изображений, обработка и увеличение: доступны API-интерфейсы для конкретной предметной области для преобразования данных в массивы и различные словарные форматы. Кроме того, стратегии выборки патчей позволяют генерировать сбалансированные по классам выборки из многомерных изображений . Это гарантирует, что процесс выборки поддерживает баланс и справедливость между различными классами, присутствующими в данных. Кроме того, обратимые преобразования, предоставляемые MONAI Core, позволяют отменить выходные данные модели на предыдущий этап предварительной обработки. Это достигается за счет использования отслеживаемых метаданных и прикладных операций, что позволяет исследователям интерпретировать и анализировать результаты модели в контексте исходных данных. [1]
- Наборы данных и загрузка данных: многопоточные наборы данных на основе кэша поддерживают высокочастотную загрузку данных, доступность общедоступных наборов данных ускоряет развертывание моделей и воспроизводимость производительности , а пользовательские API поддерживают источники сжатых , образов и исправлений, а также мультимодальные источники данных. [1]
- Дифференцируемые компоненты, сети , потери, [12] и оптимизаторы: [13] MONAI Core предоставляет сетевые уровни и блоки, которые могут беспрепятственно обрабатывать пространственные 1D, 2D и 3D входные данные. Пользователи имеют возможность легко интегрировать эти уровни, блоки и сети в свои персонализированные конвейеры. Библиотека также включает часто используемые функции потерь, такие как потеря Dice , потеря Тверски и потеря фокуса Dice. [14] которые были (повторно) реализованы из литературы. Кроме того, MONAI Core предлагает методы числовой оптимизации, такие как Novograd, и такие утилиты, как средство поиска скорости обучения, для облегчения процесса оптимизации. [15] [1]
- Оценка: MONAI Core предоставляет комплексный набор показателей оценки для оценки производительности моделей медицинских изображений. Эти показатели включают в себя среднее значение Дайса, кривые рабочих характеристик приема , матрицы неточности , расстояние Хаусдорфа , расстояние до поверхности и чувствительность к окклюзии. [16] В сводном отчете по метрикам генерируется статистическая информация, такая как среднее значение , медиана , максимум, минимум , процентиль и стандартное отклонение для вычисленных показателей оценки. [16] [1]
- Ускорение графического процессора, профилирование производительности и оптимизация : MONAI использует ряд инструментов, включая DDLProf, [17] Нсайт, [18] НВТХ, [19] и НВМЛ [20] для обнаружения узких мест в производительности. Распределенные API-интерфейсы параллельного обмена данными легко интегрируются с собственным распределенным модулем PyTorch PyTorch-ignite. [21] distributed module, Horovod , XLA, [22] и платформа SLURM. [23]
- Коллекция моделей DL: предлагая модельный зоопарк MONAI, [24] MONAI позиционирует себя как платформа, которая позволяет исследователям и специалистам по обработке данных получать доступ к передовым моделям, разработанным сообществом, и обмениваться ими. Используя формат MONAI Bundle, пользователи могут легко и эффективно использовать любую модель в рамках MONAI (ядро, метку или развертывание). [25]
Комплект разработки приложений для искусственного интеллекта
[ редактировать ]SDK приложения для развертывания MONAI предлагает систематический ряд шагов, позволяющих пользователям разрабатывать и настраивать свои модели искусственного интеллекта и рабочие процессы для развертывания в клинических условиях. Эти шаги действуют как контрольные точки, гарантируя, что инфраструктура вывода ИИ соответствует основным стандартам и требованиям для плавной клинической интеграции. [3]
Ключевые компоненты SDK приложения MONAI Deploy включают в себя:
- Pythonic framework для разработки приложений : SDK представляет собой основанную на Python среду, разработанную специально для создания приложений, ориентированных на здравоохранение. Благодаря адаптируемой основе эта платформа позволяет оптимизировать разработку приложений на основе искусственного интеллекта, адаптированных для сферы здравоохранения. [3]
- Механизм упаковки пакетов приложений MONAI: SDK включает инструмент для упаковки приложений в пакеты приложений MONAI. [26] (КАРТА). Эти экземпляры MAP устанавливают стандартизированный формат для объединения и развертывания приложений, обеспечивая переносимость и облегчая беспрепятственное распространение. [27]
- Локальное выполнение MAP через средство запуска приложений: SDK предоставляет функцию запуска приложений, которая позволяет локально выполнять экземпляры MAP. Эта функциональность позволяет разработчикам запускать и тестировать свои приложения в контролируемой среде, позволяя создавать прототипы и отлаживать . [28]
- Примеры приложений: SDK включает набор примеров приложений, которые служат как практическими примерами, так и отправной точкой для разработчиков. Эти примеры приложений демонстрируют различные варианты использования и иллюстрируют лучшие практики эффективного использования платформы MONAI Deploy. [3]
- Документация по API: SDK дополняется подробной документацией, в которой описываются доступные API и содержатся рекомендации для разработчиков по эффективному использованию предоставленных инструментов и функций. [3]
Приложения
[ редактировать ]MONAI нашел применение в различных исследованиях и промышленных внедрениях в различных анатомических регионах. Например, его использовали в академических исследованиях, связанных с автоматическим дизайном черепно-лицевых имплантатов. [29] анализ опухоли головного мозга по магнитно-резонансным изображениям, [30] выявление особенностей очагового поражения печени по данным МРТ, [31] планирование лучевой терапии при раке простаты , [32] подготовка наборов данных для флуоресцентной микроскопии , [33] и классификация легочных узелков при раке легких . [34]
В медицинских учреждениях больницы используют MONAI для улучшения результатов маммографии за счет использования моделей глубокого обучения для анализа плотности молочной железы. Такой подход сокращает время ожидания пациентов, позволяя им получить результаты маммографии в течение 15 минут. Следовательно, врачи экономят время, а пациенты сокращают время ожидания. Это усовершенствование позволяет пациентам сразу же участвовать в обсуждениях со своими врачами во время одного и того же приема, что способствует быстрому принятию решений и обсуждению следующих шагов перед тем, как покинуть учреждение. Более того, больницы могут использовать MONAI для выявления признаков ухудшения состояния пациента с COVID-19 или определения возможности его безопасной выписки, оптимизируя уход за пациентами и после COVID-19 . принятие решений [35]
В корпоративной сфере компании выбирают MONAI для разработки приложений для решения различных клинических задач. на основе ультразвука К ним относятся оценка сколиоза в полевых условиях , маркировка изображений патологии на основе искусственного интеллекта, обнаружение пневмоторакса с помощью ультразвука, характеристика морфологии головного мозга , обнаружение микропереломов зубов и неинвазивная оценка внутричерепного давления . [36]
См. также
[ редактировать ]- Искусственный интеллект в здравоохранении
- Медицинская визуализация
- Глубокое обучение
- Сегментация изображений
- Регистрация изображения
- Генерация изображений
Ссылки
[ редактировать ]- ^ Перейти обратно: а б с д и ж г час я Кардосо, М. Хорхе; Ли, Вэньци; Браун, Ричард (04 октября 2022 г.). «MONAI: платформа с открытым исходным кодом для глубокого обучения в здравоохранении». стр. 1–25. arXiv : 2211.02701 [ cs.LG ].
- ^ Перейти обратно: а б Диас-Пинто, Андрес; Алле, Сачидананд; Нат, Вишвеш (23 апреля 2023 г.). «MONAI Label: основа для интерактивной маркировки 3D-медицинских изображений с помощью искусственного интеллекта». стр. 1–20. arXiv : 2203.12362 [ cs.HC ].
- ^ Перейти обратно: а б с д и ж MONAI Deploy App SDK , Project MONAI, 29 июня 2023 г. , получено 6 июля 2023 г.
- ^ «НВИДИА Клара» . NVIDIA . Проверено 11 июля 2024 г.
- ^ «НВИДИА Парабрикс» . NVIDIA . Проверено 11 июля 2024 г.
- ^ Перейти обратно: а б Дхаван, Атам П. (24 января 2011 г.). Анализ медицинских изображений (1-е изд.). Уайли. стр. 100-1 23–368. дои : 10.1002/9780470918548 . ISBN 978-0-470-62205-6 .
- ^ Дой, Кунио (2007). «Компьютерная диагностика в медицинской визуализации: исторический обзор, текущее состояние и будущий потенциал» . Компьютеризированная медицинская визуализация и графика . 31 (4–5): 198–211. doi : 10.1016/j.compmedimag.2007.02.002 . ЧВК 1955762 . ПМИД 17349778 .
- ^ Перейти обратно: а б с д и Этикетка MONAI , Project MONAI, 06 июля 2023 г. , получено 6 июля 2023 г.
- ^ «Просмотрщик OHIF» . сайт просмотра.ohif.org . Проверено 6 июля 2023 г.
- ^ «КуПат» . qupath.github.io . Проверено 6 июля 2023 г.
- ^ «Используйте весь потенциал ваших цифровых патологоанатомических данных» . Цифровой архив слайдов . Проверено 6 июля 2023 г.
- ^ «Спускаясь в машинное обучение: обучение и потери | Машинное обучение» . Гугл для разработчиков . Проверено 6 июля 2023 г.
- ^ Ань, Ли-Бао (2011). «Оптимизация параметров резания при фрезерных операциях различными методами решения». 2011 Международная конференция по машинному обучению и кибернетике . IEEE. стр. 422–427. дои : 10.1109/icmlc.2011.6016679 . ISBN 978-1-4577-0305-8 . S2CID 12484876 .
- ^ «Функции потерь — Документация MONAI 1.2.0» . docs.monai.io . Проверено 6 июля 2023 г.
- ^ «Оптимизаторы — Документация MONAI 1.2.0» . docs.monai.io . Проверено 6 июля 2023 г.
- ^ Перейти обратно: а б «Метрики — Документация MONAI 1.2.0» . docs.monai.io . Проверено 6 июля 2023 г.
- ^ «Руководство пользователя ДЛПроф» (PDF) . docs.nvidia.com . Проверено 6 июля 2023 г.
- ^ «Нсайт Системс» . Разработчик NVIDIA . 12 марта 2018 г. Проверено 6 июля 2023 г.
- ^ «Документация по расширению инструментов NVIDIA (NVTX)» . docs.nvidia.com . Проверено 6 июля 2023 г.
- ^ «Справочное руководство по API NVML :: Документация по развертыванию и управлению графическим процессором» . docs.nvidia.com . Проверено 6 июля 2023 г.
- ^ «PyTorch-Ignite» . PyTorch-Ignite . Проверено 6 июля 2023 г.
- ^ «XLA: Оптимизация компилятора для машинного обучения» . ТензорФлоу . Проверено 6 июля 2023 г.
- ^ «Диспетчер рабочей нагрузки Slurm — Документация» . slurm.schedmd.com . Проверено 6 июля 2023 г.
- ^ «Модельный зоопарк МОНАИ» . monai.io . Проверено 6 июля 2023 г.
- ^ «Пакет моделей — документация MONAI 1.2.0» . docs.monai.io . Проверено 6 июля 2023 г.
- ^ «Развертывание и размещение пакета приложения MONAI — Документация MONAI Deploy App SDK 0.4.0» . docs.monai.io . Проверено 6 июля 2023 г.
- ^ «Упаковка приложения — Документация MONAI Deploy App SDK 0.4.0» . docs.monai.io . Проверено 6 июля 2023 г.
- ^ «Локальное выполнение упакованного приложения — Документация MONAI Deploy App SDK 0.4.0» . docs.monai.io . Проверено 6 июля 2023 г.
- ^ Ли, Цзяньнин; Феррейра, Андре; Пулади, Берус; Алвес, Виктор; Камп, Майкл; Ким, Мун; Ненса, Феликс; Клесик, Йенс; Ахмади, Сейед-Ахмад; Эггер, Ян (2023). «Реконструкция черепа с открытым исходным кодом с помощью MONAI». Программное обеспечениеX . 23 : 101432. arXiv : 2211.14051 . Бибкод : 2023SoftX..2301432L . дои : 10.1016/j.softx.2023.101432 . ISSN 2352-7110 .
- ^ Шарма, Сурадж Пракаш; Сампатх, Налини (24 июня 2022 г.). «Увеличение данных для сегментации опухолей головного мозга с использованием MONAI Framework». 2022 2-я Международная конференция по интеллектуальным технологиям (CONIT) . IEEE. стр. 1–8. дои : 10.1109/conit55038.2022.9847822 . ISBN 978-1-6654-8407-7 . S2CID 251761810 .
- ^ Столлмайер, Роберт; Будай, Каталин Беттина; Роназеки, Аладар; Жомбор, Зита; Калина, Ильдико; Хартманн, Эрика; Тот, Габор; Солдан, Питер; Берчи, Виктор; Маурович-Хорват, Пал; Капоши, Пал Новак (05 мая 2022 г.). «Идентификация особенностей МРТ очагового поражения печени с использованием Efficientnet и MONAI: технико-экономическое обоснование» . Клетки . 11 (9): 1558. doi : 10.3390/cells11091558 . ISSN 2073-4409 . ПМЦ 9104155 . ПМИД 35563862 .
- ^ Белю, Мейсон Дж.; Хармон, Стефани А.; Патель, Кришнан; Дарианани, Аша; Йылмаз, Энис Чагатай; Пинто, Питер А.; Вуд, Брэдфорд Дж.; Цитрин, Дебора Э.; Чойк, Питер Л.; Туркбей, Барис (2022). «Разработка 3D-модели искусственного интеллекта на основе CNN для автоматической сегментации простатической уретры» . Академическая радиология . 29 (9): 1404–1412. дои : 10.1016/j.acra.2022.01.009 . ISSN 1076-6332 . ПМЦ 9339453 . ПМИД 35183438 .
- ^ Пун, в Чаре; Тейкари, Петтери; Рахмади, Мухаммад Фебриан; Скиббе, Хенрик; Хюнюнен, Куллерво (20 июля 2022 г.). «MiniVess: набор данных о церебрососудистой сети грызунов, полученных с помощью in vivo многофотонной флуоресцентной микроскопии »: 1–11. дои : 10.1101/2022.07.19.500542 .
{{cite journal}}
: Для цитирования журнала требуется|journal=
( помощь ) - ^ Калиюгарасан, Сатешкумар; Лундерволд, Арвид; Лундерволд, Александр Сельвиквог (2021). «Классификация легочных узлов при раке легких по данным 3D-КТ грудной клетки с использованием fastai и MONAI» . Международный журнал интерактивных мультимедиа и искусственного интеллекта . 6 (7): 83. дои : 10.9781/ijimai.2021.05.002 . HDL : 11250/2772280 . ISSN 1989-1660 . S2CID 236693622 .
- ^ Дурлах, Питер (11 мая 2023 г.). «Microsoft и наши партнеры: внедрение моделей искусственного интеллекта в клинические условия» . Отраслевые блоги Microsoft . Проверено 6 июля 2023 г.
- ^ Деннисон, Джайсил Роуз (11 августа 2022 г.). «Использование MONAI для медицинского искусственного интеллекта» . www.kitware.com . Проверено 6 июля 2023 г.
Дальнейшее чтение
[ редактировать ]- Диас-Пинто, Андрес; Мехта, Притеш; Алле, Сачидананд; Асад, Мухаммед; Браун, Ричард; Натх, Вишвеш; Ихсани, Элвин; Антонелли, Микела; Палкович, Дэниел (2022), «DeepEdit: глубокое редактируемое обучение для интерактивной сегментации трехмерных медицинских изображений», Увеличение данных, маркировка и несовершенства , Конспекты лекций по информатике, том. 13567, Cham: Springer Nature Switzerland, стр. 11–21, arXiv : 2305.10655 , doi : 10.1007/978-3-031-17027-0_2 , ISBN 978-3-031-17026-3 , S2CID 252568578
- Хатамизаде, Али; Тан, Юйчэн; Натх, Вишвеш; Ян, Донг; Мироненко Андрей; Ландман, Беннетт; Рот, Хольгер Р.; Сюй, Дагуан (2022). «UNETR: Трансформаторы для сегментации медицинских 3D-изображений». Зимняя конференция IEEE/CVF 2022 года по приложениям компьютерного зрения (WACV) . IEEE. стр. 574–584. arXiv : 2103.10504 . дои : 10.1109/wacv51458.2022.00181 . ISBN 978-1-6654-0915-5 . S2CID 232290634 .
- Хатамизаде, Али; Натх, Вишвеш; Тан, Юйчэн; Ян, Донг; Рот, Хольгер Р.; Сюй, Дагуан (2022). «Swin UNETR: преобразователи Swin для семантической сегментации опухолей головного мозга на изображениях МРТ». В Крими, Алессандро; Бакас, Спиридон (ред.). Поражение головного мозга: глиома, рассеянный склероз, инсульт и черепно-мозговые травмы . Конспекты лекций по информатике. Том. 12962. Чам: Springer International Publishing. стр. 272–284. arXiv : 2201.01266 . дои : 10.1007/978-3-031-08999-2_22 . ISBN 978-3-031-08999-2 . S2CID 245668780 .