Окно исследования
 Логотип Штудиерфенстера | |
| Разработчик(и) | Университетская клиника Эссен , Технологический университет Граца , Медицинский университет Граца |
|---|---|
| Первоначальный выпуск | 2018 |
| Написано в | C , C++ , Python , JavaScript , HTML |
| Операционная система | Кросс-платформенный (Windows, Mac OS X, Linux) |
| Доступно в | Английский |
| Тип | Обработка изображений , научная визуализация , медицинская визуализация , объемная визуализация , Интерактивная визуализация |
| Лицензия | GPL , CC BY-SA |
| Веб-сайт | окно исследования |
Studierfenster или StudierFenster (Сан-Франциско) [1] [2] [3] это бесплатная некоммерческая открытая научная клиент/серверная онлайн-платформа для обработки медицинских изображений. Он предлагает такие возможности, как просмотр медицинских данных ( компьютерная томография (КТ), магнитно-резонансная томография (МРТ) и т. д.) в двух- и трехмерном пространстве непосредственно в стандартных веб-браузерах , таких как Google Chrome, Mozilla Firefox , Safari и т. д. Майкрософт Эдж . Другими функциями являются расчет медицинских показателей ( оценка кубиков). [4] и расстояние Хаусдорфа [5] ), ручное послойное выделение структур на медицинских изображениях ( сегментация [6] [7] ), ручное размещение (анатомических) ориентиров в данных медицинских изображений, просмотр медицинских данных в виртуальной реальности , реконструкция лица и регистрация медицинских данных для дополненной реальности , [8] витрины для сканирования COVID-19 и ветеринарного сканирования в один клик, а также модуль радиомики.
Другими особенностями Studierfenster являются автоматическая конструкция черепного имплантата с использованием нейронной сети . [9] [10] картина расслоения аорты [11] с генеративно-состязательной сетью , [12] [13] автоматическое обнаружение ориентиров аорты с глубоким обучением [14] в компьютерной томографии и ангиографии, а также в реализации алгоритма GrowCut для сегментации изображений.
Studierfenster в настоящее время размещен на сервере Технологического университета Граца. [15] в Австрии и расширен совместно с Институтом искусственного интеллекта в медицине (IKIM). [16] в Эссене, Германия.
История
[ редактировать ]Studierfenster был инициирован в рамках двух бакалаврских диссертаций во время летней программы бакалавриата Института компьютерной графики и зрения (ICG) Технологического университета Граца, Австрия, в сотрудничестве с Медицинским университетом Граца, Австрия, в 2018/2019 году. [17] [18]
Название Studierfenster (или StudierFenster) немецкое и может быть переведено как «StudyWindow», где «окно» здесь относится к окну браузера. Слово Studierfenster является адаптацией слова Studierstube («учебная комната»), которое было проектом дополненной реальности в Венском технологическом университете в Австрии. [19] [20]
Архитектура
[ редактировать ]
Studierfenster настроен как распределенное приложение по модели клиент-сервер. Клиентская часть (интерфейсная часть) состоит из HTML и JavaScript с WebGL для обеспечения 2D- и 3D-визуализации, отображаемой на клиенте.
Серверная часть (серверная часть) обрабатывает клиентские запросы через C, C++ и Python. [21] Он взаимодействует с распространенными библиотеками с открытым исходным кодом и программными инструментами, такими как Insight Toolkit, [22] Инструментарий визуализации ( ВТК ), [23] X Toolkit (XTK) [24] и Slice: Drop. [25] Связь с сервером обрабатывается запросами AJAX. [26] были необходимы.
Studierfenster использует сервер Flask .
Функции
[ редактировать ]Диком браузер
[ редактировать ]
Это позволяет анализировать локальную папку на стороне клиента с помощью DICOM (цифровая визуализация и коммуникации в медицине). [27] [28] файлы. После этого всю папку можно преобразовать в сжатые файлы .nrrd (почти необработанные растровые данные) и загрузить как один файл .zip.
Nrrd — это библиотека и формат файлов для представления и обработки n-мерных растровых данных. Он предназначен для поддержки научной визуализации и (медицинской) обработки изображений . приложений [29] С помощью «Dicom Browser» Studierfenster можно выбирать определенные исследования или серии и конвертировать только их.
Конвертер файлов
[ редактировать ]Конвертер файлов преобразует файл медицинского тома (например, несжатый файл .nrrd) в сжатый/двоичный файл .nrrd. После конвертации сжатый файл .nrrd можно загрузить и использовать с помощью «Medical 3D Viewer» для 2D- и 3D-визуализации, а также дальнейшей обработки изображений.
Модуль показателей
[ редактировать ]
Это позволяет рассчитать коэффициент сходства Дайса и расстояние Хаусдорфа между двумя масками сегментации (в формате .nrrd) в стандартном веб-браузере.
Полученная таблица имеет семь столбцов: имена файлов для обоих файлов, использованных в расчете, рассчитанный коэффициент сходства Дайса, рассчитанное расстояние Хаусдорфа, рассчитанное направленное HD для обоих направлений и информация, использовалось ли в расчете расстояние между изображениями. Таблицу можно сортировать, использовать для поиска и экспортировать в виде простой копии, электронной таблицы Excel, файла значений, разделенных запятыми, или в виде переносимого формата документа.
Модуль метрики использовался для сравнения ручной анатомической сегментации опухолей головного мозга. [30]
VR-просмотрщик
[ редактировать ]
Программа VR Viewer (или Medical VR Viewer) позволяет просматривать (медицинские) данные в виртуальной реальности (VR) с помощью таких устройств, как Google Cardboard или HTC Vive (через приложение WebVR). [31] Для просмотра данных в VR их необходимо преобразовать в формат VTI (.vti), что можно сделать с помощью многоплатформенного приложения для анализа и визуализации данных с открытым исходным кодом ParaView. [32]
Критики
[ редактировать ]Studierfenster не является сертифицированным медицинским продуктом; его можно использовать только в образовательных, исследовательских и информационных целях.
Ссылки
[ редактировать ]- ^ «Штудерфенстер» . Проверено 23 апреля 2020 г.
- ^ Эггер, Ян; Уайлд, Дэниел; Вебер, Максимилиан; Рамирес Бедойя, Кристофер; Карнер, Флориан; Пруч, Александр; Шмид, Майкл; Дионисий, Кристина; Кробат, Доминик; Джин, Юань; Гсакснер, Кристина; Ли, Цзяньнин; Пепе, Антонио (2022). «Studierfenster: открытая научная облачная платформа для анализа медицинских изображений» . Журнал цифровых изображений . 35 (2). Чам: Springer International Publishing: 340–355. дои : 10.1007/s10278-021-00574-8 . ПМЦ 8782222 . ПМИД 35064372 .
- ^ Вебер, Максимилиан (17 октября 2019 г.). «Клиент-серверная онлайн-среда для расчета показателей медицинской сегментации». 2019 41-я ежегодная международная конференция Общества инженерии в медицине и биологии IEEE (EMBC) . Том. 2019. С. 3463–3467. дои : 10.1109/EMBC.2019.8856481 . ISBN 978-1-5386-1311-5 . ПМИД 31946624 . S2CID 199373900 .
- ^ Дайс, Ли Р. (1945). «Измерения степени экологической связи между видами». Экология . 26 (3): 297–302. Бибкод : 1945Ecol...26..297D . дои : 10.2307/1932409 . JSTOR 1932409 . S2CID 53335638 .
- ^ Рокафеллар, Р. Тиррелл ; Мокрый, Роджер Дж.Б. (2005). Вариационный анализ . Спрингер-Верлаг. п. 117. ИСБН 3-540-62772-3 .
- ^ Линда Г. Шапиро и Джордж К. Стокман (2001): «Компьютерное зрение», стр. 279–325, Нью-Джерси, Прентис-Холл, ISBN 0-13-030796-3
- ^ Баргут, Лорен и Лоуренс В. Ли. «Система обработки перцептивной информации». Заявка на патент США Paravue Inc. 10/618,543, поданная 11 июля 2003 г.
- ^ Гсакснер, Кристина; Пепе, Антонио; Валлнер, Юрген; Шмальштиг, Дитер; Эггер, Ян (2019). «Безмаркерная регистрация изображения к лицу для автономной дополненной реальности в хирургии головы и шеи». В Шене, Динган; Лю, Тяньмин; Питерс, Терри М.; Стаиб, Лоуренс Х.; Эссерт, Кэролайн; Чжоу, Шон; Да, Пью-Тиан; Хан, Али (ред.). Вычисление медицинских изображений и компьютерное вмешательство – MICCAI 2019 . Конспекты лекций по информатике. Том. 11768. Чам: Springer International Publishing. стр. 236–244. дои : 10.1007/978-3-030-32254-0_27 . ISBN 978-3-030-32254-0 . S2CID 202620139 .
- ^ Ли, Цзяньнин (январь 2020 г.). Глубокое обучение для реконструкции черепных дефектов . Магистерская диссертация, Институт компьютерной графики и зрения, Технологический университет Граца, Австрия, стр. 1–68, январь 2020 г. (Магистерская диссертация).
- ^ Ли, Цзяньнин; Пепе, Антонио; Гсакснер, Кристина; Эггер, Ян (2021). «Онлайн-платформа для автоматического восстановления дефектов черепа и дизайна краниальных имплантатов». В Линте, Кристиан А.; Зивердсен, Джеффри Х. (ред.). Медицинская визуализация 2021: процедуры под контролем изображений, роботизированные вмешательства и моделирование . Том. 11598. с. 59. arXiv : 2006.00980 . Бибкод : 2021SPIE11598E..1QL . дои : 10.1117/12.2580719 . ISBN 9781510640252 . S2CID 219177447 .
{{cite book}}:|journal=игнорируется ( помогите ) - ^ Пепе, Антонио; Ли, Цзяньнин; Рольф-Писсарчик, Мальте; Гсакснер, Кристина; Чен, Сяоцзюнь; Хольцапфель, Герхард А.; Эггер, Ян (2020). «Обнаружение, сегментация, моделирование и визуализация расслоения аорты: обзор». Анализ медицинских изображений . 65 : 101773. doi : 10.1016/j.media.2020.101773 . ПМИД 32738647 . S2CID 220924735 .
- ^ Пруч, Александр. «Проектирование и разработка веб-инструмента для изображения рассеченной аорты на ангиографических изображениях» (PDF) . Проверено 25 апреля 2020 г.
- ^ Гудфеллоу, Ян; Пуже-Абади, Жан; Мирза, Мехди; Сюй, Бин; Вард-Фарли, Дэвид; Озаир, Шерджил; Курвиль, Аарон; Бенджио, Йошуа (2014). Генеративно-состязательные сети (PDF) . Материалы Международной конференции по нейронным системам обработки информации (NIPS 2014). стр. 2672–2680.
- ^ Шмидхубер, Дж. (2015). «Глубокое обучение в нейронных сетях: обзор». Нейронные сети . 61 : 85–117. arXiv : 1404.7828 . дои : 10.1016/j.neunet.2014.09.003 . ПМИД 25462637 . S2CID 11715509 .
- ^ «Технологический университет Граца» . Проверено 28 апреля 2020 г.
- ^ «Искусственный интеллект в медицине» . Проверено 9 февраля 2022 г.
- ^ Вебер, Максимилиан (13 декабря 2018 г.). Онлайн-среда на основе клиент/сервер для расчета показателей сегментации (бакалаврская работа). Австрия: Институт компьютерной графики и зрения, Технологический университет Граца. стр. 1–40.
- ^ Уайлд, Дэниел; Вебер, Максимилиан; Эггер, Ян (2019). «Клиент-серверная онлайн-среда для ручной сегментации медицинских изображений». arXiv : 1904.08610 [ cs.CV ].
- ^ «Студиерстубе» (PDF) . Проверено 26 апреля 2020 г.
- ^ Салавари, Жолт; Шмальштиг, Дитер; Фурманн, Антон; Гервауц, Майкл (1998). «?Studierstube?: Среда для совместной работы в дополненной реальности». Виртуальная реальность . Конспекты лекций по информатике. 3 . Springer International Publishing: 37–48. дои : 10.1007/BF01409796 . S2CID 1122975 .
- ^ «Питон» . Проверено 29 апреля 2020 г.
- ^ «Инструментарий понимания» . Проверено 27 апреля 2020 г.
- ^ «ВТК — Инструментарий визуализации» . Проверено 27 апреля 2020 г.
- ^ «X Toolkit: WebGL™ для научной визуализации» . Гитхаб . 25 апреля 2020 г. . Проверено 27 апреля 2020 г.
- ^ «Срез: падение» . Проверено 27 апреля 2020 г.
- ^ «Ajax — Руководства веб-разработчика» . Веб-документы MDN . Архивировано из оригинала 28 февраля 2018 года . Проверено 27 февраля 2018 г.
- ^ «1 Область применения и сфера применения» . dicom.nema.org .
- ^ Брошюра DICOM , nema.org.
- ^ Аха-Фернандес, Сантьяго; де Луис Гарсия, Родриго; Тао, Даченг; Ли, Сюэлун (2009). Тензоры в обработке изображений и компьютерном зрении . Достижения в области компьютерного зрения и распознавания образов. Springer Science & Business Media. ISBN 9781848822993 .
- ^ Бхандари, Абхишта; Коппен, Джаррад; Агзарян, Марк (2020). «Сверточные нейронные сети для сегментации опухолей головного мозга» . Взгляды на визуализацию . Конспекты лекций по информатике. 11:77 (1). Springer Open: 77. doi : 10.1186/s13244-020-00869-4 . ПМК 7280397 . ПМИД 32514649 .
- ^ Эггер, Январь (12 марта 2017 г.). «Интеграция HTC Vive MeVisLab через OpenVR для медицинских приложений» . ПЛОС ОДИН . 12 (3): e0173972. arXiv : 1703.07575 . Бибкод : 2017PLoSO..1273972E . дои : 10.1371/journal.pone.0173972 . ПМК 5360258 . ПМИД 28323840 .
- ^ «ПараВью» . Проверено 24 мая 2020 г.
Внешние ссылки
[ редактировать ]- программное обеспечение 2018 года
- Открытая наука
- Программные платформы
- Медицинская визуализация
- Бесплатное программное обеспечение для здравоохранения
- Бесплатное программное обеспечение DICOM
- Бесплатное программное обеспечение, написанное на C++.
- Бесплатное программное обеспечение, написанное на Python.
- Программное обеспечение для компьютерного зрения
- Программное обеспечение для обработки изображений
- Программное обеспечение для визуализации данных
- Бесплатное программное обеспечение для 3D-графики
- Программное обеспечение, использующее VTK