Регистрация изображения
Регистрация изображений — это процесс преобразования разных наборов данных в одну систему координат. Данные могут представлять собой несколько фотографий, данные с разных датчиков, время, глубину или точки зрения. [1] Он используется в компьютерном зрении , медицинской визуализации , [2] военное автоматическое распознавание целей , а также сбор и анализ изображений и данных со спутников. Регистрация необходима для того, чтобы иметь возможность сравнивать или интегрировать данные, полученные в результате различных измерений.
Классификация алгоритмов [ править ]
На основе интенсивности и на основе функций [ править ]
Алгоритмы регистрации или выравнивания изображений можно разделить на основанные на интенсивности и основанные на признаках. [3] Одно из изображений называется движущимся или источником , а другие называются целевыми , фиксированными или воспринимаемыми изображениями. Регистрация изображения включает пространственное преобразование исходного/движущегося изображения (изображений) для выравнивания с целевым изображением. Опорный кадр в целевом изображении является стационарным, в то время как другие наборы данных преобразуются в соответствии с целевым. [3] Методы, основанные на интенсивности, сравнивают образцы интенсивности на изображениях с помощью показателей корреляции, а методы, основанные на признаках, находят соответствие между такими функциями изображения, как точки, линии и контуры. [3] Методы, основанные на интенсивности, регистрируют целые изображения или части изображений. Если фрагменты изображений зарегистрированы, центры соответствующих фрагментов изображений рассматриваются как соответствующие характерные точки. Методы, основанные на признаках, устанавливают соответствие между рядом особенно отчетливых точек на изображениях. Зная соответствие между рядом точек на изображениях, затем определяют геометрическое преобразование для сопоставления целевого изображения с опорными изображениями, тем самым устанавливая поточечное соответствие между опорным и целевым изображениями. [3] Также были разработаны методы, объединяющие информацию, основанную на интенсивности и характеристиках. [4]
Модели трансформации [ править ]
Алгоритмы регистрации изображений также можно классифицировать в соответствии с моделями преобразования, которые они используют для связи целевого пространства изображений с опорным пространством изображений. Первая широкая категория моделей преобразования включает линейные преобразования , которые включают в себя вращение, масштабирование, перемещение и другие аффинные преобразования. [5] Линейные преобразования носят глобальный характер, поэтому не могут моделировать локальные геометрические различия между изображениями. [3]
Вторая категория преобразований допускает «упругие» или «нежесткие» преобразования. Эти преобразования способны локально искажать целевое изображение для его выравнивания с эталонным изображением. Нежесткие преобразования включают радиальные базисные функции ( тонкие пластины или поверхностные сплайны, мультиквадрики и преобразования с компактным носителем). [3] ), модели физического континуума (вязкие жидкости) и модели больших деформаций ( диффеоморфизмы ).
Преобразования обычно описываются посредством параметризации, при которой модель определяет количество параметров. Например, перевод полного изображения может быть описан одним параметром — вектором перевода. Такие модели называются параметрическими моделями. С другой стороны, непараметрические модели не следуют какой-либо параметризации, что позволяет произвольно перемещать каждый элемент изображения. [6]
Существует ряд программ, реализующих как оценку, так и применение варп-поля. Это часть программ SPM и AIR .
Преобразования координат по закону композиции функций, сложения не а
С другой стороны, многие продвинутые методы пространственной нормализации основаны на сохраняющих структуру преобразованиях, гомеоморфизмах и диффеоморфизмах , поскольку они плавно переносят гладкие подмногообразия во время преобразования. Диффеоморфизмы генерируются в современной области вычислительной анатомии на основе потоков, поскольку диффеоморфизмы не аддитивны, хотя и образуют группу, но группу по закону композиции функций. По этой причине потоки, обобщающие идеи аддитивных групп, позволяют генерировать большие деформации, сохраняющие топологию, обеспечивая преобразования 1-1 и онто. Вычислительные методы создания такого преобразования часто называют LDDMM. [7] [8] [9] [10] которые предоставляют потоки диффеоморфизмов в качестве основного вычислительного инструмента для соединения систем координат, соответствующих геодезическим потокам Вычислительной Анатомии .
Существует ряд программ, которые генерируют диффеоморфные преобразования координат посредством диффеоморфного отображения, включая MRI Studio. [11] и МРТ Cloud.org [12]
Пространственные и частотные методы [ править ]
Пространственные методы работают в области изображений, сопоставляя образцы интенсивности или особенности изображений. Некоторые алгоритмы сопоставления признаков являются результатом традиционных методов ручной регистрации изображений, при которых оператор выбирает соответствующие контрольные точки (КП) на изображениях. Когда количество контрольных точек превышает минимум, необходимый для определения соответствующей модели преобразования, можно использовать итерационные алгоритмы, такие как RANSAC, для надежной оценки параметров определенного типа преобразования (например, аффинного) для регистрации изображений.
Методы частотной области находят параметры преобразования для регистрации изображений во время работы в области преобразования. Такие методы работают для простых преобразований, таких как перемещение, вращение и масштабирование. Применение метода фазовой корреляции к паре изображений дает третье изображение, содержащее один пик. Местоположение этого пика соответствует относительному перемещению между изображениями. В отличие от многих алгоритмов пространственной области, метод фазовой корреляции устойчив к шуму, окклюзиям и другим дефектам, типичным для медицинских или спутниковых изображений. Кроме того, фазовая корреляция использует быстрое преобразование Фурье для вычисления взаимной корреляции между двумя изображениями, что обычно приводит к значительному увеличению производительности. Метод можно расширить для определения разницы в повороте и масштабировании между двумя изображениями, сначала преобразуя изображения в логарифмические координаты . [13] [14] Благодаря свойствам преобразования Фурье параметры вращения и масштабирования могут быть определены способом, инвариантным к сдвигу.
мультимодальные и методы Одномодальные
Другая классификация может быть сделана между одномодальными и мультимодальными методами. Методы одномодальной регистрации имеют тенденцию регистрировать изображения одной и той же модальности, полученные с помощью одного и того же типа сканера/датчика, тогда как методы мультимодальной регистрации имеют тенденцию регистрировать изображения, полученные с помощью разных типов сканера/датчика.
Методы мультимодальной регистрации часто используются в медицинской визуализации , поскольку изображения объекта часто получают с разных сканеров. Примеры включают регистрацию изображений КТ / МРТ головного мозга или изображений ПЭТ / КТ изображений с контрастным усилением всего тела для определения локализации опухоли, регистрацию КТ- без контрастного усиления. по сравнению с КТ- изображениями [15] для сегментации определенных частей анатомии и регистрации ультразвуковых и КТ -изображений для простаты локализации при лучевой терапии .
интерактивные методы и Автоматические
Методы регистрации можно классифицировать по уровню обеспечиваемой ими автоматизации. Разработаны ручные, интерактивные, полуавтоматические и автоматические методы. Ручные методы предоставляют инструменты для выравнивания изображений вручную. Интерактивные методы уменьшают предвзятость пользователей, автоматически выполняя определенные ключевые операции, при этом полагаясь на то, что пользователь будет руководить регистрацией. Полуавтоматические методы выполняют большинство этапов регистрации автоматически, но проверка правильности регистрации зависит от пользователя. Автоматические методы не допускают какого-либо взаимодействия с пользователем и выполняют все этапы регистрации автоматически.
сходства для регистрации Меры изображений
Сходства изображений широко используются в медицинской визуализации . изображений Мера сходства количественно определяет степень сходства между рисунками интенсивности на двух изображениях. [3] Выбор меры сходства изображений зависит от модальности регистрируемых изображений. Общие примеры мер сходства изображений включают взаимную корреляцию , взаимную информацию , сумму квадратов различий в интенсивности и соотношение однородности изображения. Взаимная информация и нормализованная взаимная информация являются наиболее популярными мерами сходства изображений для регистрации мультимодальных изображений. Взаимная корреляция, сумма квадратов разностей интенсивностей и соотношение однородности изображения обычно используются для регистрации изображений в одной и той же модальности.
Многие новые функции были получены для функций стоимости на основе методов сопоставления с помощью больших деформаций , появившихся в области вычислительной анатомии , включая Сопоставление измерений , которое представляет собой наборы точек или ориентиры без соответствия, сопоставление кривых и сопоставление поверхностей с помощью математических потоков и варифолдов.
Неопределенность [ править ]
Существует уровень неопределенности , связанный с регистрацией изображений, имеющих какие-либо пространственно-временные различия. Уверенная регистрация с определенной степенью неопределенности имеет решающее значение для многих приложений обнаружения изменений , таких как медицинская диагностика.
В приложениях дистанционного зондирования , где пиксель цифрового изображения может представлять собой несколько километров пространственного расстояния (например, снимки НАСА LANDSAT ), неопределенная регистрация изображения может означать, что решение может находиться в нескольких километрах от истины. В нескольких известных статьях были предприняты попытки количественной оценки неопределенности регистрации изображений для сравнения результатов. [16] [17] Однако многие подходы к количественной оценке неопределенности или оценке деформаций требуют больших вычислительных ресурсов или применимы только к ограниченному набору пространственных преобразований.
Приложения [ править ]
Регистрация изображений находит применение в дистанционном зондировании (обновлении картографии) и компьютерном зрении. Из-за широкого спектра приложений, к которым может применяться регистрация изображений, невозможно разработать общий метод, оптимизированный для всех целей.
Регистрация медицинских изображений (для данных одного и того же пациента, полученных в разные моменты времени, например, при обнаружении изменений или мониторинге опухоли) часто дополнительно включает в себя эластичную (также известную как нежесткая ) регистрацию, чтобы справиться с деформацией субъекта (из-за дыхания, анатомических изменений, и так далее). [18] [19] [20] Нежесткая регистрация медицинских изображений также может использоваться для регистрации данных пациента в анатомическом атласе, например атласе Талайраха для нейровизуализации.
В астрофотографии выравнивание и совмещение изображений часто используются для увеличения отношения сигнал/шум для слабых объектов. Без суммирования его можно использовать для создания замедленной съемки таких событий, как вращение планеты при ее прохождении через Солнце. Используя контрольные точки (введенные автоматически или вручную), компьютер выполняет преобразования одного изображения, чтобы совместить основные объекты со вторым или несколькими изображениями. Этот метод также можно использовать для изображений разных размеров, чтобы можно было комбинировать изображения, полученные с помощью разных телескопов или объективов.
В крио-ПЭМ нестабильность приводит к дрейфу образца, и для сохранения высокого разрешения и получения изображений с высоким соотношением сигнал-шум требуется множество быстрых съемок с точной регистрацией изображений. Для данных с низким SNR наилучшая регистрация изображений достигается путем перекрестной корреляции всех перестановок изображений в стеке изображений. [21]
Регистрация изображения является важной частью создания панорамного изображения. Существует множество различных методов, которые можно реализовать в режиме реального времени и запускать на встроенных устройствах, таких как камеры и телефоны с камерой.
См. также [ править ]
- Вычислительная анатомия
- Проблема с перепиской
- Корреляция и отслеживание цифровых изображений
- Географическая привязка
- Корреляция изображений
- Исправление изображения
- Обратная согласованность
- Регистрация набора точек
- Резиновое покрытие
- Пространственная нормализация
- Пространственная проверка
Ссылки [ править ]
- ^ Лиза Готтесфельд Браун, Обзор методов регистрации изображений ( аннотация ), архив ACM Computing Surveys, том 24, выпуск 4, декабрь 1992 г.), страницы 325–376
- ^ биологическая визуализация и картирование мозга
- ^ Перейти обратно: а б с д Это ж г А. Ардешир Гоштасби: Регистрация 2-D и 3-D изображений для медицинских целей, дистанционного зондирования и промышленного применения , Wiley Press, 2005.
- ^ Пападемитрис, Ксенофонт; Джековский, Андреа П.; Шульц, Роберт Т.; Стаиб, Лоуренс Х.; Дункан, Джеймс С. (2004). «Интегрированная интенсивность и нежесткая регистрация точечных особенностей». Вычисление медицинских изображений и компьютерное вмешательство – MICCAI 2004 . Конспекты лекций по информатике. Том. 3216. стр. 763–770. дои : 10.1007/978-3-540-30135-6_93 . ISBN 978-3-540-22976-6 . ISSN 0302-9743 .
- ^ http://www.comp.nus.edu.sg/~cs4243/lecture/register.pdf [ пустой URL PDF ]
- ^ Сотирас, А.; Давацикос, К.; Парагиос, Н. (июль 2013 г.). «Регистрация деформируемых медицинских изображений: исследование» . Транзакции IEEE по медицинской визуализации . 32 (7): 1153–1190. дои : 10.1109/TMI.2013.2265603 . ПМЦ 3745275 . ПМИД 23739795 .
- ^ Тога, Артур В. (17 ноября 1998 г.). Деформация мозга . Академическая пресса. ISBN 9780080525549 .
- ^ «Сопоставление ориентиров на поверхностях мозга с помощью диффеоморфизмов большой деформации на сфере - Университет Юты» . utah.pure.elsevier.com . Архивировано из оригинала 29 июня 2018 г. Проверено 21 марта 2016 г.
- ^ Бег, М. Фейсал; Миллер, Майкл И.; Труве, Ален; Юнес, Лоран (2005). «Вычисление метрических отображений большой деформации с помощью геодезических потоков диффеоморфизмов» . Международный журнал компьютерного зрения . 61 (2): 139–157. doi : 10.1023/B:VISI.0000043755.93987.aa . S2CID 17772076 . Проверено 21 марта 2016 г.
- ^ Джоши, Южная Каролина; Миллер, Мичиган (1 января 2000 г.). «Сопоставление ориентиров с помощью диффеоморфизмов большой деформации». Транзакции IEEE при обработке изображений . 9 (8): 1357–1370. Бибкод : 2000ITIP....9.1357J . дои : 10.1109/83.855431 . ISSN 1057-7149 . ПМИД 18262973 .
- ^ «Студия МРТ» .
- ^ «MRICloud-картирование мозга» .
- ^ Б. Шриниваса Редди; Б. Н. Чаттерджи (август 1996 г.). «Техника перевода, вращения и масштабно-инвариантной регистрации изображений на основе БПФ». Транзакции IEEE при обработке изображений . 5 (8): 1266–1271. Бибкод : 1996ITIP....5.1266R . дои : 10.1109/83.506761 . ПМИД 18285214 . S2CID 6562358 .
- ^ Зокаи С., Вольберг Г., «Регистрация изображений с использованием лог-полярных отображений для восстановления крупномасштабного сходства и проективных преобразований» . Транзакции IEEE по обработке изображений , том. 14, № 10, октябрь 2005 г.
- ^ Ристеа, Николае-Каталин; Мирон, Андреа-Юлиана; Савенку, Оливиан; Георгеску, Мариана-Юлиана; Верга, Николае; Хан, Фахад Шахбаз; Ионеску, Раду Тудор (2023). «Сай Тран : циклически согласованный преобразователь с многоуровневой согласованностью для перевода КТ с неконтрастного на контрастный». Нейрокомпьютинг . 538 : 126211. arXiv : 2110.06400 . два : 10.1016/j.neucom.2023.03.072 . S2CID 257952429 .
- ^ Саймонсон К., Дрешер С., Таннер Ф., Статистический подход к регистрации двоичных изображений с анализом неопределенности. Транзакции IEEE по анализу шаблонов и машинному интеллекту, Vol. 29, № 1, январь 2007 г.
- ^ Домокос, К., Като, З., Франкос, Дж., Параметрическая оценка аффинных деформаций бинарных изображений. Материалы Международной конференции IEEE по акустике, речи и обработке сигналов , 2008 г.
- ^ Чжао, Шэнъюй; Лау, Тингфунг; Ло, Цзи; Чанг, Эрик И-Чао; Сюй, Ян (2020). «Неконтролируемая сквозная регистрация медицинских 3D-изображений с помощью сети объемной анимации» . Журнал IEEE по биомедицинской и медицинской информатике . 24 (5): 1394–1404. arXiv : 1902.05020 . дои : 10.1109/JBHI.2019.2951024 . ISSN 2168-2208 . ПМИД 31689224 . S2CID 61153704 .
- ^ Чен, Джунюй; Он, Юфан; Фрей, Эрик С.; Ли, Йе; Ду, Ён (13 апреля 2021 г.). «ViT-V-Net: преобразователь зрения для неконтролируемой объемной регистрации медицинских изображений». arXiv : 2104.06468 [ eess.IV ].
- ^ Бурдужа, Михаил; Ионеску, Раду Тудор (2021). «Согласование медицинского изображения без присмотра с учебным планом» . Международная конференция IEEE по обработке изображений (ICIP) 2021 года . стр. 3787–3791. arXiv : 2102.10438 . дои : 10.1109/ICIP42928.2021.9506067 . ISBN 978-1-6654-4115-5 . S2CID 231986287 .
- ^ Савицкий; Эль Баггари; Клемент; Ховден; Куркутис (2018). «Регистрация изображения данных крио-STEM с низким соотношением сигнал/шум». Ультрамикроскопия . 191 : 56–65. arXiv : 1710.09281 . дои : 10.1016/j.ultramic.2018.04.008 . ПМИД 29843097 . S2CID 26983019 .
Внешние ссылки [ править ]
- Ричард Селиски, Выравнивание и сшивание изображений: Учебное пособие . Основы и тенденции в компьютерной графике и компьютерном зрении, 2:1-104, 2006.
- Б. Фишер, Дж. Модерицки: Некорректная медицина – введение в регистрацию изображений . Обратные задачи, 24:1–19, 2008 г.
- Барбара Зитова, Ян Флюссер: Методы регистрации изображений: опрос . Изображение Vision Comput. 21(11): 977-1000 (2003).
- К. Дже и Х.-М. Парк. Оптимизированное иерархическое сопоставление блоков для быстрой и точной регистрации изображений . Обработка сигналов: передача изображений, том 28, выпуск 7, стр. 779–791, август 2013 г.
- Регистрация мультимодальных изображений МРТ с помощью Matlab .
- elastix. Архивировано 19 апреля 2012 г. на Wayback Machine : набор инструментов для жесткой и нежесткой регистрации изображений.
- niftyreg : набор инструментов для надежной жесткой, аффинной (с использованием сопоставления блоков) и нежесткой регистрации изображений практически в реальном времени (с использованием переработанной версии алгоритма деформации свободной формы).
- Методы регистрации изображений с использованием MATLAB
- Приложение Image Compare автоматически сравнивает пару изображений и выделяет их различия. Это приложение работает в браузерах настольных компьютеров и мобильных телефонов и не требует установки.