Слияние изображений

Процесс объединения изображений определяется как сбор всей важной информации из нескольких изображений и ее включение в меньшее количество изображений, обычно в одно. Это отдельное изображение более информативно и точно, чем любое изображение из одного источника, и содержит всю необходимую информацию. Целью объединения изображений является не только уменьшение объема данных, но и создание изображений, более подходящих и понятных для человеческого и машинного восприятия. ^[1]^[2] В компьютерном зрении мультисенсорное слияние изображений — это процесс объединения соответствующей информации из двух или более изображений в одно изображение. ^[3] Полученное изображение будет более информативным, чем любое из входных изображений. ^[4]

В приложениях дистанционного зондирования растущая доступность космических датчиков стимулирует использование различных алгоритмов объединения изображений. Некоторые ситуации при обработке изображений требуют высокого пространственного и высокого спектрального разрешения в одном изображении. Большая часть имеющегося оборудования не способна убедительно предоставить такие данные. Методы слияния изображений позволяют интегрировать различные источники информации. Объединенное изображение может иметь дополнительные характеристики пространственного и спектрального разрешения. Однако стандартные методы слияния изображений могут искажать спектральную информацию мультиспектральных данных при слиянии.

При спутниковой съемке доступны два типа изображений. Панхроматическое изображение , полученное со спутников, передается с максимальным доступным разрешением, а мультиспектральные данные передаются с более грубым разрешением. Обычно эта сумма будет в два-четыре раза ниже. На приемной станции панхроматическое изображение объединяется с мультиспектральными данными для передачи дополнительной информации.

Существует множество методов объединения изображений. Самый простой из них – это метод фильтрации верхних частот . Более поздние методы основаны на дискретном вейвлет-преобразовании , универсальном рациональном банке фильтров и пирамиде Лапласа .

Мотивация

Объединение данных нескольких датчиков стало дисциплиной, которая требует более общих формальных решений для ряда случаев применения. В некоторых ситуациях при обработке изображений требуется как высокая пространственная, так и высокая спектральная информация в одном изображении. ^[5] Это важно в дистанционном зондировании. Однако эти инструменты не способны предоставить такую информацию ни по своей конструкции, ни из-за ограничений, связанных с наблюдениями. Одним из возможных решений этой проблемы является объединение данных .

Методы

Методы слияния изображений можно разделить на две группы: слияние пространственных областей и слияние областей преобразования.

Методы слияния, такие как усреднение, метод Брови, анализ главных компонент ( PCA ) и методы на основе IHS , подпадают под подходы пространственной области. Еще одним важным методом объединения пространственных областей является метод, основанный на фильтрации верхних частот. Здесь высокочастотные детали вводятся в версию MS-изображений с повышенным разрешением. Недостаток подходов пространственных доменов заключается в том, что они вызывают пространственные искажения объединенного изображения. Спектральные искажения становятся негативным фактором, когда мы переходим к дальнейшей обработке, например, к задаче классификации. Пространственные искажения можно очень хорошо устранить с помощью частотных подходов к объединению изображений. Мультиразрешительный анализ стал очень полезным инструментом для анализа изображений дистанционного зондирования. Дискретное вейвлет-преобразование стало очень полезным инструментом для слияния. Существуют также некоторые другие методы объединения, такие как пирамида Лапласа, кривленое преобразование и т. д. Эти методы показывают лучшую производительность в пространственном и спектральном качестве объединенного изображения по сравнению с другими пространственными методами объединения.

Изображения, используемые при слиянии изображений, уже должны быть зарегистрированы . Неправильная совмещение является основным источником ошибок при слиянии изображений. Некоторые известные методы слияния изображений:

Техника высокочастотной фильтрации
IHS Объединение изображений на основе преобразования
PCA Объединение изображений на основе
Слияние изображений с вейвлет-преобразованием
Парное согласование пространственных частот

Сравнительный анализ методов объединения изображений показывает, что разные метрики поддерживают разные потребности пользователей, чувствительны к различным методам объединения изображений и должны быть адаптированы к приложению. Категории метрик слияния изображений основаны на теории информации. ^[4] особенности, структурное сходство или человеческое восприятие. ^[6]

Мультифокусное объединение изображений

Объединение мультифокусных изображений используется для сбора полезной и необходимой информации из входных изображений с различной глубиной фокуса, чтобы создать выходное изображение, которое в идеале содержит всю информацию из входных изображений. ^[2]^[7] В сети визуальных сенсоров (ВСН) датчиками являются камеры, записывающие изображения и видеопоследовательности. Во многих приложениях VSN камера не может дать идеальную картинку, включающую все детали сцены. Это связано с ограниченной глубиной резкости оптических линз фотоаппаратов. ^[8] Таким образом, фокусируется и очищается только объект, расположенный в фокусном расстоянии камеры, а остальные части изображения размыты. VSN имеет возможность захватывать изображения с разной глубиной фокуса в сцене с помощью нескольких камер. Из-за большого объема данных, генерируемых камерой, по сравнению с другими датчиками, такими как датчики давления и температуры, а также некоторых ограничений, таких как ограниченная ширина полосы пропускания, потребление энергии и время обработки, важно обрабатывать локальные входные изображения, чтобы уменьшить объем передачи. данные. Вышеупомянутые причины подчеркивают необходимость слияния разнофокусных изображений. Слияние мультифокусных изображений — это процесс, который объединяет входные мультифокусные изображения в одно изображение, включая всю важную информацию о входных изображениях, и это более точное объяснение сцены, чем каждое отдельное входное изображение. ^[2]

Приложения

В дистанционном зондировании

Слияние изображений в дистанционном зондировании имеет несколько областей применения. Важной областью является объединение изображений с разными разрешениями (обычно называемое панорамированием). На спутниковых снимках мы можем иметь два типа изображений:

Панхроматические изображения – изображения, собранные в широком диапазоне визуальных длин волн, но визуализированные в черно-белом цвете.
Мультиспектральные изображения – изображения, полученные оптически более чем в одном спектральном или длиннном интервале. Каждое отдельное изображение обычно имеет одну и ту же физическую область и масштаб, но разный спектральный диапазон.

Спутник SPOT PAN предоставляет панхроматические данные высокого разрешения (10 м пикселей). В то время как спутник LANDSAT TM обеспечивает мультиспектральные изображения низкого разрешения (30 м пикселей). Слияние изображений пытается объединить эти изображения и создать одно многоспектральное изображение высокого разрешения.

Стандартные методы слияния изображений основаны на преобразовании красного-зеленого-синего (RGB) в интенсивность-оттенок-насыщенность (IHS). Обычные этапы объединения спутниковых изображений следующие:

Измените размер мультиспектральных изображений низкого разрешения до того же размера, что и панхроматическое изображение.
Преобразуйте полосы R, G и B мультиспектрального изображения в компоненты IHS.
Измените панхроматическое изображение по отношению к мультиспектральному изображению. Обычно это выполняется путем сопоставления гистограммы панхроматического изображения с компонентом интенсивности мультиспектральных изображений в качестве эталона.
Замените компонент интенсивности панхроматическим изображением и выполните обратное преобразование, чтобы получить мультиспектральное изображение высокого разрешения.

Панхроматизацию можно выполнить в Photoshop . ^[9] Доступны и другие применения слияния изображений в дистанционном зондировании. ^[10]

В медицинской визуализации

Слияние изображений стало распространенным термином, используемым в медицинской диагностике и лечении. ^[11] Этот термин используется, когда несколько изображений пациента регистрируются и накладываются или объединяются для предоставления дополнительной информации. Слитые изображения могут быть созданы из нескольких изображений одного и того же метода визуализации. ^[12] или путем объединения информации из нескольких модальностей, ^[13] такие как магнитно-резонансная томография (МРТ), компьютерная томография (КТ), позитронно-эмиссионная томография (ПЭТ) и однофотонная эмиссионная компьютерная томография (ОФЭКТ). В радиологии и радиационной онкологии эти изображения служат разным целям. Например, изображения КТ чаще используются для определения различий в плотности тканей, тогда как изображения МРТ обычно используются для диагностики опухолей головного мозга.

Для точного диагноза рентгенологи должны интегрировать информацию из нескольких форматов изображений. Объединенные, анатомически согласованные изображения особенно полезны при диагностике и лечении рака. С появлением этих новых технологий онкологи-радиологи могут в полной мере воспользоваться преимуществами лучевой терапии с модулированной интенсивностью ( IMRT ). Возможность наложения диагностических изображений на изображения планирования лучевой терапии позволяет получить более точные целевые объемы опухоли при IMRT .

См. также

Объединение данных – интеграция нескольких источников данных для предоставления более качественной информации.
Демозаика — алгоритм восстановления цвета.
Слияние экспозиций - метод объединения нескольких экспозиций одной и той же сцены в одно изображение.
Объединение датчиков – объединение данных датчиков из разных источников.

Ссылки

^ Чжэн, Юфэн; Блаш, Эрик; Лю, Чжэн (2018). Объединение мультиспектральных изображений и раскрашивание . СПАЙ Пресс. ISBN 9781510619067 .
^ Jump up to: ^а ^б ^с М., Амин-Наджи; А., Агаголзаде (2018). «Многофокусное объединение изображений в области DCT с использованием дисперсии и энергии лапласиана и коэффициента корреляции для сетей визуальных сенсоров». Журнал искусственного интеллекта и интеллектуального анализа данных . 6 (2): 233–250. дои : 10.22044/jadm.2017.5169.1624 . ISSN 2322-5211 .
^ Хагигат, MBA; Агаголзаде, А.; Сейедараби, Х. (2011). «Многофокусное объединение изображений для сетей визуальных сенсоров в области DCT». Компьютеры и электротехника . 37 (5): 789–797. дои : 10.1016/j.compeleceng.2011.04.016 . S2CID 38131177 .
^ Jump up to: ^а ^б Хагигат, MBA; Агаголзаде, А.; Сейедараби, Х. (2011). «Неэталонный показатель объединения изображений, основанный на взаимной информации об особенностях изображения». Компьютеры и электротехника . 37 (5): 744–756. дои : 10.1016/j.compeleceng.2011.07.012 . S2CID 7738541 .
^ Аль-Смади, Ахмад (18 мая 2021 г.). «Умный подход к панорамированию с использованием фильтрации изображений на основе ядра». Обработка изображений IET . 15 (11): 2629–2642. дои : 10.1049/ipr2.12251 . S2CID 235632628 .
^ Лю, З.; Блаш, Э.; Сюэ, З.; Ланганьер, Р.; Ву, В. (2012). «Объективная оценка алгоритмов слияния изображений с несколькими разрешениями для улучшения контекста в ночном видении: сравнительный обзор». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 34 (1): 94–109. дои : 10.1109/tpami.2011.109 . ПМИД 21576753 . S2CID 9248856 .
^ Наджи, Массачусетс; Агаголзаде, А. (ноябрь 2015 г.). «Слияние многофокусных изображений в области DCT на основе коэффициента корреляции». 2015 2-я Международная конференция по наукоемкой инженерии и инновациям (KBEI) . стр. 632–639. дои : 10.1109/KBEI.2015.7436118 . ISBN 978-1-4673-6506-2 . S2CID 44524869 .
^ Наджи, Массачусетс; Агаголзаде, А. (ноябрь 2015 г.). «Новый метод объединения многофокусных изображений, основанный на дисперсии в области DCT». 2015 2-я Международная конференция по наукоемкой инженерии и инновациям (KBEI) . стр. 478–484. дои : 10.1109/KBEI.2015.7436092 . ISBN 978-1-4673-6506-2 . S2CID 29215692 .
^ Панхроматизация в Photoshop.
^ «Не только панорамирование: слияние на уровне пикселей в приложениях дистанционного зондирования» (PDF) . Архивировано из оригинала (PDF) 1 сентября 2015 г. Проверено 5 марта 2013 г.
^ Джеймс, AP; Дасарати, Б.В. (2014). «Medical Image Fusion: обзор современного состояния». Информационный синтез . 19 : 4–19. arXiv : 1401.0166 . дои : 10.1016/j.inffus.2013.12.002 . S2CID 15315731 .
^ Гудинг, MJ; и др. (2010). «Исследование объединения нескольких 4-D изображений эхокардиографии плода для улучшения качества изображений». Ультразвук в медицине и биологии . 36 (6): 957–66. doi : 10.1016/j.ultrasmedbio.2010.03.017 . ПМИД 20447758 .
^ Майнц, Дж.Б.; Виргевер, Массачусетс (1998). «Обзор регистрации медицинских изображений». Анализ медицинских изображений . 2 (1): 1–36. CiteSeerX 10.1.1.46.4959 . дои : 10.1016/s1361-8415(01) 80026-8 ПМИД 10638851 .

Внешние ссылки

http://www.math.hcmuns.edu.vn/~ptbao/LVTN/2003/cameras/a161001433035.pdf З. Ван, Д. Зиу, К. Арменакис, Д. Ли и К. Ли, «Сравнительный анализ анализ методов слияния изображений», IEEE Trans. Геосци. Дистанционная чувствительность, вып. 43, нет. 6, стр. 81–84, июнь 2005 г.

[Zheng-1] Чжэн, Юфэн; Блаш, Эрик; Лю, Чжэн (2018). Объединение мультиспектральных изображений и раскрашивание . СПАЙ Пресс. ISBN 9781510619067 .

[:0-2] Jump up to: ^а ^б ^с М., Амин-Наджи; А., Агаголзаде (2018). «Многофокусное объединение изображений в области DCT с использованием дисперсии и энергии лапласиана и коэффициента корреляции для сетей визуальных сенсоров». Журнал искусственного интеллекта и интеллектуального анализа данных . 6 (2): 233–250. дои : 10.22044/jadm.2017.5169.1624 . ISSN 2322-5211 .

[3] Хагигат, MBA; Агаголзаде, А.; Сейедараби, Х. (2011). «Многофокусное объединение изображений для сетей визуальных сенсоров в области DCT». Компьютеры и электротехника . 37 (5): 789–797. дои : 10.1016/j.compeleceng.2011.04.016 . S2CID 38131177 .

[fmi-4] Jump up to: ^а ^б Хагигат, MBA; Агаголзаде, А.; Сейедараби, Х. (2011). «Неэталонный показатель объединения изображений, основанный на взаимной информации об особенностях изображения». Компьютеры и электротехника . 37 (5): 744–756. дои : 10.1016/j.compeleceng.2011.07.012 . S2CID 7738541 .

[5] Аль-Смади, Ахмад (18 мая 2021 г.). «Умный подход к панорамированию с использованием фильтрации изображений на основе ядра». Обработка изображений IET . 15 (11): 2629–2642. дои : 10.1049/ipr2.12251 . S2CID 235632628 .

[6] Лю, З.; Блаш, Э.; Сюэ, З.; Ланганьер, Р.; Ву, В. (2012). «Объективная оценка алгоритмов слияния изображений с несколькими разрешениями для улучшения контекста в ночном видении: сравнительный обзор». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 34 (1): 94–109. дои : 10.1109/tpami.2011.109 . ПМИД 21576753 . S2CID 9248856 .

[7] Наджи, Массачусетс; Агаголзаде, А. (ноябрь 2015 г.). «Слияние многофокусных изображений в области DCT на основе коэффициента корреляции». 2015 2-я Международная конференция по наукоемкой инженерии и инновациям (KBEI) . стр. 632–639. дои : 10.1109/KBEI.2015.7436118 . ISBN 978-1-4673-6506-2 . S2CID 44524869 .

[8] Наджи, Массачусетс; Агаголзаде, А. (ноябрь 2015 г.). «Новый метод объединения многофокусных изображений, основанный на дисперсии в области DCT». 2015 2-я Международная конференция по наукоемкой инженерии и инновациям (KBEI) . стр. 478–484. дои : 10.1109/KBEI.2015.7436092 . ISBN 978-1-4673-6506-2 . S2CID 29215692 .

[9] Панхроматизация в Photoshop.

[10] «Не только панорамирование: слияние на уровне пикселей в приложениях дистанционного зондирования» (PDF) . Архивировано из оригинала (PDF) 1 сентября 2015 г. Проверено 5 марта 2013 г.

[11] Джеймс, AP; Дасарати, Б.В. (2014). «Medical Image Fusion: обзор современного состояния». Информационный синтез . 19 : 4–19. arXiv : 1401.0166 . дои : 10.1016/j.inffus.2013.12.002 . S2CID 15315731 .

[12] Гудинг, MJ; и др. (2010). «Исследование объединения нескольких 4-D изображений эхокардиографии плода для улучшения качества изображений». Ультразвук в медицине и биологии . 36 (6): 957–66. doi : 10.1016/j.ultrasmedbio.2010.03.017 . ПМИД 20447758 .

[13] Майнц, Дж.Б.; Виргевер, Массачусетс (1998). «Обзор регистрации медицинских изображений». Анализ медицинских изображений . 2 (1): 1–36. CiteSeerX 10.1.1.46.4959 . дои : 10.1016/s1361-8415(01) 80026-8 ПМИД 10638851 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]