Мультифокусное объединение изображений
Объединение нескольких фокусных изображений — это метод сжатия нескольких изображений , в котором входные изображения с разной глубиной фокуса используются для создания одного выходного изображения, сохраняющего всю информацию.
Обзор
[ редактировать ]В последние годы объединение изображений использовалось во многих приложениях, таких как дистанционное зондирование, наблюдение , медицинская диагностика и фотография. Два основных применения слияния изображений в фотографии — это слияние изображений с несколькими фокусами и изображений с несколькими экспозициями . [1] [2]
Основная идея объединения изображений заключается в сборе важной и важной информации из входных изображений в одно изображение, которое в идеале содержит всю информацию входных изображений. [1] [3] [4] [5] История исследований слияния изображений насчитывает более 30 лет и множество научных работ. [2] [6] Объединение изображений обычно имеет два аспекта: методы объединения изображений и показатели объективной оценки. [6]
В визуальных сенсорных сетях (ВСН) датчиками являются камеры, записывающие изображения и видеопоследовательности. Во многих приложениях VSN камера не может дать идеальную картинку, включающую все детали сцены. Это происходит из-за ограниченной глубины резкости оптического объектива фотоаппаратов. Поэтому только объект, находящийся в фокусном расстоянии камеры, фокусируется и чётко, а остальные части изображения размыты.
VSN захватывает изображения с разной глубиной резкости с помощью нескольких камер. Из-за большого объема данных, генерируемых камерами, по сравнению с другими датчиками, такими как датчики давления и температуры, а также некоторых ограничений полосы пропускания , энергопотребления и времени обработки, важно обрабатывать локальные входные изображения, чтобы уменьшить объем передаваемых данных. [2]
В последние годы было проведено много исследований по слиянию многофокусных изображений, которые можно разделить на две категории: преобразование и пространственные области. Обычно используемые преобразования для объединения изображений — это дискретное косинусное преобразование (DCT) и многомасштабное преобразование (MST). [2] [7] В последнее время глубокое обучение (DL) процветает в нескольких обработки изображений и компьютерного зрения . приложениях [1] [3] [8]
Многофокусное объединение изображений в пространственной области
[ редактировать ]Хуанг и Цзин рассмотрели и применили несколько измерений фокуса в пространственной области для процесса слияния многофокусных изображений, подходящего для приложений в реальном времени. Они упомянули некоторые измерения фокуса, включая дисперсию , энергию градиента изображения (EOG), алгоритм Тененбаума (Тененград), энергию лапласиана с модифицированной суммой (EOL), лапласиан (SML) и пространственную частоту (SF). Их эксперименты показали, что EOL дает лучшие результаты, чем другие методы, такие как дисперсия и пространственная частота. [9] [5]
Многофокусное объединение изображений в многомасштабном преобразовании и области DCT
[ редактировать ]Слияние изображений на основе многомасштабного преобразования является наиболее часто используемым и многообещающим методом. Преобразование лапласовой пирамиды , преобразование на основе градиентной пирамиды, преобразование морфологической пирамиды и основные преобразования, дискретное вейвлет-преобразование , инвариантное к сдвигу вейвлет-преобразование (SIDWT) и дискретное косинусно -гармоническое вейвлет-преобразование (DCHWT) — вот некоторые примеры методов слияния изображений, основанных на нескольких -масштабное преобразование. [2] [5] [7] Эти методы сложны и имеют некоторые ограничения, например, время обработки и потребление энергии. Например, методы слияния многофокусных изображений, основанные на DWT, требуют большого количества операций свертки , поэтому для их обработки требуется больше времени и энергии. Поэтому большинство методов многомасштабного преобразования не подходят для приложений реального времени. [7] [5] Более того, эти методы не очень эффективны по краям из-за того, что в процессе вейвлет- преобразования не учитываются края изображения. Они создают артефакты звона на выходном изображении и снижают его качество.
Из-за вышеупомянутых проблем в методах многомасштабного преобразования исследователи заинтересованы в слиянии многофокусных изображений в области DCT. Методы на основе DCT более эффективны с точки зрения передачи и архивирования изображений, закодированных в стандарте Joint Photographic Experts Group (JPEG), на верхний узел агента VSN. Система JPEG состоит из пары кодера и декодера. В кодере изображения разбиваются на непересекающиеся блоки 8×8, коэффициенты для каждого из которых рассчитываются DCT. Поскольку квантование коэффициентов DCT представляет собой процесс с потерями , многие из малозначных коэффициентов DCT квантуются до нуля, что соответствует высоким частотам. Алгоритмы объединения изображений на основе DCT работают лучше, когда методы многофокусного объединения изображений применяются в сжатой области. [7] [5]
Кроме того, в пространственных методах входные изображения должны быть декодированы, а затем переданы в пространственную область. После реализации операций слияния изображений выходные слитые изображения должны быть снова закодированы. Методы на основе предметной области DCT не требуют сложных и трудоемких последовательных операций декодирования и кодирования. Следовательно, методы слияния изображений, основанные на домене DCT, работают с гораздо меньшими затратами энергии и времени обработки. [7] [5] В последнее время в области DCT было проведено много исследований. DCT+Variance, DCT+Corr_Eng, DCT+EOL и DCT+VOL — некоторые яркие примеры методов, основанных на DCT. [5] [7]
Многофокусное объединение изображений с использованием глубокого обучения
[ редактировать ]В настоящее время глубокое обучение используется в приложениях объединения изображений, таких как объединение нескольких фокусов изображений. Лю и др. были первыми исследователями, которые использовали CNN для слияния многофокусных изображений. Они использовали сиамскую архитектуру для сравнения сфокусированных и несфокусированных участков. [4] К. Ду и др. представил метод MSCNN, который получает исходную сегментированную карту решений с сегментацией изображения между сфокусированными и несфокусированными участками с помощью многомасштабной нейронной сети свертки . [10] Х. Тан и др. представил нейронную сеть попиксельной свертки (p-CNN) для классификации сфокусированных и несфокусированных участков. [11]
Все эти методы объединения многофокусных изображений на основе CNN улучшили карту принятия решений. Тем не менее, их первоначальные сегментированные карты решений имеют много недостатков и ошибок. Следовательно, удовлетворение их окончательной карты решений слияния зависит от использования обширных алгоритмов постобработки, таких как проверка согласованности (CV), морфологические операции, водораздел, направляющие фильтры и удаление небольших областей на исходной сегментированной карте решений. Наряду с методами слияния многофокусных изображений на основе CNN, полностью сверточная сеть (FCN). для слияния многофокусных изображений также используется [8] [12]
ECNN: ансамбль CNN для многофокусного слияния изображений [1]
[ редактировать ]
внимание . Методы многофокусного слияния изображений на основе сверточных нейронных сетей (CNN) в последнее время привлекли огромное Они значительно улучшили построенную карту решений по сравнению с предыдущими современными методами, которые были реализованы в пространственной области и области преобразования. постобработки им необходимо пройти обширные алгоритмы Тем не менее, эти методы не привели к удовлетворительной исходной карте решений, и для достижения удовлетворительной карты решений .
В методе ECNN новый метод, основанный на CNN, с помощью ансамблевого обучения предлагается . Весьма разумно использовать различные модели и наборы данных, а не один. Методы, основанные на ансамблевом обучении, направлены на увеличение разнообразия моделей и наборов данных, чтобы уменьшить проблему переобучения набора обучающих данных .
Очевидно, что результаты ансамбля CNN лучше, чем только одного CNN. Кроме того, предлагаемый метод представляет новый простой тип набора данных многофокусных изображений. Он просто меняет расположение фрагментов многофокусных наборов данных, что очень полезно для получения большей точности. три разных набора данных, включая исходный и градиент генерируются Благодаря этому новому типу расположения наборов данных из набора данных COCO в направлениях вертикальных и горизонтальных участков . Таким образом, предлагаемый метод представляет новую сеть, состоящую из трех моделей CNN, которые были обучены на трех разных созданных наборах данных для построения исходной сегментированной карты решений. Эти идеи значительно улучшают исходную сегментированную карту решений предлагаемого метода, которая аналогична или даже лучше другой окончательной карты решений методов, основанных на CNN, полученных после применения многих алгоритмов постобработки. В наших экспериментах используется множество реальных многофокусных тестовых изображений, а результаты сравниваются по количественным и качественным критериям. Полученные экспериментальные результаты показывают, что предлагаемая сеть на основе CNN более точна и имеет лучшую карту решений без алгоритмов постобработки, чем другие существующие современные методы многофокусного слияния, в которых используется множество алгоритмов постобработки.
Этот метод представляет новую сеть для получения более чистой исходной сегментированной карты решений по сравнению с другими. Предлагаемый метод представляет новую архитектуру, которая использует ансамбль из трех CNN, обученных на трех разных наборах данных. Кроме того, предлагаемый метод подготавливает новый простой тип наборов данных многофокусных изображений для достижения лучших характеристик слияния, чем другие популярные наборы данных многофокусных изображений.
Эта идея очень полезна для получения лучшей исходной сегментированной карты решений, которая такая же или даже лучше, чем другие исходные сегментированные карты решений, за счет использования обширных алгоритмов постобработки.
Внешние ссылки
[ редактировать ]Исходный код ECNN http://amin-naji.com/publications/ и https://github.com/mostafaaminnaji/ECNN.
Ссылки
[ редактировать ]- ^ Jump up to: а б с д и ж г Амин-Наджи, Мостафа; Агаголзаде, Али; Эзоджи, Мехди (2019). «Ансамбль CNN для слияния многофокусных изображений». Информационный синтез . 51 : 201–214. дои : 10.1016/j.inffus.2019.02.003 . ISSN 1566-2535 . S2CID 150059597 .
- ^ Jump up to: а б с д и Ли, Шутао; Кан, Сюдун; Фанг, Лейюань; Ху, Цзяньвэнь; Инь, Хайтао (01 января 2017 г.). «Слияние изображений на уровне пикселей: обзор современного состояния». Информационный синтез . 33 : 100–112. дои : 10.1016/j.inffus.2016.05.004 . ISSN 1566-2535 . S2CID 9263669 .
- ^ Jump up to: а б Амин-Наджи, Мостафа; Агаголзаде, Али; Эзоджи, Мехди (2019). «CNN жестко голосуют за объединение нескольких фокусных изображений» . Журнал окружающего интеллекта и гуманизированных вычислений . 11 (4): 1749–1769. дои : 10.1007/s12652-019-01199-0 . ISSN 1868-5145 . S2CID 86563059 .
- ^ Jump up to: а б Лю, Ю; Чен, Сюнь; Пэн, Ху; Ван, Цзэнфу (01 июля 2017 г.). «Слияние многофокусных изображений с глубокой сверточной нейронной сетью». Информационный синтез . 36 : 191–207. дои : 10.1016/j.inffus.2016.12.001 . ISSN 1566-2535 . S2CID 11925688 .
- ^ Jump up to: а б с д и ж г Амин-Наджи, Мостафа; Агаголзаде, Али (2018). «Многофокусное объединение изображений в области DCT с использованием дисперсии и энергии лапласиана и коэффициента корреляции для сетей визуальных датчиков». Журнал искусственного интеллекта и интеллектуального анализа данных . 6 (2): 233–250. дои : 10.22044/jadm.2017.5169.1624 . ISSN 2322-5211 .
- ^ Jump up to: а б Лю, Ю; Чен, Сюнь; Ван, Цзэнфу; Ван, З. Джейн ; Уорд, Рабаб К.; Ван, Сюэсун (01 июля 2018 г.). «Глубокое обучение для объединения изображений на уровне пикселей: последние достижения и перспективы на будущее». Информационный синтез . 42 : 158–173. дои : 10.1016/j.inffus.2017.10.007 . ISSN 1566-2535 . S2CID 46849537 .
- ^ Jump up to: а б с д и ж Хагигат, Мохаммад Багер Акбари; Агаголзаде, Али; Сейедараби, Хади (1 сентября 2011 г.). «Многофокусное объединение изображений для сетей визуальных сенсоров в области DCT». Компьютеры и электротехника . Специальный выпуск по обработке изображений. 37 (5): 789–797. дои : 10.1016/j.compeleceng.2011.04.016 . ISSN 0045-7906 . S2CID 38131177 .
- ^ Jump up to: а б Амин-Наджи, Мостафа; Агаголзаде, Али; Эзоджи, Мехди (2018). «Полностью сверточные сети для слияния многофокусных изображений». 2018 9-й Международный симпозиум по телекоммуникациям (IST) . стр. 553–558. дои : 10.1109/ISTEL.2018.8660989 . ISBN 978-1-5386-8274-6 . S2CID 71150698 .
- ^ Хуан, Вэй; Цзин, Чжунлян (01 марта 2007 г.). «Оценка мер фокусировки при слиянии нескольких фокусных изображений». Буквы для распознавания образов . 28 (4): 493–500. Бибкод : 2007PaReL..28..493H . дои : 10.1016/j.patrec.2006.09.005 . ISSN 0167-8655 .
- ^ Ду, К.; Гао, С. (2017). «Многофокусное объединение изображений на основе сегментации изображений с помощью многомасштабной сверточной нейронной сети» . Доступ IEEE . 5 : 15750–15761. Бибкод : 2017IEEA...515750D . дои : 10.1109/ACCESS.2017.2735019 . S2CID 9466474 .
- ^ Тан, Хан; Сяо, Бин; Ли, Вэйшэн; Ван, Гоинь (01 апреля 2018 г.). «Пиксельная сверточная нейронная сеть для объединения многофокусных изображений». Информационные науки . 433–434: 125–141. дои : 10.1016/j.ins.2017.12.043 . ISSN 0020-0255 .
- ^ Го, Сяопэн; Не, Ренкан; Цао, Джинде; Чжоу, Дунмин; Цянь, Вэньхуа (12 июня 2018 г.). «Полностью сверточное сетевое объединение многофокусных изображений». Нейронные вычисления . 30 (7): 1775–1800. дои : 10.1162/neco_a_01098 . ISSN 0899-7667 . ПМИД 29894654 . S2CID 48358558 .