Сопоставление блоков и 3D-фильтрация

Сопоставление блоков и 3D-фильтрация трехмерных (BM3D) — это алгоритм сопоставления блоков, используемый в основном для снижения шума в изображениях . ^[1] Это одно из расширений методологии нелокальных средств. ^[2] В BM3D есть два каскада: жесткий пороговый уровень и этап фильтра Винера , оба включают в себя следующие части: группировку, совместную фильтрацию и агрегацию. Этот алгоритм зависит от расширенного представления на сайте преобразования. ^[3]

Метод

Группировка

Фрагменты изображения группируются по сходству, но в отличие от стандартной кластеризации k-средних и подобных методов кластерного анализа , фрагменты изображения не обязательно не пересекаются . Этот алгоритм сопоставления блоков требует меньше вычислительных ресурсов и может быть полезен на более позднем этапе агрегирования. Однако фрагменты имеют одинаковый размер.Фрагмент группируется, если его несходство с эталонным фрагментом падает ниже заданного порога.Этот метод группировки называется сопоставлением блоков. Он обычно используется для группировки похожих групп в разных кадрах цифрового видео . С другой стороны, BM3D может группировать макроблоки в одном кадре.Все фрагменты изображения в группе затем складываются в стопки, образуя трехмерные цилиндрические формы.

Совместная фильтрация

Фильтрация производится по каждой группе фрагментов. А $d+1$ ^{[ нужны разъяснения ]} применяется линейное преобразование измерений, за которым следует сжатие области преобразования, такое как фильтрация Винера , затем линейное преобразование инвертируется для воспроизведения всех (отфильтрованных) фрагментов.

Агрегация

Изображение преобразуется обратно в свою двумерную форму. Все перекрывающиеся фрагменты изображения усредняются по весу, чтобы гарантировать, что они отфильтрованы от шума, но сохраняют свой отчетливый сигнал.

Расширения

Цветные изображения

Изображения RGB можно обрабатывать так же, как изображения в оттенках серого. К изображению RGB следует применить преобразование яркость-цветность. Затем группировка завершается на канале яркости, который содержит большую часть полезной информации и имеет более высокий SNR. Этот подход работает, поскольку шум в каналах цветности сильно коррелирует с шумом канала яркости, и он экономит примерно одну треть вычислительного времени, поскольку группировка занимает примерно половину требуемого вычислительного времени.

Удаление размытия

Алгоритм BM3D был расширен (IDD-BM3D) для выполнения раздельного устранения размытия и шумоподавления с использованием равновесного баланса Нэша двух целевых функций. ^[4]

Сверточная нейронная сеть

подход, интегрирующий сверточную нейронную сеть , который показывает лучшие результаты (хотя и с более медленным временем выполнения). Был предложен ^[5] Код MATLAB был выпущен для исследовательских целей. ^[6]

Реализации

Эталонная реализация в MATLAB и Python , выпущенная под лицензией с открытым исходным кодом проприетарной : ^[7] БМ3Д
Хорошо документировано ^[8] C Реализация на основе , выпущенная под лицензией GPLv3 : bm3d.
CUDA и C++ Реализация на основе , выпущенная под лицензией GPLv3 : bm3d-gpu.

Ссылки

^ Дабов, Костадин; Фой, Алессандро; Катковник Владимир; Егиазарян, Карен (16 июля 2007 г.). «Подавление шума изображения с помощью разреженной совместной фильтрации трехмерной области преобразования». Транзакции IEEE при обработке изображений . 16 (8): 2080–2095. Бибкод : 2007ITIP...16.2080D . CiteSeerX 10.1.1.219.5398 . дои : 10.1109/TIP.2007.901238 . ПМИД 17688213 . S2CID 1475121 .
^ Манхон, Хосе В.; Карбонелл-Кабальеро, Хосе; Лулл, Хуан Дж.; Гарсиа-Марти, Грасиан; Марти-Бонмати, Луис; Роблес, Монтсеррат (1 августа 2008 г.). «Подавление шума при МРТ с использованием нелокальных средств» . Анализ медицинских изображений . 12 (4): 514–523. дои : 10.1016/j.media.2008.02.004 . ISSN 1361-8415 . ПМИД 18381247 .
^ Маджиони, М.; Катковник В.; Егиазарян, К.; Фой, А. (январь 2013 г.). «Нелокальный фильтр области преобразования для шумоподавления и реконструкции объемных данных» . Транзакции IEEE при обработке изображений . 22 (1): 119–133. дои : 10.1109/TIP.2012.2210725 . ISSN 1057-7149 . ПМИД 22868570 . S2CID 1295558 .
^ Даниелян, Арам; Катковник Владимир; Егиазарян, Карен (30 июня 2011 г.). «Кадры BM3D и вариационное устранение размытия изображений». Транзакции IEEE при обработке изображений . 21 (4): 1715–28. arXiv : 1106.6180 . Бибкод : 2012ITIP...21.1715D . дои : 10.1109/TIP.2011.2176954 . ПМИД 22128008 . S2CID 11204616 .
^ Ан, Пёнён; Ик Чо, Нам (3 апреля 2017 г.). «Сверточная нейронная сеть с сопоставлением блоков для шумоподавления изображений». arXiv : 1704.00524 [ Видение и распознавание образов. Компьютерное зрение и распознавание образов ].
^ «БМКНН-ИСПЛ» . Сеульский национальный университет . Проверено 3 января 2018 г.
^ «LASIP — Официальное уведомление» . Технологический университет Тампере (ТУТ) . Проверено 2 января 2018 г.
^ Лебрен, Марк (8 августа 2012 г.). «Анализ и реализация метода шумоподавления изображения BM3D» . Обработка изображений в режиме онлайн . 2 : 175–213. doi : 10.5201/ipol.2012.l-bm3d .

[1] Дабов, Костадин; Фой, Алессандро; Катковник Владимир; Егиазарян, Карен (16 июля 2007 г.). «Подавление шума изображения с помощью разреженной совместной фильтрации трехмерной области преобразования». Транзакции IEEE при обработке изображений . 16 (8): 2080–2095. Бибкод : 2007ITIP...16.2080D . CiteSeerX 10.1.1.219.5398 . дои : 10.1109/TIP.2007.901238 . ПМИД 17688213 . S2CID 1475121 .

[2] Манхон, Хосе В.; Карбонелл-Кабальеро, Хосе; Лулл, Хуан Дж.; Гарсиа-Марти, Грасиан; Марти-Бонмати, Луис; Роблес, Монтсеррат (1 августа 2008 г.). «Подавление шума при МРТ с использованием нелокальных средств» . Анализ медицинских изображений . 12 (4): 514–523. дои : 10.1016/j.media.2008.02.004 . ISSN 1361-8415 . ПМИД 18381247 .

[3] Маджиони, М.; Катковник В.; Егиазарян, К.; Фой, А. (январь 2013 г.). «Нелокальный фильтр области преобразования для шумоподавления и реконструкции объемных данных» . Транзакции IEEE при обработке изображений . 22 (1): 119–133. дои : 10.1109/TIP.2012.2210725 . ISSN 1057-7149 . ПМИД 22868570 . S2CID 1295558 .

[4] Даниелян, Арам; Катковник Владимир; Егиазарян, Карен (30 июня 2011 г.). «Кадры BM3D и вариационное устранение размытия изображений». Транзакции IEEE при обработке изображений . 21 (4): 1715–28. arXiv : 1106.6180 . Бибкод : 2012ITIP...21.1715D . дои : 10.1109/TIP.2011.2176954 . ПМИД 22128008 . S2CID 11204616 .

[5] Ан, Пёнён; Ик Чо, Нам (3 апреля 2017 г.). «Сверточная нейронная сеть с сопоставлением блоков для шумоподавления изображений». arXiv : 1704.00524 [ Видение и распознавание образов. Компьютерное зрение и распознавание образов ].

[6] «БМКНН-ИСПЛ» . Сеульский национальный университет . Проверено 3 января 2018 г.

[7] «LASIP — Официальное уведомление» . Технологический университет Тампере (ТУТ) . Проверено 2 января 2018 г.

[8] Лебрен, Марк (8 августа 2012 г.). «Анализ и реализация метода шумоподавления изображения BM3D» . Обработка изображений в режиме онлайн . 2 : 175–213. doi : 10.5201/ipol.2012.l-bm3d .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]