Демозаика

Демозаика (или демозаика , демозаика ), также известная как реконструкция цвета , представляет собой алгоритм цифровой обработки изображений , используемый для восстановления полноцветного изображения из неполных образцов цвета, выводимых с датчика изображения , с наложением массива цветовых фильтров (CFA), такого как фильтр Байера . Это также известно как интерполяция CFA или дебайеризация .

Большинство современных цифровых камер получают изображения с помощью одного датчика изображения, наложенного на CFA, поэтому демозаика является частью конвейера обработки , необходимой для преобразования этих изображений в видимый формат.

Многие современные цифровые камеры могут сохранять изображения в необработанном формате, что позволяет пользователю демозаизировать их с помощью программного обеспечения, а не встроенной прошивки камеры .

Цель

Целью алгоритма демозаики является восстановление полноцветного изображения (т.е. полного набора цветовых троек) из пространственно субдискретизированных цветовых каналов, выводимых из CFA. Алгоритм должен иметь следующие особенности:

Предотвращение появления ложных цветовых артефактов, таких как хроматические псевдонимы , застежка-молния (резкие неестественные изменения интенсивности в ряде соседних пикселей) и фиолетовая окантовка.
Максимальное сохранение разрешения изображения
Низкая вычислительная сложность для быстрой обработки или эффективной аппаратной реализации в камере.
Возможность анализа для точного снижения шума

Фон: массив цветовых фильтров

Массив цветных фильтров представляет собой мозаику цветных фильтров перед датчиком изображения. В коммерческих целях наиболее часто используемой конфигурацией CFA является фильтр Байера , показанный здесь. Он имеет чередующиеся красные (R) и зеленые (G) фильтры для нечетных строк и чередующиеся зеленые (G) и синие (B) фильтры для четных строк. Зеленых фильтров в два раза больше, чем красных или синих, что обеспечивает более высокую чувствительность человеческого глаза к зеленому свету.

Поскольку субдискретизация цвета CFA по своей природе приводит к сглаживанию , оптический фильтр сглаживания обычно размещается на оптическом пути между датчиком изображения и объективом, чтобы уменьшить артефакты ложного цвета (хроматические псевдонимы), вносимые интерполяцией. ^[1]

Поскольку каждый пиксель датчика находится за цветовым фильтром, выходные данные представляют собой массив значений пикселей, каждое из которых указывает необработанную интенсивность одного из трех цветов фильтра. Таким образом, необходим алгоритм для оценки для каждого пикселя уровней цвета всех компонентов цвета, а не одного компонента.

Иллюстрация

Чтобы восстановить полноцветное изображение на основе данных, собранных массивом цветовой фильтрации, необходима форма интерполяции для заполнения пробелов. Математика здесь подлежит индивидуальной реализации и называется демозаикой.

В этом примере мы используем бикубическую интерполяцию Adobe Photoshop для моделирования схемы устройства с фильтром Байера, такого как цифровая камера .

Изображение ниже имитирует выходной сигнал датчика изображения с фильтром Байера; каждый пиксель имеет только красный, зеленый или синий компонент. Соответствующее исходное изображение показано рядом с демозаичной реконструкцией в конце этого раздела.


	фильтров Байера Образцы

Красный	Зеленый	Синий

Цифровая камера обычно имеет средства для восстановления всего изображения RGB с использованием приведенной выше информации. Итоговое изображение может быть примерно таким:


Оригинал	Реконструированный

Реконструированное изображение обычно является точным в областях однородного цвета, но имеет потерю разрешения (детализации и резкости) и имеет краевые артефакты (например, края букв имеют видимые цветные полосы и некоторую шероховатость).

Алгоритмы

Простая интерполяция

Эти алгоритмы являются примерами многомерной интерполяции на однородной сетке, использующей относительно простые математические операции над соседними экземплярами одного и того же цветового компонента. Самый простой метод — это интерполяция ближайшего соседа , которая просто копирует соседний пиксель того же цветового канала. Он непригоден для любого приложения, где качество имеет значение, но может быть полезен для создания предварительного просмотра при ограниченных вычислительных ресурсах. Другой простой метод — билинейная интерполяция , при которой значение красного некрасного пикселя вычисляется как среднее значение двух или четырех соседних красных пикселей, а также для синего и зеленого. Более сложные методы, которые интерполируют независимо внутри каждой цветовой плоскости, включают бикубическую интерполяцию , сплайн-интерполяцию и повторную выборку Ланцоша .

Хотя эти методы могут дать хорошие результаты в однородных областях изображения, они склонны к серьезным артефактам демозаики в областях с краями и деталями при использовании с чистоцветными CFA. ^[2] Однако линейная интерполяция может дать очень хорошие результаты в сочетании с пространственно-спектральной (панхроматической) CFA. ^[3]Для демозаики можно использовать простые модели формирования изображений. В естественных изображениях в пределах одного сегмента соотношение цветов должно сохраняться. Этот факт был использован в чувствительной к изображению интерполяции для демозаики. ^[4]

Корреляция пикселей внутри изображения

Более сложные алгоритмы демозаики используют пространственную и/или спектральную корреляцию пикселей цветного изображения. ^[5] Пространственная корреляция — это тенденция пикселей принимать одинаковые значения цвета в небольшой однородной области изображения. Спектральная корреляция — это зависимость между значениями пикселей разных цветовых плоскостей в небольшой области изображения.

Эти алгоритмы включают в себя:

Переменное количество градиентов (VNG) ^[6] интерполяция вычисляет градиенты вблизи интересующего пикселя и использует более низкие градиенты (представляющие более гладкие и похожие части изображения) для оценки. Он используется в первых версиях dcraw и страдает от цветовых артефактов.
Группировка пикселей (PPG) ^[7] при составлении оценок использует предположения о природных ландшафтах. Он имеет меньше цветовых артефактов на естественных изображениях, чем метод переменного числа градиентов; он был представлен в dcraw из rel. 8.71 как «Группировка пикселей по шаблону».
Адаптивная однородность-направленная (AHD) широко используется в промышленности. Он выбирает направление интерполяции так, чтобы максимизировать показатель однородности, тем самым обычно сводя к минимуму цветовые артефакты. ^[8] Это было реализовано в последних версиях dcraw. ^[9]
Минимизация псевдонимов и устранение застежек-молний (AMaZE), разработанная Эмилем Дж. Мартинеком, работает медленно, но имеет отличную производительность, особенно при захвате с низким уровнем шума. Реализации AMaZE можно найти в RawTherapee и darktable .

Видео сверхразрешение/демозаика

Показано, что сверхразрешение и демозаика — две стороны одной и той же проблемы и их разумно рассматривать в едином контексте. ^[10] Обратите внимание, что обе эти проблемы сталкиваются с проблемой псевдонимов. Поэтому, особенно в случае реконструкции видео (многокадровой), совместный подход сверхразрешения и демозаики обеспечивает оптимальное решение.

Компромиссы

Некоторые методы могут дать лучшие результаты для природных сцен, а некоторые, например, для печатных материалов. Это отражает внутреннюю проблему оценки пикселей, которые точно не известны. Естественно, существует также повсеместный компромисс между скоростью и качеством оценки.

Использование в программном обеспечении компьютерной обработки изображений.

Когда у вас есть доступ к необработанным данным изображения с цифровой камеры, вы можете использовать компьютерное программное обеспечение с множеством различных алгоритмов демозаики, а не ограничиваться тем, который встроен в камеру. Некоторые программы разработки, такие как RawTherapee и darktable , дают пользователю возможность выбрать, какой алгоритм следует использовать. Однако большинство программ запрограммировано на использование одного конкретного метода. Различия в рендеринге мельчайших деталей (и зернистой текстуры), возникающие в результате выбора алгоритма демозаики, являются одними из основных различий между различными разработчиками RAW; часто фотографы отдают предпочтение определенной программе по эстетическим соображениям, связанным с этим эффектом.

Цветовые артефакты, возникающие из-за демозаики, служат важным ключом к выявлению подделок фотографий. ^[11]

См. также

Ссылки

^ Адриан Дэвис; Фил Феннесси (2001). Цифровая обработка изображений для фотографов (Четвертое изд.). Фокальная пресса. ISBN 978-0-240-51590-8 .
^ Ланлан Чанг; Яп-Пэн Тан (2006). «Демозаика массива гибридных цветных фильтров для эффективного подавления артефактов» (PDF) . Журнал электронных изображений . 15 : 2. Бибкод : 2006JEI....15a3003C . дои : 10.1117/1.2183325 . Архивировано из оригинала (PDF) 29 декабря 2009 г.
^ Хиракава К. и Вулф П.Дж. (сентябрь 2007 г.). Конструкция массива цветных фильтров для повышения точности изображения . В 2007 г. прошла Международная конференция IEEE по обработке изображений (том 2, стр. II-81). IEEE.
^ Киммел, Р. (1999). Демозаика: реконструкция изображения по образцам цветной ПЗС-матрицы . Транзакции IEEE по обработке изображений, 8 (9), 1221-1228.
^ Ланлан Чанг; Яп-Пэн Тан (2006). «Демозаика массива гибридных цветных фильтров для эффективного подавления артефактов» (PDF) . Журнал электронных изображений . 15 : 013003. Бибкод : 2006JEI....15a3003C . дои : 10.1117/1.2183325 . Архивировано из оригинала (PDF) 29 декабря 2009 г.
^ Тин Чен. «Интерполяция с использованием переменного числа градиентов на основе порога» . Архивировано из оригинала 22 апреля 2012 г.
^ Чуан-кай Линь, Портлендский государственный университет (2004 г.). «Группировка пикселей для демозаики массива цветных фильтров» . Архивировано из оригинала 23 сентября 2016 г.
^ Кьего Хиракава; Томас В. Паркс (2005). «Адаптивный алгоритм демозаики, ориентированный на однородность» (PDF) . Транзакции IEEE при обработке изображений . 14 (3): 360–369. Бибкод : 2005ITIP...14..360H . дои : 10.1109/TIP.2004.838691 . ПМИД 15762333 . S2CID 37217924 .
^ Декодирование необработанных цифровых фотографий в Linux. Архивировано 19 октября 2016 г. в Wayback Machine , Дэйв Коффин.
^ Сина Фарсиу; Майкл Элад; Пейман Миланфар (2006). «Многокадровая демозаика и сверхразрешение цветных изображений» (PDF) . Транзакции IEEE при обработке изображений . 15 (1): 141–159. Бибкод : 2006ITIP...15..141F . CiteSeerX 10.1.1.132.7607 . дои : 10.1109/TIP.2005.860336 . ПМИД 16435545 . S2CID 2989394 .
^ Ичжэнь Хуан; ЯнЦзин Лун (2008). «Распознавание демозаика с помощью приложений для аутентификации цифровых фотографий на основе модели квадратичной корреляции пикселей» (PDF) . Учеб. Конференция IEEE по компьютерному зрению и распознаванию образов : 1–8. Архивировано из оригинала (PDF) 17 июня 2010 г.

Внешние ссылки

HowStuffWorks : Как работают цифровые камеры, подробнее о захвате цвета , с алгоритмом демозаики в работе анимации
Интерполяция компонентов RGB в изображениях Bayer CFA , Эрик Дюбуа.
Демозаика цвета с использованием дисперсии цветовых различий, Кинг-Хонг Чунг и Юк-Хи Чан
Демо-матрица гибридных цветных фильтров для эффективного подавления артефактов, авторы Ланлан Чанг и Яп-Пэн Тан.
Демозаика изображений: систематический обзор Синь Ли , Бахадира Гунтюрка и Лей Чжана
Демозаика: интерполяция массива цветных фильтров в однокристальных цифровых камерах , Б.К. Гунтюрк, Дж. Глотцбах, Ю. Алтунбасак, Р.В. Шафер и Р.М. Мерсеро
Проектирование массива пространственно-спектральных цветных фильтров для повышения точности изображения , Кейго Хиракава и Патрик Дж. Вулф
Эффективная демозаика с мягким решением с использованием направленной фильтрации и встроенного уточнения артефактов , Вэнь-Цунг Хуан, Вэнь-Янь Чен и Шэнь-Чуань Тай
Демозаика на основе сходства Антони Буадеса, Бартомеу Колла, Жана-Мишеля Мореля, Каталины Сберт, с исходным кодом и онлайн-демонстрацией
Список существующих методов демозаики
Интерактивный сайт, имитирующий данные Байера и различные алгоритмы демозаики, позволяющий настраивать изображения (неактивен)
Демозаика на основе геометрии, авторы Сира Ферраданс, Марсело Бертамио и Висент Касельес с исходным кодом и справочным документом. (мертвый)
Полный список кодов и двоичных файлов демозаики, доступных в Интернете. Архивировано 21 апреля 2016 г. на Wayback Machine (мертв).

[1] Адриан Дэвис; Фил Феннесси (2001). Цифровая обработка изображений для фотографов (Четвертое изд.). Фокальная пресса. ISBN 978-0-240-51590-8 .

[2] Ланлан Чанг; Яп-Пэн Тан (2006). «Демозаика массива гибридных цветных фильтров для эффективного подавления артефактов» (PDF) . Журнал электронных изображений . 15 : 2. Бибкод : 2006JEI....15a3003C . дои : 10.1117/1.2183325 . Архивировано из оригинала (PDF) 29 декабря 2009 г.

[3] Хиракава К. и Вулф П.Дж. (сентябрь 2007 г.). Конструкция массива цветных фильтров для повышения точности изображения . В 2007 г. прошла Международная конференция IEEE по обработке изображений (том 2, стр. II-81). IEEE.

[4] Киммел, Р. (1999). Демозаика: реконструкция изображения по образцам цветной ПЗС-матрицы . Транзакции IEEE по обработке изображений, 8 (9), 1221-1228.

[5] Ланлан Чанг; Яп-Пэн Тан (2006). «Демозаика массива гибридных цветных фильтров для эффективного подавления артефактов» (PDF) . Журнал электронных изображений . 15 : 013003. Бибкод : 2006JEI....15a3003C . дои : 10.1117/1.2183325 . Архивировано из оригинала (PDF) 29 декабря 2009 г.

[6] Тин Чен. «Интерполяция с использованием переменного числа градиентов на основе порога» . Архивировано из оригинала 22 апреля 2012 г.

[7] Чуан-кай Линь, Портлендский государственный университет (2004 г.). «Группировка пикселей для демозаики массива цветных фильтров» . Архивировано из оригинала 23 сентября 2016 г.

[8] Кьего Хиракава; Томас В. Паркс (2005). «Адаптивный алгоритм демозаики, ориентированный на однородность» (PDF) . Транзакции IEEE при обработке изображений . 14 (3): 360–369. Бибкод : 2005ITIP...14..360H . дои : 10.1109/TIP.2004.838691 . ПМИД 15762333 . S2CID 37217924 .

[9] Декодирование необработанных цифровых фотографий в Linux. Архивировано 19 октября 2016 г. в Wayback Machine , Дэйв Коффин.

[10] Сина Фарсиу; Майкл Элад; Пейман Миланфар (2006). «Многокадровая демозаика и сверхразрешение цветных изображений» (PDF) . Транзакции IEEE при обработке изображений . 15 (1): 141–159. Бибкод : 2006ITIP...15..141F . CiteSeerX 10.1.1.132.7607 . дои : 10.1109/TIP.2005.860336 . ПМИД 16435545 . S2CID 2989394 .

[11] Ичжэнь Хуан; ЯнЦзин Лун (2008). «Распознавание демозаика с помощью приложений для аутентификации цифровых фотографий на основе модели квадратичной корреляции пикселей» (PDF) . Учеб. Конференция IEEE по компьютерному зрению и распознаванию образов : 1–8. Архивировано из оригинала (PDF) 17 июня 2010 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]