фильтр Байера

Мозаика фильтров Байера представляет собой массив цветных фильтров (CFA) для размещения цветовых фильтров RGB на квадратной сетке фотодатчиков. Особое расположение цветных фильтров используется в большинстве однокристальных цифровых датчиков изображения, используемых в цифровых фотоаппаратах и видеокамерах для создания цветного изображения. Шаблон фильтра наполовину зеленый, на четверть красный и на четверть синий, поэтому его также называют BGGR , RGBG , ^[1]^[2] ГРБГ , ^[3] или РГГБ . ^[4]

Он назван в честь своего изобретателя Брайса Байера из Eastman Kodak . Байер также известен своей рекурсивно определенной матрицей, используемой в упорядоченном сглаживании .

Альтернативы фильтру Байера включают как различные модификации цветов и расположения , так и совершенно другие технологии, такие как совместная выборка цвета , датчик Foveon X3 , дихроичные зеркала или прозрачная матрица дифракционных фильтров. ^[5]

Объяснение

Брайса Байера (Патент США № 3,971,065) Патент ^[6]) в 1976 году назвал зеленые фотодатчики светочувствительными элементами , а красные и синие — цветочувствительными элементами . Он использовал вдвое больше зеленых элементов, чем красных или синих, чтобы имитировать физиологию человеческого глаза . человека Восприятие яркости сетчатки M и L использует комбинацию колбочек во время дневного зрения, которые наиболее чувствительны к зеленому свету. Эти элементы называются сенсорными элементами , датчиками , пиксельными датчиками или просто пикселями ; Воспринятые ими значения выборки после интерполяции становятся пикселями изображения . Когда Байер зарегистрировал свой патент, он также предложил использовать комбинацию голубого, пурпурного и желтого , то есть еще один набор противоположных цветов. В то время такая схема была непрактичной, поскольку необходимых красителей не существовало, но она использовалась в некоторых новых цифровых камерах. Большим преимуществом новых красителей CMY является то, что они обладают улучшенными характеристиками светопоглощения; то есть их квантовая эффективность выше.

вывод Необработанный камер с фильтром Байера называется изображением шаблона Байера . Поскольку каждый пиксель фильтруется для записи только одного из трех цветов, данные каждого пикселя не могут полностью определить каждое из значений красного, зеленого и синего самостоятельно. Чтобы получить полноцветное изображение, демозаики можно использовать различные алгоритмы для интерполяции набора полных значений красного, зеленого и синего для каждого пикселя. Эти алгоритмы используют окружающие пиксели соответствующих цветов для оценки значений конкретного пикселя.

Различные алгоритмы, требующие разной вычислительной мощности, приводят к получению окончательных изображений разного качества. Это можно сделать внутри камеры, создав изображение в формате JPEG или TIFF , или вне камеры, используя необработанные данные непосредственно с датчика. Поскольку вычислительная мощность процессора камеры ограничена, многие фотографы предпочитают выполнять эти операции вручную на персональном компьютере. Чем дешевле камера, тем меньше возможностей влиять на эти функции. В профессиональных камерах функции коррекции изображения полностью отсутствуют, либо их можно отключить. Запись в Raw-формате дает возможность вручную выбирать алгоритм демозаики и управлять параметрами преобразования, что используется не только в потребительской фотографии, но и при решении различных технических и фотометрических задач. ^[7]

Демозаика

Демозаику можно выполнить разными способами. Простые методы интерполируют значение цвета пикселей одного цвета по соседству. Например, как только чип подвергнется воздействию изображения, можно прочитать каждый пиксель. Пиксель с зеленым фильтром обеспечивает точное измерение зеленого компонента. Красная и синяя компоненты для этого пикселя получаются от соседей. Для зеленого пикселя можно интерполировать двух красных соседей, чтобы получить красное значение, а также можно интерполировать два синих пикселя, чтобы получить синее значение.

Этот простой подход хорошо работает в областях с постоянным цветом или плавными градиентами, но может вызвать такие артефакты, как растекание цвета в областях, где резкие изменения цвета или яркости особенно заметны вдоль острых краев изображения. Из-за этого другие методы демозаики пытаются идентифицировать высококонтрастные края и интерполировать только вдоль этих краев, но не поперек них.

Другие алгоритмы основаны на предположении, что цвет области изображения относительно постоянен даже при изменении условий освещения, поэтому цветовые каналы сильно коррелируют друг с другом. Таким образом, сначала интерполируется зеленый канал, затем красный, а затем синий канал, так что соотношение цветов красный-зеленый и синий-зеленый остается постоянным. Существуют и другие методы, которые делают разные предположения о содержании изображения и пытаются вычислить недостающие значения цвета.

Артефакты

Изображения с мелкими деталями, близкими к пределу разрешения цифрового сенсора, могут стать проблемой для алгоритма демозаики, приводя к результату, не похожему на модель. Наиболее частым артефактом является муар , который может проявляться в виде повторяющихся узоров, цветных артефактов или пикселей, расположенных в нереалистичном лабиринтном узоре.

Артефакт ложного цвета

Распространенным и неудачным артефактом интерполяции или демозаики с помощью массива цветных фильтров (CFA) является то, что известно и рассматривается как ложная окраска. Обычно этот артефакт проявляется вдоль краев, где резкие или неестественные изменения цвета происходят в результате неправильной интерполяции поперек, а не вдоль края. Существуют различные методы предотвращения и удаления этой ложной окраски. Во время демозаики используется плавная интерполяция перехода оттенков, чтобы предотвратить появление ложных цветов в конечном изображении. Однако существуют и другие алгоритмы, которые могут удалять ложные цвета после демозаики. Их преимущество заключается в удалении артефактов ложной окраски из изображения при использовании более надежного алгоритма демозаики для интерполяции красной и синей цветовых плоскостей.

Артефакт на молнии

Артефакт застегивания молнии — еще один побочный эффект демозаики CFA, который также возникает в основном по краям и известен как эффект застежки-молнии. Проще говоря, застежка-молния — это другое название размытия краев, которое происходит в виде шаблона включения/выключения вдоль края. Этот эффект возникает, когда алгоритм демозаики усредняет значения пикселей по краю, особенно в красной и синей плоскостях, что приводит к характерному размытию изображения. Как упоминалось ранее, лучшими методами предотвращения этого эффекта являются различные алгоритмы, которые интерполируют вдоль, а не поперек краев изображения. Интерполяция распознавания образов, интерполяция адаптивной цветовой плоскости и интерполяция с направленным взвешиванием — все они пытаются предотвратить застегивание молнии путем интерполяции вдоль краев, обнаруженных на изображении.

Однако даже при наличии теоретически идеального сенсора, способного улавливать и различать все цвета на каждом фотосайте, муар и другие артефакты все равно могут появиться. Это неизбежное последствие любой системы, которая производит выборку непрерывного сигнала через дискретные интервалы или места. По этой причине большинство цифровых фотосенсоров содержат так называемый оптический фильтр нижних частот (OLPF) или фильтр сглаживания (AA) . Обычно это тонкий слой непосредственно перед датчиком, который эффективно размывает любые потенциально проблемные детали, размер которых превышает разрешение датчика.

Модификации

Фильтр Байера практически универсален для бытовых цифровых камер. Альтернативы включают фильтр CYGM ( голубой , желтый , зеленый, пурпурный ) и фильтр RGBE (красный, зеленый, синий, изумрудный ), которые требуют аналогичной демозаики. Датчик Foveon X3 (который размещает красные, зеленые и синие датчики вертикально, а не использует мозаику) и расположение трех отдельных ПЗС-матриц (по одному для каждого цвета) не требует демозаики.

Панхроматические клетки

14 июня 2007 года компания Eastman Kodak анонсировала альтернативу фильтру Байера: шаблон цветового фильтра, который увеличивает чувствительность к свету датчика изображения в цифровой камере за счет использования некоторых панхроматических ячеек, чувствительных ко всем длинам волн видимого света и собрать большее количество света, попадающего на датчик. ^[8] Они представляют несколько паттернов, но ни один из них не имеет такой маленькой повторяющейся единицы, как единица 2×2 в паттерне Байера.

Более ранний шаблон фильтра RGBW

В другой патентной заявке США 2007 года, поданной Эдвардом Т. Чангом, заявлен датчик, в котором «цветной фильтр имеет структуру, состоящую из блоков пикселей 2×2, состоящих из одного красного, одного синего, одного зеленого и одного прозрачного пикселя», в предназначенной для этого конфигурации. включить инфракрасную чувствительность для повышения общей чувствительности. ^[9] Заявка на патент Kodak была подана раньше. ^[10]

Такие ячейки ранее использовались в « CMYW » (голубой, пурпурный, желтый и белый). ^[11] «RGBW» (красный, зеленый, синий, белый) ^[12] датчики, но компания Kodak еще не сравнивала с ними новый шаблон фильтра.

Массив цветных фильтров Fujifilm EXR

Массив цветных фильтров EXR компании Fujifilm изготавливается как на ПЗС-матрице ( SuperCCD ), так и на КМОП-матрице (BSI CMOS). Как и в случае с SuperCCD, сам фильтр повернут на 45 градусов. В отличие от традиционных конструкций фильтров Байера, всегда есть два соседних фотосайта, определяющих один и тот же цвет. Основная причина использования этого типа массива заключается в том, чтобы способствовать «объединению» пикселей, при котором два соседних фотосайта могут быть объединены, что делает сам датчик более «чувствительным» к свету. Другая причина заключается в том, что датчик записывает две разные экспозиции, которые затем объединяются для создания изображения с более широким динамическим диапазоном. Базовая схема имеет два канала считывания, которые получают информацию из чередующихся рядов датчика. В результате он может действовать как два перемежающихся датчика с разным временем экспозиции для каждой половины фотосайтов. Половину фотосайтов можно намеренно недоэкспонировать, чтобы полностью захватить более яркие участки сцены. Эту сохраненную информацию о ярких участках затем можно смешать с выходными данными другой половины датчика, которая записывает «полную» экспозицию, снова используя близкое расположение фотосайтов одинакового цвета.

Фильтр Fujifilm «X-Trans»

Повторяющаяся сетка 6×6, используемая в датчике x-trans.

CMOS-сенсор Fujifilm X-Trans, используемый во многих камерах Fujifilm серии X. Заявлен ^[13] для обеспечения лучшей устойчивости к цветовому муару, чем фильтр Байера, и поэтому их можно изготовить без сглаживающего фильтра. Это, в свою очередь, позволяет камерам, использующим этот датчик, достигать более высокого разрешения при том же количестве мегапикселей. Кроме того, утверждается, что новый дизайн снижает количество ложных цветов за счет наличия красных, синих и зеленых пикселей в каждой строке. Также считается, что расположение этих пикселей обеспечивает зернистость, более похожую на пленку.

Одним из основных недостатков пользовательских шаблонов является отсутствие полной поддержки в стороннем программном обеспечении для обработки необработанных данных , таком как Adobe Photoshop Lightroom. ^[14] где добавление улучшений заняло несколько лет. ^[15]

Квад Байер

Sony представила матрицу цветных фильтров Quad Bayer, которая впервые была использована в передней камере iPhone 6 , выпущенной в 2014 году. Quad Bayer похож на фильтр Байера, однако соседние пиксели 2x2 имеют один и тот же цвет, шаблон 4x4 включает 4 синих, 4 красных, и 8x зеленый. ^[16] Для более темных сцен обработка сигнала может объединять данные из каждой группы 2x2, по сути, как более крупный пиксель. Для более ярких сцен обработка сигнала может преобразовать Quad Bayer в обычный фильтр Байера для достижения более высокого разрешения. ^[17] Пиксели в Quad Bayer могут работать в режиме долгосрочной и кратковременной интеграции для достижения одиночного HDR, уменьшая проблемы смешивания. ^[18] Quad Bayer также известен как Tetracell от Samsung , 4-cell от OmniVision , ^[17]^[19] и Quad CFA (QCFA) от Qualcomm . ^[20]

26 марта 2019 года была анонсирована серия Huawei P30 с RYYB Quad Bayer с рисунком 4x4, состоящим из 4 синих, 4 красных и 8 желтых. ^[21]

Нонаселл

12 февраля 2020 года был анонсирован Samsung Galaxy S20 Ultra с Nonacell CFA. Nonacell CFA похож на фильтр Байера, однако соседние пиксели 3x3 имеют один и тот же цвет, шаблон 6x6 содержит 9 синих, 9 красных и 18 зеленых. ^[22]

См. также

Ссылки

Патент США 3971065 , Брайс Э. Байер, «Матрица цветных изображений», выдан в Интернете 20 июля 1976 г.

Примечания

^ Джефф Мэзер (2008). «Добавление L* в RGBG» . Архивировано из оригинала 13 июля 2011 г. Проверено 18 февраля 2011 г.
^ dpreview.com (2000). «Sony анонсирует три новые цифровые камеры» . Архивировано из оригинала 21 июля 2011 г.
^ Маргарет Браун (2004). Продвинутая цифровая фотография . Издательство СМИ. ISBN 0-9581888-5-8 .
^ Томас Машке (2004). Цифровая фототехника: технология цифровых фотоаппаратов в теории и практике . Спрингер. ISBN 3-540-40243-8 . Архивировано из оригинала 09.01.2019 . Проверено 23 сентября 2016 г.
^ Ван, Пэн; Менон, Раджеш (29 октября 2015 г.). «Цветное изображение сверхвысокой чувствительности с помощью прозрачной матрицы дифракционных фильтров и вычислительной оптики» . Оптика . 2 (11): 933. Бибкод : 2015Оптика...2..933W . дои : 10.1364/optica.2.000933 .
^ «Патент US3971065 — Массив цветных изображений — Патенты Google» . Архивировано из оригинала 11 августа 2013 г. Проверено 23 апреля 2013 г.
^ Черемхин П.А., Лесничий В.В. и Петров Н.В. (2014). «Использование спектральных характеристик зеркальных камер с датчиками фильтра Байера» . Физический журнал: серия конференций . 536 (1): 012021. Бибкод : 2014JPhCS.536a2021C . дои : 10.1088/1742-6596/536/1/012021 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Джон Комптон и Джон Гамильтон (14 июня 2007 г.). «Массив цветных фильтров 2.0» . Тысяча ботаников: блог Kodak . Архивировано из оригинала 20 июля 2007 г. Проверено 25 февраля 2011 г.
^ «Патентная публикация США 20070145273 «Высокочувствительная инфракрасная цветная камера» » . Архивировано из оригинала 22 февраля 2017 г.
^ «Заявка на патент США 20070024879 «Обработка цветных и панхроматических пикселей» » . Архивировано из оригинала 21 декабря 2016 г.
^ ЖЖ д'Луна; и др. (1989). «Постпроцессор цифрового видеосигнала для датчиков цветного изображения». 1989 г. Материалы конференции IEEE по пользовательским интегральным схемам . Том. 1989. стр. 24.2/1–24.2/4. дои : 10.1109/CICC.1989.56823 . S2CID 61954103 . Можно использовать различные шаблоны CFA с различными сочетаниями красного, зеленого и синего (RGB) или голубого, пурпурного, желтого и белого (CMYW) цветов.
↑ Сугияма, Тошинобу, заявка на патент США 20050231618, «Устройство захвата изображения». Архивировано 22 февраля 2017 г. в Wayback Machine , подана 30 марта 2005 г.
^ «Сенсорная технология Fujifilm X-Trans» . Архивировано из оригинала 9 апреля 2012 г. Проверено 15 марта 2012 г.
^ Диалло, Амаду. «Проверена обработка сенсора Adobe Fujifilm X-Trans» . dpreview.com . Архивировано из оригинала 21 октября 2016 года . Проверено 20 октября 2016 г.
^ «Adobe улучшает обработку X-Trans в обновлении Lightroom CC: обещает еще больше» . Блог фотографии Томаса Фицджеральда. 17 июня 2015 года. Архивировано из оригинала 21 октября 2016 года . Проверено 20 октября 2016 г.
^ «Sony выпускает многослойную CMOS-матрицу для смартфонов с самым высоким в отрасли числом эффективных пикселей — 48» . Sony Global — Глобальная штаб-квартира Sony . Архивировано из оригинала 5 сентября 2019 г. Проверено 16 августа 2019 г.
^ Перейти обратно: ^а ^б «Как Tetracell обеспечивает кристально чистые фотографии днем и ночью | Глобальный веб-сайт Samsung Semiconductor» . www.samsung.com . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.
^ «IMX294CJK | Sony Semiconductor Solutions» . Корпорация Sony Semiconductor Solutions . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.
^ «Релизы продуктов | Новости и события | OmniVision» . www.ovt.com . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.
^ В США ожидается 20200280659 , «Конфигурации датчиков камеры с четырьмя цветными фильтрами»
^ «Часть 4: Non-Bayer CFA, фазовый автофокус (PDAF) | TechInsights» . techinsights.com . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.
^ «108-мегапиксельная камера Samsung ISOCELL Bright HM1 обеспечивает более яркие изображения сверхвысокого разрешения благодаря первой в отрасли технологии Nonacell» . news.samsung.com . Архивировано из оригинала 12 февраля 2020 г. Проверено 14 февраля 2020 г.

Внешние ссылки

Цветные и микролинзы RGB «Bayer» , Silicon Imaging (проектирование, производство и маркетинг цифровых камер высокой четкости и решений для обработки изображений)
Библиотека обработки изображений eLynx . Большой набор исходного кода для работы с мозаикой Bayer, доступный под лицензией GPL.
Эффективная высококачественная демозаичная фильтрация Байера на графических процессорах.
Глобальное компьютерное зрение
Обзор демозаики матрицы цветных фильтров Байера (CFA) с помощью новых алгоритмов оценки качества
Датчики цифровых фотоаппаратов

[1] Джефф Мэзер (2008). «Добавление L* в RGBG» . Архивировано из оригинала 13 июля 2011 г. Проверено 18 февраля 2011 г.

[2] review.com (2000). «Sony анонсирует три новые цифровые камеры» . Архивировано из оригинала 21 июля 2011 г.

[3] Маргарет Браун (2004). Продвинутая цифровая фотография . Издательство СМИ. ISBN 0-9581888-5-8 .

[4] Томас Машке (2004). Цифровая фототехника: технология цифровых фотоаппаратов в теории и практике . Спрингер. ISBN 3-540-40243-8 . Архивировано из оригинала 09.01.2019 . Проверено 23 сентября 2016 г.

[5] Ван, Пэн; Менон, Раджеш (29 октября 2015 г.). «Цветное изображение сверхвысокой чувствительности с помощью прозрачной матрицы дифракционных фильтров и вычислительной оптики» . Оптика . 2 (11): 933. Бибкод : 2015Оптика...2..933W . дои : 10.1364/optica.2.000933 .

[6] «Патент US3971065 — Массив цветных изображений — Патенты Google» . Архивировано из оригинала 11 августа 2013 г. Проверено 23 апреля 2013 г.

[7] Черемхин П.А., Лесничий В.В. и Петров Н.В. (2014). «Использование спектральных характеристик зеркальных камер с датчиками фильтра Байера» . Физический журнал: серия конференций . 536 (1): 012021. Бибкод : 2014JPhCS.536a2021C . дои : 10.1088/1742-6596/536/1/012021 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )

[8] Джон Комптон и Джон Гамильтон (14 июня 2007 г.). «Массив цветных фильтров 2.0» . Тысяча ботаников: блог Kodak . Архивировано из оригинала 20 июля 2007 г. Проверено 25 февраля 2011 г.

[9] «Патентная публикация США 20070145273 «Высокочувствительная инфракрасная цветная камера» » . Архивировано из оригинала 22 февраля 2017 г.

[10] «Заявка на патент США 20070024879 «Обработка цветных и панхроматических пикселей» » . Архивировано из оригинала 21 декабря 2016 г.

[11] ЖЖ д'Луна; и др. (1989). «Постпроцессор цифрового видеосигнала для датчиков цветного изображения». 1989 г. Материалы конференции IEEE по пользовательским интегральным схемам . Том. 1989. стр. 24.2/1–24.2/4. дои : 10.1109/CICC.1989.56823 . S2CID 61954103 . Можно использовать различные шаблоны CFA с различными сочетаниями красного, зеленого и синего (RGB) или голубого, пурпурного, желтого и белого (CMYW) цветов.

[12] Сугияма, Тошинобу, заявка на патент США 20050231618, «Устройство захвата изображения». Архивировано 22 февраля 2017 г. в Wayback Machine , подана 30 марта 2005 г.

[x-trans-13] «Сенсорная технология Fujifilm X-Trans» . Архивировано из оригинала 9 апреля 2012 г. Проверено 15 марта 2012 г.

[14] Диалло, Амаду. «Проверена обработка сенсора Adobe Fujifilm X-Trans» . dpreview.com . Архивировано из оригинала 21 октября 2016 года . Проверено 20 октября 2016 г.

[15] «Adobe улучшает обработку X-Trans в обновлении Lightroom CC: обещает еще больше» . Блог фотографии Томаса Фицджеральда. 17 июня 2015 года. Архивировано из оригинала 21 октября 2016 года . Проверено 20 октября 2016 г.

[16] «Sony выпускает многослойную CMOS-матрицу для смартфонов с самым высоким в отрасли числом эффективных пикселей — 48» . Sony Global — Глобальная штаб-квартира Sony . Архивировано из оригинала 5 сентября 2019 г. Проверено 16 августа 2019 г.

[:0-17] Перейти обратно: ^а ^б «Как Tetracell обеспечивает кристально чистые фотографии днем и ночью | Глобальный веб-сайт Samsung Semiconductor» . www.samsung.com . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.

[18] «IMX294CJK | Sony Semiconductor Solutions» . Корпорация Sony Semiconductor Solutions . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.

[19] «Релизы продуктов | Новости и события | OmniVision» . www.ovt.com . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.

[20] В США ожидается 20200280659 , «Конфигурации датчиков камеры с четырьмя цветными фильтрами»

[21] «Часть 4: Non-Bayer CFA, фазовый автофокус (PDAF) | TechInsights» . techinsights.com . Архивировано из оригинала 16 августа 2019 г. Проверено 16 августа 2019 г.

[22] «108-мегапиксельная камера Samsung ISOCELL Bright HM1 обеспечивает более яркие изображения сверхвысокого разрешения благодаря первой в отрасли технологии Nonacell» . news.samsung.com . Архивировано из оригинала 12 февраля 2020 г. Проверено 14 февраля 2020 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]