Процессор изображений

Процессор изображений , также известный как механизм обработки изображений , блок обработки изображений ( IPU ) или процессор сигналов изображения ( ISP ), представляет собой тип медиапроцессора или специализированного процессора цифровых сигналов (DSP), используемый для обработки изображений в цифровых камерах или другие устройства. ^[1]^[2]Процессоры изображений часто используют параллельные вычисления даже с технологиями SIMD или MIMD для повышения скорости и эффективности. Механизм цифровой обработки изображений может выполнять ряд задач. Чтобы повысить интеграцию системы на встроенных устройствах , часто это система на кристалле с многоядерной процессорной архитектурой.

Функция

Преобразование Байера

Фотодиоды , используемые в датчике изображения , по своей природе являются дальтониками: они могут регистрировать только оттенки серого . Чтобы придать цвет изображению , они покрываются разными цветными фильтрами: красным , зеленым и синим ( RGB ) по схеме, обозначенной фильтром Байера — названным в честь его изобретателя. Поскольку каждый фотодиод записывает информацию о цвете ровно для одного пикселя изображения, без процессора изображения рядом с каждым красным и синим пикселем был бы зеленый пиксель. (На самом деле у большинства датчиков имеется по два зеленых диода на каждый синий и красный диод.)

Однако этот процесс довольно сложен и включает в себя ряд различных операций. Его качество во многом зависит от эффективности алгоритмов , применяемых к необработанным данным, поступающим с датчика. Математически обработанные данные становятся записанным файлом фотографии.

Демозаика

Как указано выше, процессор изображений оценивает данные цвета и яркости данного пикселя, сравнивает их с данными соседних пикселей, а затем использует алгоритм демозаики для получения соответствующего значения цвета и яркости для пикселя. Процессор изображений также оценивает все изображение, чтобы определить правильное распределение контраста . Регулируя значение гаммы (повышая или понижая контрастность средних тонов изображения), тонкие тональные градации, например, в человеческой коже или синеве неба , становятся гораздо более реалистичными.

Снижение шума

Шум – это явление, встречающееся в любой электронной схеме . В цифровой фотографии его эффект часто виден в виде случайных пятен явно неправильного цвета на гладко окрашенной области. Шум увеличивается с увеличением температуры и времени воздействия . При выборе более высоких значений ISO электронный сигнал в матрице изображения усиливается, что в то же время увеличивает уровень шума, что приводит к снижению отношения сигнал/шум . Процессор изображений пытается отделить шум от информации изображения и удалить его. Это может быть довольно сложной задачей, поскольку изображение может содержать области с мелкой текстурой, которые, если рассматривать их как шум, могут частично потерять свою четкость.

Повышение резкости изображения

Поскольку значения цвета и яркости для каждого пикселя интерполируются , применяется некоторая резкость изображения , чтобы выровнять возникшую нечеткость. Чтобы сохранить впечатление глубины , четкости и мелких деталей, процессор изображений должен повысить резкость краев и контуров. Поэтому он должен правильно определять края и воспроизводить их плавно и без чрезмерной резкости.

Модели

Пользователи процессоров изображений используют стандартные продукты отрасли, стандартные продукты для конкретных приложений (ASSP) или даже интегральные схемы для конкретных приложений (ASIC) с торговыми названиями: у Canon называется DIGIC , у Nikon Expeed , у Olympus TruePic, у Panasonic Venus Engine и у Sony Bionz . Известно, что некоторые из них основаны на процессорах изображений/видео Fujitsu Milbeaut , Texas Instruments OMAP , Panasonic MN103 , Zoran Coach, Altek Sunny или Sanyo .

Процессоры архитектуры ARM с NEON SIMD механизмами обработки мультимедиа (MPE) часто используются в мобильных телефонах .

Торговые марки процессоров

ATI — Imageon (графический сопроцессор, использовавшийся во многих ранних мобильных фотографиях для обработки сигналов изображения камеры). ^[3])
Canon — DIGIC (на базе Texas Instruments OMAP ) ^[4]
Casio — двигатель EXILIM
Эпсон - ЭДиАРТ
Fujifilm — процессор EXR III или X Pro
Google — Пиксельное визуальное ядро ^[5]
HTC — ImageSense
МедиаТек - Имагик
Minolta / Konica Minolta — SUPHEED с CxProcess
Leica — MAESTRO (на базе Fujitsu Milbeaut ) ^[6]
Nikon — Expeed (на базе Fujitsu Milbeaut ) ^[7]
Olympus — TruePic (на базе Panasonic MN103 /MN103S)
OPPO - МариСиликон
Panasonic — Venus Engine (на базе Panasonic MN103 /MN103S)
Pentax - PRIME (Pentax Real IMage Engine) (более новые варианты на базе Fujitsu Milbeaut )
Qualcomm — Qualcomm Спектры
Ricoh — механизм GR (цифровой GR), механизм Smooth Imaging Engine
Samsung — DRIMe (на базе Samsung Exynos )
Sanyo — Платиновый двигатель
Сигма - Правда
Шарп - ПроПикс
Socionext — Milbeaut — SC2000 (M-10V), SC2002 (M-11S) Семейство интернет-провайдеров
Сони — Бионз
Серия THine — THP [1] с совместимым комплектом SDK для разработки прошивки [2]
УНИСОК - Vivimagic

Скорость

Из-за увеличения количества пикселей в датчиках изображения скорость процессора изображений становится более критичной: фотографы не хотят ждать, пока процессор изображений камеры завершит свою работу, прежде чем они смогут продолжить съемку — они даже не хотят этого замечать. внутри камеры происходит некоторая обработка. Поэтому процессоры изображений должны быть оптимизированы для обработки большего количества данных за тот же или даже более короткий период времени.

Программное обеспечение

libcamera — это программная библиотека, которая поддерживает использование процессоров сигналов изображения для захвата изображений.

См. также

Ссылки

^ ЦИФРОВАЯ ОБРАБОТКА СИГНАЛА И ИЗОБРАЖЕНИЙ
^ Основы цифровой обработки изображений.
^ «Портативные изделия» . 11 марта 2006 г. Архивировано из оригинала 11 марта 2006 г. Проверено 14 сентября 2019 г.
^ Внутри цифровой зеркальной камеры Canon Rebel T4i. Архивировано 21 сентября 2012 г. на заводе Wayback Machine Chipworks.
^ Амадео, Рон (17 октября 2017 г.). «Сюрприз! В Pixel 2 скрыта специальная система Google SoC для обработки изображений» . Арс Техника . Проверено 19 октября 2017 г.
^ Решение Fujitsu Microelectronics-Leica для системы обработки изображений для высококачественных зеркальных фотокамер. Архивировано 7 октября 2008 г. на Wayback Machine.
↑ Milbeaut и EXPEED. Архивировано 21 мая 2016 г. в Wayback Machine автором Томом.

[1] ЦИФРОВАЯ ОБРАБОТКА СИГНАЛА И ИЗОБРАЖЕНИЙ

[2] Основы цифровой обработки изображений.

[3] «Портативные изделия» . 11 марта 2006 г. Архивировано из оригинала 11 марта 2006 г. Проверено 14 сентября 2019 г.

[4] Внутри цифровой зеркальной камеры Canon Rebel T4i. Архивировано 21 сентября 2012 г. на заводе Wayback Machine Chipworks.

[5] Амадео, Рон (17 октября 2017 г.). «Сюрприз! В Pixel 2 скрыта специальная система Google SoC для обработки изображений» . Арс Техника . Проверено 19 октября 2017 г.

[6] Решение Fujitsu Microelectronics-Leica для системы обработки изображений для высококачественных зеркальных фотокамер. Архивировано 7 октября 2008 г. на Wayback Machine.

[7] Milbeaut и EXPEED. Архивировано 21 мая 2016 г. в Wayback Machine автором Томом.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

v т и Система на кристалле (SoC)
Компоненты	Микропроцессор ядра контролеры Графический процессор (GPU) Процессор изображений Медиа-процессор ИИ-ускоритель ASIC
Типы	Сеть на чипе (NoC) Многопроцессорный SoC (MPSoC) Программируемая SoC (PSoC) Микроконтроллер (MCU)
Альтернативы	Многочиповый модуль (MCM) Система в пакете (SiP) Пакет в пакете (PoP)
Связанный	Процессор хронология дизайн CPLD Цифровой сигнальный процессор (DSP) Встраиваемые системы ПЛИС Список поставщиков SoC Мобильные компьютеры Единая память