Процессор изображения

Процессор изображений , также известный как механизм обработки изображений , блок обработки изображений ( IPU ) или процессор сигнала изображения ( ISP ), является типом медиа -процессора или специализированного цифрового сигнального процессора (DSP), используемого для обработки изображений , в цифровых камерах или Другие устройства. ^{[ 1 ]}^{[ 2 ]} Процессоры изображений часто используют параллельные вычисления даже с технологиями SIMD или MIMD для повышения скорости и эффективности. Цифровой двигатель обработки изображений может выполнять диапазон задач. Чтобы увеличить интеграцию системы на встроенных устройствах , часто это система на чипе с многоядерной архитектурой процессора.

Функция

Преобразование Байера

Фотодиоды , используемые в датчике изображения, окрашиваются по природе: они могут записывать только оттенки серого . Чтобы получить цвет в картине, они покрыты различными цветовыми фильтрами: красный , зеленый и синий ( RGB ) в соответствии с шаблоном, обозначенным фильтром Bayer , названным в честь его изобретателя. Как каждый фотодиод записывает информацию о цвете для ровного пикселя изображения, без процессора изображения был бы зеленый пиксель рядом с каждым красным и синим пикселем. (На самом деле, с большинством датчиков есть два зеленых для каждого синего и красного диода.)

Этот процесс, однако, довольно сложный и включает в себя ряд различных операций. Его качество во многом зависит от эффективности алгоритмов , применяемых к необработанным данным, поступающим от датчика. Математически манипулируемые данные становятся записанным фото -файлом.

Демонстрация

Как указано выше, процессор изображения оценивает данные о цвете и яркости данного пикселя, сравнивает их с данными из соседних пикселей, а затем использует алгоритм демонстрации для создания соответствующего значения цвета и яркости для пикселя. Процессор изображения также оценивает всю картину, чтобы угадать правильное распределение контраста . Регулируя гамма- ценность (повышение или понижение диапазона контрастных средних точек изображения), тонкие тональные градации, такие как в человеческой коже или синем небе , становятся гораздо более реалистичными.

Шумоподавление

Шум - это явление, обнаруженное в любой электронной схеме . В цифровой фотографии его эффект часто виден как случайные пятна, очевидно, неправильного цвета в иначе плавно окрашенной области. Шум увеличивается с температурой и временем экспозиции . Когда выбираются более высокие настройки ISO , усиливается электронный сигнал в датчике изображения, что в то же время увеличивает уровень шума, что приводит к более низкому соотношению сигнал / шум . Процессор изображения пытается отделить шум от информации об изображении и удалить его. Это может быть довольно сложной задачей, так как изображение может содержать области с тонкими текстурами, которые, если они рассматриваются как шум, могут потерять часть их определения.

Заточка изображения

Поскольку значения цвета и яркости для каждого пикселя интерполируются , то заточка изображения применяется, чтобы выровнять любую нечеткость, которая произошла. Чтобы сохранить впечатление глубины , ясности и мелких деталей, процессор изображения должен отточить края и контуры. Поэтому он должен правильно обнаружить края и воспроизводить их плавно и без обширного.

Модели

Пользователи процессора Image используют отраслевые стандартные продукты, стандартные продукты для приложений (ASSP) или даже интегрированные схемы, специфичные для приложений (ASIC) с торговыми названиями: Canon's называется Digic , Nikon's Apeed , Truepic, Truepic, Panasonic Venus Engine и Sony's Bionz . Известно, что некоторые основаны на Fujitsu Milbeaut , Texas Instruments Omap , Panasonic MN103 , тренере Zoran , Altek Sunny или Sanyo Image/Video -процессорах Sanyo.

Архитектурные процессоры ARM с его двигателями Neon SIMD Media Processing (MPE) часто используются на мобильных телефонах .

Процессорные бренды

ATI - Imageon (графический соавтор используется на многих ранних мобильных фотографиях, чтобы предложить обработку сигнала изображения камеры. ^{[ 3 ]})
Canon - Digic (на основе Texas Instruments OMAP ) ^{[ 4 ]}
Casio - Exilim Engine
Эпсон - Идиарт
Fujifilm - Exr III или X Processor Pro
Google - Pixel Visual Core ^{[ 5 ]}
HTC - ImageSense
Intel - блюдо ^{[ 6 ]}
Mediatek - Imagiq
/ Konica Minolta - Suphee Minolta
Leica - Maestro (на основе Fujitsu Milbeaut ) ^{[ 7 ]}
Nikon - Aceed (на основе Fujitsu Milbeaut ) ^{[ 8 ]}
Olympus - Truepic (на основе Panasonic MN103 /MN103S)
Oppo - Marisilicon x
Panasonic - Двигатель Venus (на основе Panasonic MN103 /MN103S)
Pentax - Prime (Pentax Real Image Engine) (новые варианты на основе Fujitsu Milbeaut )
Qualcomm - Qualcomm Spectra (на основе Qualcomm Snapdragon )
RICOH - GR ENGIN
Samsung - Drime (на основе Samsung Exynos )
Sanyo - платиновый двигатель
Сигма - правда
Острый - пропикс
Socionext - Milbeaut Family of Isps - SC2000 (M -10V), SC2002 (M -11S)
Sony - Bionz
Твоя - серия THP [1] с совместимым набором SDK для разработки прошивки [2]
Unisoc - Vivimagic

Скорость

С помощью постоянного количества пикселей в датчиках изображения скорость процессора изображения становится более критической: фотографы не хотят ждать, пока процессор изображений камеры завершит свою работу, прежде чем они смогут продолжить съемку - они даже не хотят замечать Некоторая обработка происходит внутри камеры. Следовательно, процессоры изображений должны быть оптимизированы, чтобы справиться с большим количеством данных в том же или даже более коротком периоде времени.

Программное обеспечение

Libcamera - это библиотека программного обеспечения, которая поддерживает использование процессоров сигнала изображения для захвата изображений.

Смотрите также

Ссылки

^ Цифровая обработка сигнала и изображений
^ Основы цифровой обработки изображений
^ «Руковочные продукты» . 11 марта 2006 года. Архивировано с оригинала 11 марта 2006 года . Получено 14 сентября 2019 года .
^ Внутри Canon Rebel T4I DSLR Archived 2012-09-21 на машине Wayback Chipworks
^ Амадео, Рон (17 октября 2017 г.). «Сюрприз! Pixel 2 скрывает пользовательский Google Soc для обработки изображений» . Ars Technica . Получено 19 октября 2017 года .
^ «7.8. Институт обработки изображений Intel 6 (IPU6) Драйвер ввода - документация Linux ядра» . docs.kernel.org . Получено 2024-08-30 .
^ Leac Решение системы обработки изображений - Fujitsu Microelectronics
^ and Archived 2016-05-21 Aceed Milbeaut

[1] Цифровая обработка сигнала и изображений

[2] Основы цифровой обработки изображений

[3] «Руковочные продукты» . 11 марта 2006 года. Архивировано с оригинала 11 марта 2006 года . Получено 14 сентября 2019 года .

[4] Внутри Canon Rebel T4I DSLR Archived 2012-09-21 на машине Wayback Chipworks

[5] Амадео, Рон (17 октября 2017 г.). «Сюрприз! Pixel 2 скрывает пользовательский Google Soc для обработки изображений» . Ars Technica . Получено 19 октября 2017 года .

[6] «7.8. Институт обработки изображений Intel 6 (IPU6) Драйвер ввода - документация Linux ядра» . docs.kernel.org . Получено 2024-08-30 .

[7] Leac Решение системы обработки изображений - Fujitsu Microelectronics

[8] Archived 2016-05-21 Aceed Milbeaut

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

v Т и Система на чипе (SOC)
Компоненты	Микропроцессор ядер контроллеры Графическая обработка блок (графический процессор) Процессор изображения СМИ процессор У вас есть ускоритель Асика
Типы	Сеть на чипе (NOC) Многопроцессорная SOC (MPSOC) Программируемый SOC (PSOC) Микроконтроллер (MCU)
Альтернативы	Модуль многоошип (MCM) Система в пакете (SIP) Пакет на пакете (POP)
Связанный	Процессор хронология дизайн Cpld Цифровой процессор сигнала (DSP) Встроенные системы FPGA Список поставщиков SOC Мобильные вычисления Единая память