Блок обработки изображений

Блок обработки изображений ( VPU ) — это (по состоянию на 2023 год) новый класс микропроцессоров ; это особый тип ускорителя искусственного интеллекта , предназначенный для ускорения машинного зрения . задач ^[1]^[2]

Обзор

Блоки обработки изображений отличаются от графических процессоров (которые специализируются на кодировании и декодировании видео ) своей пригодностью для запуска алгоритмов машинного зрения, таких как CNN ( сверточные нейронные сети ), SIFT ( масштабно-инвариантное преобразование признаков ) и им подобных.

Они могут включать в себя прямые интерфейсы для получения данных с камер (минуя любые внешние буферы) и уделять больше внимания внутрикристальному потоку данных между множеством параллельных исполнительных блоков с блокнотной памятью , например многоядерный DSP . Но, как и блоки обработки видео, они могут быть ориентированы на низкой точности арифметику с фиксированной запятой для обработки изображений .

Контраст с графическими процессорами

Они отличаются от графических процессоров , которые содержат специализированное оборудование для растеризации и отображения текстур (для 3D-графики ) и чья архитектура памяти оптимизирована для манипулирования растровыми изображениями во внешней памяти (чтение текстур и изменение кадровых буферов с шаблонами произвольного доступа ). . Визуальные процессоры оптимизированы для производительности на ватт, тогда как графические процессоры в основном ориентированы на абсолютную производительность.

Целевыми рынками являются робототехника , Интернет вещей (IoT), новые классы цифровых камер для виртуальной и дополненной реальности , интеллектуальные камеры и интеграция ускорения машинного зрения в смартфоны и другие мобильные устройства .

Примеры

Movidius Myriad X — процессор машинного зрения третьего поколения в линейке Myriad VPU от корпорации Intel . ^[3]
Movidius Myriad 2 , который находит применение в Google Project Tango , ^[4] Google Clips и дроны DJI ^[5]
Pixel Visual Core (PVC) — полностью программируемый процессор изображений , видения и искусственного интеллекта для мобильных устройств.
Microsoft HoloLens , который включает в себя ускоритель, называемый голографическим процессором (дополняющим его ЦП и ГП), предназначенный для интерпретации входных данных камеры для ускорения отслеживания окружающей среды и видения для приложений дополненной реальности. ^[6]
Eyeriss , разработка Массачусетского технологического института, предназначенная для работы сверточных нейронных сетей . ^[7]
NeuFlow — разработка Янна ЛеКуна (реализованная на FPGA ) для ускорения сверток с использованием архитектуры потока данных.
Mobileye EyeQ от Mobileye
Programmable Vision Accelerator (PVA), 7-поточный процессор VLIW Vision, разработанный Nvidia .

Более широкая категория

Некоторые процессоры не описываются как VPU, но в равной степени применимы для задач машинного зрения. Они могут образовывать более широкую категорию ускорителей искусственного интеллекта (к которой также могут принадлежать VPU), однако по состоянию на 2016 год единого мнения относительно названия нет:

IBM TrueNorth , нейроморфный процессор, предназначенный для аналогичных задач распознавания образов данных датчиков и интеллектуальных задач, включая видео/аудио.
Процессор Qualcomm Zeroth Neural , еще один представитель нового класса чипов, ориентированных на датчики и искусственный интеллект. ^[8]
Все модели Intel Meteor Lake процессоров оснащены встроенным универсальным процессорным блоком (VPU) для ускорения вывода для компьютерного зрения и глубокого обучения. ^[9]

См. также

Adapteva Epiphany , многоядерный процессор с аналогичным акцентом на внутрикристальный поток данных, ориентированный на производительность 32-битных операций с плавающей запятой.
CELL , многоядерный процессор с функциями, достаточно соответствующими процессорам машинного зрения (SIMD-инструкции и типы данных, подходящие для видео, а также встроенный DMA между блокнотной памятью)
Сопроцессор
Графический процессор , также часто используемый для запуска алгоритмов машинного зрения. Архитектура NVidia Pascal включает поддержку FP16, чтобы обеспечить лучшее соотношение точности и стоимости для рабочих нагрузок искусственного интеллекта.
MPSoC
OpenCL
OpenVX
Физический процессор , прошлая попытка дополнить CPU и GPU ускорителем с высокой пропускной способностью.
Tensor Processing Unit — чип, используемый внутри компании Google для ускорения вычислений ИИ.

Ссылки

^ Сет Коланер; Мэтью Хамрик (3 января 2016 г.). «Третий тип процессора для AR/VR: Movidius Myriad 2 VPU» . Аппаратное обеспечение Тома .
^ Прасид Банердже (28 марта 2016 г.). «Рост VPU: взгляд на машины» . Цифра.в .
^ «Модули обработки изображений Intel® Movidius™ (VPU)» . Интел .
^ Веклер, Адриан. «Дублинская технологическая фирма Movidius создаст новую гарнитуру виртуальной реальности Google» . Независимый.т.е . Проверено 15 марта 2016 г.
^ «DJI представляет в линейке два новых флагманских дрона с множеством двух визуальных процессоров — технология машинного зрения — Movidius» . www.movidius.com .
^ Фред О'Коннор (1 мая 2015 г.). «Microsoft углубляется в детали HoloLens: раскрыта роль «голографического процессора»» . ПКМир .
^ Чен, Ю-Синь; Кришна, Тушар; Эмер, Джоэл и Сзе, Вивьен (2016). «Eyeriss: энергоэффективный реконфигурируемый ускоритель для глубоких сверточных нейронных сетей» . Международная конференция IEEE по твердотельным схемам, ISSCC 2016, Сборник технических документов . стр. 262–263.
^ «Представляем процессоры Qualcomm Zeroth: вычисления, основанные на мозге» . Квалкомм . 10 октября 2013 г.
^ «Intel внедрит процессорный блок VPU в чипы Meteor Lake 14-го поколения» . ПКМАГ .

Внешние ссылки

[1] Сет Коланер; Мэтью Хамрик (3 января 2016 г.). «Третий тип процессора для AR/VR: Movidius Myriad 2 VPU» . Аппаратное обеспечение Тома .

[2] Прасид Банердже (28 марта 2016 г.). «Рост VPU: взгляд на машины» . Цифра.в .

[3] «Модули обработки изображений Intel® Movidius™ (VPU)» . Интел .

[RiseOfVPUs-4] Веклер, Адриан. «Дублинская технологическая фирма Movidius создаст новую гарнитуру виртуальной реальности Google» . Независимый.т.е . Проверено 15 марта 2016 г.

[5] «DJI представляет в линейке два новых флагманских дрона с множеством двух визуальных процессоров — технология машинного зрения — Movidius» . www.movidius.com .

[6] Фред О'Коннор (1 мая 2015 г.). «Microsoft углубляется в детали HoloLens: раскрыта роль «голографического процессора»» . ПКМир .

[7] Чен, Ю-Синь; Кришна, Тушар; Эмер, Джоэл и Сзе, Вивьен (2016). «Eyeriss: энергоэффективный реконфигурируемый ускоритель для глубоких сверточных нейронных сетей» . Международная конференция IEEE по твердотельным схемам, ISSCC 2016, Сборник технических документов . стр. 262–263.

[8] «Представляем процессоры Qualcomm Zeroth: вычисления, основанные на мозге» . Квалкомм . 10 октября 2013 г.

[9] «Intel внедрит процессорный блок VPU в чипы Meteor Lake 14-го поколения» . ПКМАГ .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]