Камера событий
Камера событий , также известная как нейроморфная камера , [1] кремниевая сетчатка [2] или датчик динамического видения , [3] представляет собой датчик изображения , который реагирует на локальные изменения яркости. Камеры событий не захватывают изображения с использованием затвора , как это делают обычные (рамочные) камеры . Вместо этого каждый пиксель внутри камеры событий работает независимо и асинхронно, сообщая об изменениях яркости по мере их возникновения и в противном случае храня молчание.
Функциональное описание
[ редактировать ]Пиксели событийной камеры независимо реагируют на изменения яркости по мере их возникновения. [4] Каждый пиксель хранит эталонный уровень яркости и постоянно сравнивает его с текущим уровнем яркости. Если разница в яркости превышает пороговое значение, этот пиксель сбрасывает свой опорный уровень и генерирует событие: дискретный пакет, содержащий адрес пикселя и временную метку. События также могут содержать полярность (увеличение или уменьшение) изменения яркости или мгновенное измерение уровня освещенности, [5] в зависимости от конкретной модели датчика. Таким образом, камеры событий выводят асинхронный поток событий, вызванных изменениями освещенности сцены.
Камеры событий обычно сообщают временные метки с временным разрешением в микросекунды, динамическим диапазоном 120 дБ, меньшей недодержкой/передержкой и размытием изображения при движении. [4] [6] чем кадровые камеры. Это позволяет им более точно отслеживать движение объекта и камеры ( оптический поток ). Они дают информацию в оттенках серого. Изначально (2014 г.) разрешение было ограничено 100 пикселями. Более поздняя запись достигла разрешения 640x480 в 2019 году. Поскольку отдельные пиксели срабатывают независимо, камеры событий кажутся подходящими для интеграции с асинхронными вычислительными архитектурами, такими как нейроморфные вычисления . Независимость пикселей позволяет этим камерам справляться со сценами с ярко и тускло освещенными областями без необходимости усреднения по ним. [7] Важно отметить, что хотя камера сообщает о событиях с микросекундным разрешением, фактическое временное разрешение (или, альтернативно, полоса пропускания для обнаружения) составляет от десятков микросекунд до нескольких миллисекунд – в зависимости от контрастности сигнала, условий освещения и конструкция датчика. [8]
Датчик | Динамический
диапазон (дБ) |
Эквивалент
частота кадров (кадров в секунду) |
Пространственный
разрешение (МП) |
Власть
потребление (мВт) |
---|---|---|---|---|
Человеческий глаз | 30–40 | 200-300* | - | 10 [9] |
Высококачественная зеркальная камера ( Nikon D850 ) | 44.6 [10] | 120 | 2–8 | - |
Сверхскоростная камера (Phantom v2640) [11] | 64 | 12,500 | 0.3–4 | - |
Камера событий [12] | 120 | 50,000 - 300,000** | 0.1–1 | 30 |
* Указывает временное разрешение человеческого восприятия, включая время когнитивной обработки. **Относится к скорости распознавания изменений и зависит от модели сигнала и датчика.
Типы
[ редактировать ]Датчики временного контраста (например, DVS [4] (Датчик динамического видения), или sDVS [13] (чувствительный-ДВС)) выдают события, указывающие на полярность (увеличение или уменьшение яркости), тогда как временные датчики изображения [5] укажите мгновенную интенсивность каждого события. ДЭВИС [14] (Динамический датчик изображения и датчик изображения с активными пикселями) содержит датчик активных пикселей с глобальным затвором (APS) в дополнение к датчику динамического видения (DVS), который использует тот же массив фотодатчиков . Таким образом, он имеет возможность создавать кадры изображений наряду с событиями. Многие камеры событий дополнительно оснащены инерциальным измерительным блоком (IMU).
Ретиноморфные сенсоры
[ редактировать ]Другой класс сенсоров событий — это так называемые ретиноморфные сенсоры. Хотя термин «ретиноморфный» использовался для описания датчиков событий в целом, [15] [16] в 2020 году оно было принято в качестве названия конкретной конструкции датчика, основанной на резисторе и светочувствительном конденсаторе . последовательно соединенных [17] Эти конденсаторы отличаются от фотоконденсаторов, которые используются для хранения солнечной энергии . [18] вместо этого они предназначены для изменения емкости при освещении. Они слегка заряжаются/разряжаются при изменении емкости, но в остальном остаются в равновесии. Когда светочувствительный конденсатор включен последовательно с резистором и к цепи приложено входное напряжение, в результате получается датчик, который выдает напряжение при изменении интенсивности света, но в противном случае этого не происходит.
В отличие от других датчиков событий (обычно фотодиода и некоторых других элементов схемы), эти датчики сами по себе генерируют сигнал. Следовательно, их можно рассматривать как единое устройство, которое дает тот же результат, что и небольшая схема в других камерах событий. Ретиноморфные сенсоры на сегодняшний день изучаются только в исследовательской среде. [19] [20] [21] [22]
Алгоритмы
[ редактировать ]Реконструкция изображения
[ редактировать ]Реконструкция изображений по событиям может создавать изображения и видео с широким динамическим диапазоном, высоким временным разрешением и уменьшенным размытием изображения. Реконструкция изображения может быть достигнута с помощью временного сглаживания, например, фильтра верхних частот или дополнительного фильтра. [23] Альтернативные методы включают оптимизацию. [24] и оценка градиента [25] с последующим интегрированием по Пуассону .
Пространственные свертки
[ редактировать ]Концепция пространственной событийно-ориентированной свертки была постулирована в 1999 году. [26] (до DVS), но позже был обобщен в рамках проекта ЕС CAVIAR. [27] (во время которого был изобретен DVS) путем проецирования по событию произвольного ядра свертки вокруг координаты события в массиве пикселей, которые интегрируются и активируются. [28] Расширение многоядерных сверток, управляемых событиями [29] управляемые событиями позволяет использовать глубокие сверточные нейронные сети, . [30]
Обнаружение движения и отслеживание
[ редактировать ]Сегментация и обнаружение движущихся объектов, просматриваемых камерой событий, может показаться тривиальной задачей, поскольку ее выполняет встроенный датчик. Однако эти задачи сложны, поскольку события несут мало информации. [31] и не содержат полезных визуальных функций, таких как текстура и цвет. [32] Эти задачи становятся еще более сложными, если учесть движущуюся камеру. [31] потому что события запускаются повсюду на плоскости изображения, создавая движущиеся объекты и статическую сцену (чье видимое движение вызвано эго-движением камеры). Некоторые из недавних подходов к решению этой проблемы включают в себя использование моделей компенсации движения. [33] [34] и традиционные алгоритмы кластеризации . [35] [36] [32] [37]
Возможные применения
[ редактировать ]Потенциальные приложения включают большинство задач, классически соответствующих обычной камере, но с упором на задачи машинного зрения (такие как распознавание объектов, автономные транспортные средства и робототехника). [21] ). Военные США рассматривают возможность использования инфракрасных камер и камер для других событий из-за их более низкого энергопотребления и меньшего выделения тепла. [7]
Учитывая преимущества, которыми обладает камера событий по сравнению с обычными датчиками изображения, она считается подходящей для приложений, требующих низкого энергопотребления, малой задержки и сложности стабилизации прямой видимости камеры. Эти приложения включают в себя вышеупомянутые автономные системы, а также космическую съемку, безопасность, оборону и промышленный мониторинг. Примечательно, что, хотя исследования по распознаванию цвета с помощью камер событий продолжаются, [38] его пока неудобно использовать в приложениях, требующих определения цвета.
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Ли, Хонмин; Лю, Ханьчао; Цзи, Сянъян; Ли, Гоци; Ши, Лупин (2017). «CIFAR10-DVS: набор данных потока событий для классификации объектов» . Границы в неврологии . 11 : 309. дои : 10.3389/fnins.2017.00309 . ISSN 1662-453X . ПМЦ 5447775 . ПМИД 28611582 .
- ^ Сармади, Хамид; Муньос-Салинас, Рафаэль; Оливарес-Мендес, Мигель А.; Медина-Карнисер, Рафаэль (2021). «Обнаружение двоичных квадратных реперных маркеров с помощью камеры событий» . Доступ IEEE . 9 : 27813–27826. arXiv : 2012.06516 . Бибкод : 2021IEEA...927813S . дои : 10.1109/ACCESS.2021.3058423 . ISSN 2169-3536 . S2CID 228375825 .
- ^ Лю, Мин; Дельбрюк, Тоби (май 2017 г.). «Оптический поток согласования блоков для датчиков динамического зрения: алгоритм и реализация FPGA». Международный симпозиум IEEE по схемам и системам (ISCAS) , 2017 г. стр. 1–4. arXiv : 1706.05415 . дои : 10.1109/ISCAS.2017.8050295 . ISBN 978-1-4673-6853-7 . S2CID 2283149 . Проверено 27 июня 2021 г.
- ^ Jump up to: а б с Лихтштайнер, П.; Пош, К.; Дельбрюк, Т. (февраль 2008 г.). «Асинхронный датчик временного контраста с разрешением 128 × 128, 120 дБ, задержкой 15 мкс» (PDF) . Журнал IEEE твердотельных схем . 43 (2): 566–576. Бибкод : 2008IJSSC..43..566L . дои : 10.1109/JSSC.2007.914337 . ISSN 0018-9200 . S2CID 6119048 . Архивировано из оригинала (PDF) 3 мая 2021 г. Проверено 6 декабря 2019 г.
- ^ Jump up to: а б Пош, К.; Матолин, Д.; Вольгенант, Р. (январь 2011 г.). «Безкадровый датчик изображения QVGA с динамическим диапазоном 143 дБ и ШИМ со сжатием видео на уровне пикселей без потерь и CDS во временной области». Журнал IEEE твердотельных схем . 46 (1): 259–275. Бибкод : 2011IJSSC..46..259P . дои : 10.1109/JSSC.2010.2085952 . ISSN 0018-9200 . S2CID 21317717 .
- ^ Лонгинотти, Лука. «Характеристики продукции» . инициация . Архивировано из оригинала 2 апреля 2019 г. Проверено 21 апреля 2019 г.
- ^ Jump up to: а б «Новый тип фотоаппарата» . Экономист . 2022-01-29. ISSN 0013-0613 . Проверено 2 февраля 2022 г.
- ^ Ху, Юхуан; Лю, Ши-Чи; Дельбрюк, Тоби (19 апреля 2021 г.). «v2e: от видеокадров к реалистичным событиям DVS». arXiv : 2006.07722 [ cs.CV ].
- ^ Скорка, Орит (1 июля 2011 г.). «На пути к цифровой камере, способной конкурировать с человеческим глазом». Журнал электронных изображений . 20 (3): 033009–033009–18. Бибкод : 2011JEI....20c3009S . дои : 10.1117/1.3611015 . ISSN 1017-9909 . S2CID 9340738 .
- ^ ДхО. «Nikon D850: Тесты и обзоры | DxOMark» . www.dxomark.com . Проверено 22 апреля 2019 г.
- ^ «Фантом v2640» . www.phantomhighspeed.com . Проверено 22 апреля 2019 г.
- ^ Лонгинотти, Лука. «Характеристики продукции» . инициация . Архивировано из оригинала 2 апреля 2019 г. Проверено 22 апреля 2019 г.
- ^ Серрано-Готарредона, Т.; Линарес-Барранко, Б. (март 2013 г.). «Асинхронный безрамочный датчик динамического зрения размером 128x128, контрастная чувствительность 1,5%, FPN 0,9%, задержка 3 мкс, 4 мВт с использованием трансимпедансных усилителей» (PDF) . Журнал IEEE твердотельных схем . 48 (3): 827–838. Бибкод : 2013IJSSC..48..827S . дои : 10.1109/JSSC.2012.2230553 . ISSN 0018-9200 . S2CID 6686013 .
- ^ Брандли, К.; Бернер, Р.; Ян, М.; Лю, С.; Дельбрюк, Т. (октябрь 2014 г.). «Датчик пространственно-временного видения с глобальным затвором, 240 × 180, 130 дБ, задержка 3 мкс» . Журнал IEEE твердотельных схем . 49 (10): 2333–2341. Бибкод : 2014IJSSC..49.2333B . дои : 10.1109/JSSC.2014.2342715 . ISSN 0018-9200 .
- ^ Боахен, К. (1996). «Ретиноморфные системы зрения» . Материалы Пятой международной конференции по микроэлектронике для нейронных сетей . стр. 2–14. дои : 10.1109/MNNFS.1996.493766 . ISBN 0-8186-7373-7 . S2CID 62609792 .
- ^ Пош, Кристоф; Серрано-Готарредона, Тереза; Линарес-Барранко, Бернабе; Дельбрюк, Тоби (2014). «Ретиноморфные датчики зрения на основе событий: биотехнологические камеры с резкой выходной мощностью» . Труды IEEE . 102 (10): 1470–1484. дои : 10.1109/JPROC.2014.2346153 . hdl : 11441/102353 . ISSN 1558-2256 . S2CID 11513955 .
- ^ Трухильо Эррера, Синтия; Лабрам, Джон Г. (07 декабря 2020 г.). «Перовскитный ретиноморфный сенсор» . Письма по прикладной физике . 117 (23): 233501. Бибкод : 2020ApPhL.117w3501T . дои : 10.1063/5.0030097 . ISSN 0003-6951 . S2CID 230546095 .
- ^ Миясака, Цутому; Мураками, Такуро Н. (25 октября 2004 г.). «Фотоконденсатор: эффективный самозарядный конденсатор для прямого хранения солнечной энергии» . Письма по прикладной физике . 85 (17): 3932–3934. Бибкод : 2004АпФЛ..85.3932М . дои : 10.1063/1.1810630 . ISSN 0003-6951 .
- ^ «Датчик перовскита видит больше как человеческий глаз» . Мир физики . 18 января 2021 г. Проверено 28 октября 2021 г.
- ^ «Простые сенсоры, похожие на глаза, могут сделать системы искусственного интеллекта более эффективными» . Внутри науки . 8 декабря 2020 г. Проверено 28 октября 2021 г.
- ^ Jump up to: а б Хэмблинг, Дэвид. «Зрение ИИ можно улучшить с помощью датчиков, имитирующих человеческие глаза» . Новый учёный . Проверено 28 октября 2021 г.
- ^ «Глаз для ИИ: оптическое устройство имитирует сетчатку человека» . Журнал BBC Science Focus . Проверено 28 октября 2021 г.
- ^ Jump up to: а б Шерлинк, Седрик; Барнс, Ник; Махони, Роберт (2019). «Непрерывная оценка интенсивности с использованием камер событий». Компьютерное зрение – ACCV 2018 . Конспекты лекций по информатике. Том. 11365. Международное издательство Springer. стр. 308–324. arXiv : 1811.00386 . дои : 10.1007/978-3-030-20873-8_20 . ISBN 9783030208738 . S2CID 53182986 .
- ^ Пан, Лиюань; Шерлинк, Седрик; Ю, Синь; Хартли, Ричард; Лю, Мяомяо; Дай, Ючао (июнь 2019 г.). «Оживление размытого кадра с высокой частотой кадров с помощью камеры событий». Конференция IEEE/CVF 2019 по компьютерному зрению и распознаванию образов (CVPR) . Лонг-Бич, Калифорния, США: IEEE. стр. 6813–6822. arXiv : 1811.10180 . дои : 10.1109/CVPR.2019.00698 . ISBN 978-1-7281-3293-8 . S2CID 53749928 .
- ^ Шерлинк, Седрик; Барнс, Ник; Махони, Роберт (апрель 2019 г.). «Асинхронная свертка пространственных изображений для камер событий». Письма IEEE по робототехнике и автоматизации . 4 (2): 816–822. arXiv : 1812.00438 . дои : 10.1109/LRA.2019.2893427 . ISSN 2377-3766 . S2CID 59619729 .
- ^ Серрано-Готарредона, Т.; Андреу, А.; Линарес-Барранко, Б. (сентябрь 1999 г.). «Архитектура фильтрации изображений AER для систем обработки изображений». Транзакции IEEE в схемах и системах I: Фундаментальная теория и приложения . 46 (9): 1064–1071. дои : 10.1109/81.788808 . hdl : 11441/76405 . ISSN 1057-7122 .
- ^ Серрано-Готарредона, Р.; и др. (сентябрь 2009 г.). «ИКРА: 45 тыс. нейронов, 5М синапсов, 12G-соединений в секунду, аппаратная система AER сенсорной обработки-обучения-приведения в действие для высокоскоростного визуального распознавания и отслеживания объектов». Транзакции IEEE в нейронных сетях . 20 (9): 1417–1438. дои : 10.1109/ТНН.2009.2023653 . hdl : 10261/86527 . ISSN 1045-9227 . ПМИД 19635693 . S2CID 6537174 .
- ^ Серрано-Готарредона, Р.; Серрано-Готарредона, Т.; Акоста-Хименес, А.; Линарес-Барранко, Б. (декабрь 2006 г.). «Нейроморфный микрочип коркового слоя для систем машинного зрения с обработкой событий на основе импульсов». Транзакции IEEE в схемах и системах I: Регулярные статьи . 53 (12): 2548–2566. дои : 10.1109/TCSI.2006.883843 . hdl : 10261/7823 . ISSN 1549-8328 . S2CID 8287877 .
- ^ Камуньяс-Меса, Л.; и др. (февраль 2012 г.). «Модуль многоядерного процессора свертки, управляемый событиями, для датчиков технического зрения, управляемых событиями». Журнал IEEE твердотельных схем . 47 (2): 504–517. Бибкод : 2012IJSSC..47..504C . дои : 10.1109/JSSC.2011.2167409 . hdl : 11441/93004 . ISSN 0018-9200 . S2CID 23238741 .
- ^ Перес-Карраско, Х.А.; Чжао, Б.; Серрано, К.; Ача, Б.; Серрано-Готарредона, Т.; Чен, С.; Линарес-Барранко, Б. (ноябрь 2013 г.). «Сопоставление систем видения, управляемых кадрами, с системами машинного зрения, управляемыми событиями, с помощью низкоскоростного кодирования и обработки совпадений. Применение к свёрточным сетям с прямой связью» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 35 (11): 2706–2719. дои : 10.1109/TPAMI.2013.71 . hdl : 11441/79657 . ISSN 0162-8828 . ПМИД 24051730 . S2CID 170040 .
- ^ Jump up to: а б Гальего, Гильермо; Дельбрюк, Тоби; Орчард, Гаррик Майкл; Бартолоцци, Кьяра; Таба, Брайан; Ченси, Андреа; Лейтенеггер, Стефан; Дэвисон, Эндрю; Конрад, Йорг; Данилидис, Костас; Скарамуцца, Давиде (2020). «Видение, основанное на событиях: опрос» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . ПП (1): 154–180. arXiv : 1904.08405 . дои : 10.1109/TPAMI.2020.3008413 . ISSN 1939-3539 . ПМИД 32750812 . S2CID 234740723 .
- ^ Jump up to: а б Мондал, Аниндья; Р, Шашант; Хиральдо, Джони Х.; Бауманс, Тьерри; Чоудхури, Ананда С. (2021). «Обнаружение движущихся объектов для визуализации на основе событий с использованием спектральной кластеризации графов» . Международная конференция IEEE/CVF по компьютерному зрению 2021 года (ICCVW) . стр. 876–884. arXiv : 2109.14979 . дои : 10.1109/ICCVW54120.2021.00103 . ISBN 978-1-6654-0191-3 . S2CID 238227007 – через IEEE Xplore.
- ^ Митрохин Антон; Фермюллер, Корнелия; Парамешвара, Четан; Алоимонос, Яннис (октябрь 2018 г.). «Обнаружение и отслеживание движущихся объектов на основе событий» . Международная конференция IEEE/RSJ по интеллектуальным роботам и системам (IROS) 2018 г. Мадрид: IEEE. стр. 1–9. arXiv : 1803.04523 . дои : 10.1109/IROS.2018.8593805 . ISBN 978-1-5386-8094-0 . S2CID 3845250 .
- ^ Стоффреген, Тимо; Гальего, Гильермо; Драммонд, Том; Климан, Линдси; Скарамуцца, Давиде (2019). «Сегментация движения на основе событий с помощью компенсации движения» . Международная конференция IEEE/CVF по компьютерному зрению (ICCV) 2019 . стр. 7244–7253. arXiv : 1904.01293 . дои : 10.1109/ICCV.2019.00734 . ISBN 978-1-7281-4803-8 . S2CID 91183976 .
- ^ Пьентковска, Ева; Бельбахир, Ахмед Набиль; Шрамль, Стефан; Гелауц, Маргрит (июнь 2012 г.). «Пространственно-временное отслеживание нескольких людей с помощью датчика динамического видения» . Конференция IEEE Computer Society 2012 г., семинары по компьютерному зрению и распознаванию образов . стр. 35–40. дои : 10.1109/CVPRW.2012.6238892 . ISBN 978-1-4673-1612-5 . S2CID 310741 .
- ^ Чен, Гуан; Цао, Ху; Аафак, Мухаммед; Чен, Цзеэн; Да, Канбо; Рёрбейн, Флориан; Конрадт, Йорг; Чен, Кай; Бин, Чжэньшань; Лю, Синбо; Хинц, Гереон (2 декабря 2018 г.). «Обнаружение и отслеживание нескольких транспортных средств на основе нейроморфного зрения для интеллектуальной транспортной системы» . Журнал передового транспорта . 2018 : e4815383. дои : 10.1155/2018/4815383 . ISSN 0197-6729 .
- ^ Мондал, Аниндья; Дас, Маюхмали (08.11.2021). «Обнаружение движущихся объектов для визуализации на основе событий с использованием кластеризации k-средних». 2021 IEEE 8-я Международная конференция секции по электротехнике, электронике и вычислительной технике (UPCON) секции штата Уттар-Прадеш . стр. 1–6. arXiv : 2109.01879 . дои : 10.1109/UPCON52273.2021.9667636 . ISBN 978-1-6654-0962-9 . S2CID 237420620 .
- ^ «CED: набор данных цветной камеры событий» . рпг.ифи.уж.ч . Проверено 8 апреля 2024 г.