Jump to content

Камера событий

(Перенаправлено с Кремниевой сетчатки )
Камера событий Пророчества.
Камера событий Пророчества.

Камера событий , также известная как нейроморфная камера , [1] кремниевая сетчатка [2] или датчик динамического видения , [3] представляет собой датчик изображения , который реагирует на локальные изменения яркости. Камеры событий не захватывают изображения с использованием затвора , как это делают обычные (рамочные) камеры . Вместо этого каждый пиксель внутри камеры событий работает независимо и асинхронно, сообщая об изменениях яркости по мере их возникновения и в противном случае храня молчание.

Функциональное описание

[ редактировать ]

Пиксели событийной камеры независимо реагируют на изменения яркости по мере их возникновения. [4] Каждый пиксель хранит эталонный уровень яркости и постоянно сравнивает его с текущим уровнем яркости. Если разница в яркости превышает пороговое значение, этот пиксель сбрасывает свой опорный уровень и генерирует событие: дискретный пакет, содержащий адрес пикселя и временную метку. События также могут содержать полярность (увеличение или уменьшение) изменения яркости или мгновенное измерение уровня освещенности, [5] в зависимости от конкретной модели датчика. Таким образом, камеры событий выводят асинхронный поток событий, вызванных изменениями освещенности сцены.

Сравнение данных, полученных с событийной камеры и обычной камеры.

Камеры событий обычно сообщают временные метки с временным разрешением в микросекунды, динамическим диапазоном 120 дБ, меньшей недодержкой/передержкой и размытием изображения при движении. [4] [6] чем кадровые камеры. Это позволяет им более точно отслеживать движение объекта и камеры ( оптический поток ). Они дают информацию в оттенках серого. Изначально (2014 г.) разрешение было ограничено 100 пикселями. Более поздняя запись достигла разрешения 640x480 в 2019 году. Поскольку отдельные пиксели срабатывают независимо, камеры событий кажутся подходящими для интеграции с асинхронными вычислительными архитектурами, такими как нейроморфные вычисления . Независимость пикселей позволяет этим камерам справляться со сценами с ярко и тускло освещенными областями без необходимости усреднения по ним. [7] Важно отметить, что хотя камера сообщает о событиях с микросекундным разрешением, фактическое временное разрешение (или, альтернативно, полоса пропускания для обнаружения) составляет от десятков микросекунд до нескольких миллисекунд – в зависимости от контрастности сигнала, условий освещения и конструкция датчика. [8]

Типичные характеристики датчика изображения
Датчик Динамический

диапазон (дБ)

Эквивалент

частота кадров (кадров в секунду)

Пространственный

разрешение (МП)

Власть

потребление (мВт)

Человеческий глаз 30–40 200-300* - 10 [9]
Высококачественная зеркальная камера ( Nikon D850 ) 44.6 [10] 120 2–8 -
Сверхскоростная камера (Phantom v2640) [11] 64 12,500 0.3–4 -
Камера событий [12] 120 50,000 - 300,000** 0.1–1 30

* Указывает временное разрешение человеческого восприятия, включая время когнитивной обработки. **Относится к скорости распознавания изменений и зависит от модели сигнала и датчика.

Датчики временного контраста (например, DVS [4] (Датчик динамического видения), или sDVS [13] (чувствительный-ДВС)) выдают события, указывающие на полярность (увеличение или уменьшение яркости), тогда как временные датчики изображения [5] укажите мгновенную интенсивность каждого события. ДЭВИС [14] (Динамический датчик изображения и датчик изображения с активными пикселями) содержит датчик активных пикселей с глобальным затвором (APS) в дополнение к датчику динамического видения (DVS), который использует тот же массив фотодатчиков . Таким образом, он имеет возможность создавать кадры изображений наряду с событиями. Многие камеры событий дополнительно оснащены инерциальным измерительным блоком (IMU).

Ретиноморфные сенсоры

[ редактировать ]
Слева: схематическое поперечное сечение светочувствительного конденсатора. В центре: принципиальная схема ретиноморфного датчика со светочувствительным конденсатором вверху. Справа: ожидаемый переходный ответ ретиноморфного сенсора на применение постоянного освещения.

Другой класс сенсоров событий — это так называемые ретиноморфные сенсоры. Хотя термин «ретиноморфный» использовался для описания датчиков событий в целом, [15] [16] в 2020 году оно было принято в качестве названия конкретной конструкции датчика, основанной на резисторе и светочувствительном конденсаторе . последовательно соединенных [17] Эти конденсаторы отличаются от фотоконденсаторов, которые используются для хранения солнечной энергии . [18] вместо этого они предназначены для изменения емкости при освещении. Они слегка заряжаются/разряжаются при изменении емкости, но в остальном остаются в равновесии. Когда светочувствительный конденсатор включен последовательно с резистором и к цепи приложено входное напряжение, в результате получается датчик, который выдает напряжение при изменении интенсивности света, но в противном случае этого не происходит.

В отличие от других датчиков событий (обычно фотодиода и некоторых других элементов схемы), эти датчики сами по себе генерируют сигнал. Следовательно, их можно рассматривать как единое устройство, которое дает тот же результат, что и небольшая схема в других камерах событий. Ретиноморфные сенсоры на сегодняшний день изучаются только в исследовательской среде. [19] [20] [21] [22]

Алгоритмы

[ редактировать ]
Реконструкция ночного пробега
Пешеход бежит ночью перед фарами автомобиля. Слева: изображение, снятое обычной камерой, демонстрирует сильное размытие при движении и недодержку. Справа: изображение, реконструированное путем объединения левого изображения с событиями с камеры событий. [23]

Реконструкция изображения

[ редактировать ]

Реконструкция изображений по событиям может создавать изображения и видео с широким динамическим диапазоном, высоким временным разрешением и уменьшенным размытием изображения. Реконструкция изображения может быть достигнута с помощью временного сглаживания, например, фильтра верхних частот или дополнительного фильтра. [23] Альтернативные методы включают оптимизацию. [24] и оценка градиента [25] с последующим интегрированием по Пуассону .

Пространственные свертки

[ редактировать ]

Концепция пространственной событийно-ориентированной свертки была постулирована в 1999 году. [26] (до DVS), но позже был обобщен в рамках проекта ЕС CAVIAR. [27] (во время которого был изобретен DVS) путем проецирования по событию произвольного ядра свертки вокруг координаты события в массиве пикселей, которые интегрируются и активируются. [28] Расширение многоядерных сверток, управляемых событиями [29] управляемые событиями позволяет использовать глубокие сверточные нейронные сети, . [30]

Обнаружение движения и отслеживание

[ редактировать ]

Сегментация и обнаружение движущихся объектов, просматриваемых камерой событий, может показаться тривиальной задачей, поскольку ее выполняет встроенный датчик. Однако эти задачи сложны, поскольку события несут мало информации. [31] и не содержат полезных визуальных функций, таких как текстура и цвет. [32] Эти задачи становятся еще более сложными, если учесть движущуюся камеру. [31] потому что события запускаются повсюду на плоскости изображения, создавая движущиеся объекты и статическую сцену (чье видимое движение вызвано эго-движением камеры). Некоторые из недавних подходов к решению этой проблемы включают в себя использование моделей компенсации движения. [33] [34] и традиционные алгоритмы кластеризации . [35] [36] [32] [37]

Возможные применения

[ редактировать ]

Потенциальные приложения включают большинство задач, классически соответствующих обычной камере, но с упором на задачи машинного зрения (такие как распознавание объектов, автономные транспортные средства и робототехника). [21] ). Военные США рассматривают возможность использования инфракрасных камер и камер для других событий из-за их более низкого энергопотребления и меньшего выделения тепла. [7]

Учитывая преимущества, которыми обладает камера событий по сравнению с обычными датчиками изображения, она считается подходящей для приложений, требующих низкого энергопотребления, малой задержки и сложности стабилизации прямой видимости камеры. Эти приложения включают в себя вышеупомянутые автономные системы, а также космическую съемку, безопасность, оборону и промышленный мониторинг. Примечательно, что, хотя исследования по распознаванию цвета с помощью камер событий продолжаются, [38] его пока неудобно использовать в приложениях, требующих определения цвета.

См. также

[ редактировать ]
  1. ^ Ли, Хонмин; Лю, Ханьчао; Цзи, Сянъян; Ли, Гоци; Ши, Лупин (2017). «CIFAR10-DVS: набор данных потока событий для классификации объектов» . Границы в неврологии . 11 : 309. дои : 10.3389/fnins.2017.00309 . ISSN   1662-453X . ПМЦ   5447775 . ПМИД   28611582 .
  2. ^ Сармади, Хамид; Муньос-Салинас, Рафаэль; Оливарес-Мендес, Мигель А.; Медина-Карнисер, Рафаэль (2021). «Обнаружение двоичных квадратных реперных маркеров с помощью камеры событий» . Доступ IEEE . 9 : 27813–27826. arXiv : 2012.06516 . Бибкод : 2021IEEA...927813S . дои : 10.1109/ACCESS.2021.3058423 . ISSN   2169-3536 . S2CID   228375825 .
  3. ^ Лю, Мин; Дельбрюк, Тоби (май 2017 г.). «Оптический поток согласования блоков для датчиков динамического зрения: алгоритм и реализация FPGA». Международный симпозиум IEEE по схемам и системам (ISCAS) , 2017 г. стр. 1–4. arXiv : 1706.05415 . дои : 10.1109/ISCAS.2017.8050295 . ISBN  978-1-4673-6853-7 . S2CID   2283149 . Проверено 27 июня 2021 г.
  4. ^ Jump up to: а б с Лихтштайнер, П.; Пош, К.; Дельбрюк, Т. (февраль 2008 г.). «Асинхронный датчик временного контраста с разрешением 128 × 128, 120 дБ, задержкой 15 мкс» (PDF) . Журнал IEEE твердотельных схем . 43 (2): 566–576. Бибкод : 2008IJSSC..43..566L . дои : 10.1109/JSSC.2007.914337 . ISSN   0018-9200 . S2CID   6119048 . Архивировано из оригинала (PDF) 3 мая 2021 г. Проверено 6 декабря 2019 г.
  5. ^ Jump up to: а б Пош, К.; Матолин, Д.; Вольгенант, Р. (январь 2011 г.). «Безкадровый датчик изображения QVGA с динамическим диапазоном 143 дБ и ШИМ со сжатием видео на уровне пикселей без потерь и CDS во временной области». Журнал IEEE твердотельных схем . 46 (1): 259–275. Бибкод : 2011IJSSC..46..259P . дои : 10.1109/JSSC.2010.2085952 . ISSN   0018-9200 . S2CID   21317717 .
  6. ^ Лонгинотти, Лука. «Характеристики продукции» . инициация . Архивировано из оригинала 2 апреля 2019 г. Проверено 21 апреля 2019 г.
  7. ^ Jump up to: а б «Новый тип фотоаппарата» . Экономист . 2022-01-29. ISSN   0013-0613 . Проверено 2 февраля 2022 г.
  8. ^ Ху, Юхуан; Лю, Ши-Чи; Дельбрюк, Тоби (19 апреля 2021 г.). «v2e: от видеокадров к реалистичным событиям DVS». arXiv : 2006.07722 [ cs.CV ].
  9. ^ Скорка, Орит (1 июля 2011 г.). «На пути к цифровой камере, способной конкурировать с человеческим глазом». Журнал электронных изображений . 20 (3): 033009–033009–18. Бибкод : 2011JEI....20c3009S . дои : 10.1117/1.3611015 . ISSN   1017-9909 . S2CID   9340738 .
  10. ^ ДхО. «Nikon D850: Тесты и обзоры | DxOMark» . www.dxomark.com . Проверено 22 апреля 2019 г.
  11. ^ «Фантом v2640» . www.phantomhighspeed.com . Проверено 22 апреля 2019 г.
  12. ^ Лонгинотти, Лука. «Характеристики продукции» . инициация . Архивировано из оригинала 2 апреля 2019 г. Проверено 22 апреля 2019 г.
  13. ^ Серрано-Готарредона, Т.; Линарес-Барранко, Б. (март 2013 г.). «Асинхронный безрамочный датчик динамического зрения размером 128x128, контрастная чувствительность 1,5%, FPN 0,9%, задержка 3 мкс, 4 мВт с использованием трансимпедансных усилителей» (PDF) . Журнал IEEE твердотельных схем . 48 (3): 827–838. Бибкод : 2013IJSSC..48..827S . дои : 10.1109/JSSC.2012.2230553 . ISSN   0018-9200 . S2CID   6686013 .
  14. ^ Брандли, К.; Бернер, Р.; Ян, М.; Лю, С.; Дельбрюк, Т. (октябрь 2014 г.). «Датчик пространственно-временного видения с глобальным затвором, 240 × 180, 130 дБ, задержка 3 мкс» . Журнал IEEE твердотельных схем . 49 (10): 2333–2341. Бибкод : 2014IJSSC..49.2333B . дои : 10.1109/JSSC.2014.2342715 . ISSN   0018-9200 .
  15. ^ Боахен, К. (1996). «Ретиноморфные системы зрения» . Материалы Пятой международной конференции по микроэлектронике для нейронных сетей . стр. 2–14. дои : 10.1109/MNNFS.1996.493766 . ISBN  0-8186-7373-7 . S2CID   62609792 .
  16. ^ Пош, Кристоф; Серрано-Готарредона, Тереза; Линарес-Барранко, Бернабе; Дельбрюк, Тоби (2014). «Ретиноморфные датчики зрения на основе событий: биотехнологические камеры с резкой выходной мощностью» . Труды IEEE . 102 (10): 1470–1484. дои : 10.1109/JPROC.2014.2346153 . hdl : 11441/102353 . ISSN   1558-2256 . S2CID   11513955 .
  17. ^ Трухильо Эррера, Синтия; Лабрам, Джон Г. (07 декабря 2020 г.). «Перовскитный ретиноморфный сенсор» . Письма по прикладной физике . 117 (23): 233501. Бибкод : 2020ApPhL.117w3501T . дои : 10.1063/5.0030097 . ISSN   0003-6951 . S2CID   230546095 .
  18. ^ Миясака, Цутому; Мураками, Такуро Н. (25 октября 2004 г.). «Фотоконденсатор: эффективный самозарядный конденсатор для прямого хранения солнечной энергии» . Письма по прикладной физике . 85 (17): 3932–3934. Бибкод : 2004АпФЛ..85.3932М . дои : 10.1063/1.1810630 . ISSN   0003-6951 .
  19. ^ «Датчик перовскита видит больше как человеческий глаз» . Мир физики . 18 января 2021 г. Проверено 28 октября 2021 г.
  20. ^ «Простые сенсоры, похожие на глаза, могут сделать системы искусственного интеллекта более эффективными» . Внутри науки . 8 декабря 2020 г. Проверено 28 октября 2021 г.
  21. ^ Jump up to: а б Хэмблинг, Дэвид. «Зрение ИИ можно улучшить с помощью датчиков, имитирующих человеческие глаза» . Новый учёный . Проверено 28 октября 2021 г.
  22. ^ «Глаз для ИИ: оптическое устройство имитирует сетчатку человека» . Журнал BBC Science Focus . Проверено 28 октября 2021 г.
  23. ^ Jump up to: а б Шерлинк, Седрик; Барнс, Ник; Махони, Роберт (2019). «Непрерывная оценка интенсивности с использованием камер событий». Компьютерное зрение – ACCV 2018 . Конспекты лекций по информатике. Том. 11365. Международное издательство Springer. стр. 308–324. arXiv : 1811.00386 . дои : 10.1007/978-3-030-20873-8_20 . ISBN  9783030208738 . S2CID   53182986 .
  24. ^ Пан, Лиюань; Шерлинк, Седрик; Ю, Синь; Хартли, Ричард; Лю, Мяомяо; Дай, Ючао (июнь 2019 г.). «Оживление размытого кадра с высокой частотой кадров с помощью камеры событий». Конференция IEEE/CVF 2019 по компьютерному зрению и распознаванию образов (CVPR) . Лонг-Бич, Калифорния, США: IEEE. стр. 6813–6822. arXiv : 1811.10180 . дои : 10.1109/CVPR.2019.00698 . ISBN  978-1-7281-3293-8 . S2CID   53749928 .
  25. ^ Шерлинк, Седрик; Барнс, Ник; Махони, Роберт (апрель 2019 г.). «Асинхронная свертка пространственных изображений для камер событий». Письма IEEE по робототехнике и автоматизации . 4 (2): 816–822. arXiv : 1812.00438 . дои : 10.1109/LRA.2019.2893427 . ISSN   2377-3766 . S2CID   59619729 .
  26. ^ Серрано-Готарредона, Т.; Андреу, А.; Линарес-Барранко, Б. (сентябрь 1999 г.). «Архитектура фильтрации изображений AER для систем обработки изображений». Транзакции IEEE в схемах и системах I: Фундаментальная теория и приложения . 46 (9): 1064–1071. дои : 10.1109/81.788808 . hdl : 11441/76405 . ISSN   1057-7122 .
  27. ^ Серрано-Готарредона, Р.; и др. (сентябрь 2009 г.). «ИКРА: 45 тыс. нейронов, 5М синапсов, 12G-соединений в секунду, аппаратная система AER сенсорной обработки-обучения-приведения в действие для высокоскоростного визуального распознавания и отслеживания объектов». Транзакции IEEE в нейронных сетях . 20 (9): 1417–1438. дои : 10.1109/ТНН.2009.2023653 . hdl : 10261/86527 . ISSN   1045-9227 . ПМИД   19635693 . S2CID   6537174 .
  28. ^ Серрано-Готарредона, Р.; Серрано-Готарредона, Т.; Акоста-Хименес, А.; Линарес-Барранко, Б. (декабрь 2006 г.). «Нейроморфный микрочип коркового слоя для систем машинного зрения с обработкой событий на основе импульсов». Транзакции IEEE в схемах и системах I: Регулярные статьи . 53 (12): 2548–2566. дои : 10.1109/TCSI.2006.883843 . hdl : 10261/7823 . ISSN   1549-8328 . S2CID   8287877 .
  29. ^ Камуньяс-Меса, Л.; и др. (февраль 2012 г.). «Модуль многоядерного процессора свертки, управляемый событиями, для датчиков технического зрения, управляемых событиями». Журнал IEEE твердотельных схем . 47 (2): 504–517. Бибкод : 2012IJSSC..47..504C . дои : 10.1109/JSSC.2011.2167409 . hdl : 11441/93004 . ISSN   0018-9200 . S2CID   23238741 .
  30. ^ Перес-Карраско, Х.А.; Чжао, Б.; Серрано, К.; Ача, Б.; Серрано-Готарредона, Т.; Чен, С.; Линарес-Барранко, Б. (ноябрь 2013 г.). «Сопоставление систем видения, управляемых кадрами, с системами машинного зрения, управляемыми событиями, с помощью низкоскоростного кодирования и обработки совпадений. Применение к свёрточным сетям с прямой связью» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . 35 (11): 2706–2719. дои : 10.1109/TPAMI.2013.71 . hdl : 11441/79657 . ISSN   0162-8828 . ПМИД   24051730 . S2CID   170040 .
  31. ^ Jump up to: а б Гальего, Гильермо; Дельбрюк, Тоби; Орчард, Гаррик Майкл; Бартолоцци, Кьяра; Таба, Брайан; Ченси, Андреа; Лейтенеггер, Стефан; Дэвисон, Эндрю; Конрад, Йорг; Данилидис, Костас; Скарамуцца, Давиде (2020). «Видение, основанное на событиях: опрос» . Транзакции IEEE по анализу шаблонов и машинному интеллекту . ПП (1): 154–180. arXiv : 1904.08405 . дои : 10.1109/TPAMI.2020.3008413 . ISSN   1939-3539 . ПМИД   32750812 . S2CID   234740723 .
  32. ^ Jump up to: а б Мондал, Аниндья; Р, Шашант; Хиральдо, Джони Х.; Бауманс, Тьерри; Чоудхури, Ананда С. (2021). «Обнаружение движущихся объектов для визуализации на основе событий с использованием спектральной кластеризации графов» . Международная конференция IEEE/CVF по компьютерному зрению 2021 года (ICCVW) . стр. 876–884. arXiv : 2109.14979 . дои : 10.1109/ICCVW54120.2021.00103 . ISBN  978-1-6654-0191-3 . S2CID   238227007 – через IEEE Xplore.
  33. ^ Митрохин Антон; Фермюллер, Корнелия; Парамешвара, Четан; Алоимонос, Яннис (октябрь 2018 г.). «Обнаружение и отслеживание движущихся объектов на основе событий» . Международная конференция IEEE/RSJ по интеллектуальным роботам и системам (IROS) 2018 г. Мадрид: IEEE. стр. 1–9. arXiv : 1803.04523 . дои : 10.1109/IROS.2018.8593805 . ISBN  978-1-5386-8094-0 . S2CID   3845250 .
  34. ^ Стоффреген, Тимо; Гальего, Гильермо; Драммонд, Том; Климан, Линдси; Скарамуцца, Давиде (2019). «Сегментация движения на основе событий с помощью компенсации движения» . Международная конференция IEEE/CVF по компьютерному зрению (ICCV) 2019 . стр. 7244–7253. arXiv : 1904.01293 . дои : 10.1109/ICCV.2019.00734 . ISBN  978-1-7281-4803-8 . S2CID   91183976 .
  35. ^ Пьентковска, Ева; Бельбахир, Ахмед Набиль; Шрамль, Стефан; Гелауц, Маргрит (июнь 2012 г.). «Пространственно-временное отслеживание нескольких людей с помощью датчика динамического видения» . Конференция IEEE Computer Society 2012 г., семинары по компьютерному зрению и распознаванию образов . стр. 35–40. дои : 10.1109/CVPRW.2012.6238892 . ISBN  978-1-4673-1612-5 . S2CID   310741 .
  36. ^ Чен, Гуан; Цао, Ху; Аафак, Мухаммед; Чен, Цзеэн; Да, Канбо; Рёрбейн, Флориан; Конрадт, Йорг; Чен, Кай; Бин, Чжэньшань; Лю, Синбо; Хинц, Гереон (2 декабря 2018 г.). «Обнаружение и отслеживание нескольких транспортных средств на основе нейроморфного зрения для интеллектуальной транспортной системы» . Журнал передового транспорта . 2018 : e4815383. дои : 10.1155/2018/4815383 . ISSN   0197-6729 .
  37. ^ Мондал, Аниндья; Дас, Маюхмали (08.11.2021). «Обнаружение движущихся объектов для визуализации на основе событий с использованием кластеризации k-средних». 2021 IEEE 8-я Международная конференция секции по электротехнике, электронике и вычислительной технике (UPCON) секции штата Уттар-Прадеш . стр. 1–6. arXiv : 2109.01879 . дои : 10.1109/UPCON52273.2021.9667636 . ISBN  978-1-6654-0962-9 . S2CID   237420620 .
  38. ^ «CED: набор данных цветной камеры событий» . рпг.ифи.уж.ч . Проверено 8 апреля 2024 г.
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: cd8d18cfa998470922fe03df4af13dfb__1718373480
URL1:https://arc.ask3.ru/arc/aa/cd/fb/cd8d18cfa998470922fe03df4af13dfb.html
Заголовок, (Title) документа по адресу, URL1:
Event camera - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)