Времяпролетная камера

Время полета светового импульса, отражающегося от цели

Времяпролетная камера ( ToF-камера ), также известная как времяпролетный датчик ( ToF-датчик ), представляет собой дальнего действия систему камеры для измерения расстояний между камерой и объектом для каждой точки изображения на основе времени. -пролетное время — время прохождения туда и обратно искусственного светового сигнала, обеспечиваемого лазером или светодиодом . Лазерные времяпролетные камеры являются частью более широкого класса лидаров без сканера , в которых вся сцена захватывается каждым лазерным импульсом, а не поточечно с помощью лазерного луча, как в сканирующих системах лидар. Времяпролетные камеры для гражданского применения начали появляться примерно в 2000 году. поскольку полупроводниковые процессы позволяли производить компоненты для таких устройств достаточно быстро. Системы охватывают диапазоны от нескольких сантиметров до нескольких километров.

Типы устройств

Было разработано несколько различных технологий для времяпролетных камер.

Источники радиочастотного модулированного света с фазовыми детекторами

Устройства фотонного смешивания (PMD), швейцарский рейнджер и CanestaVision работают путем модуляции исходящего луча радиочастотной несущей, а затем измеряют фазовый сдвиг этой несущей на стороне приемника. Этот подход имеет проблему модульной ошибки: измеренные диапазоны рассчитываются по модулю длины волны радиочастотной несущей. Swiss Ranger — это компактное устройство ближнего действия с дальностью действия 5 или 10 метров и разрешением 176 x 144 пикселей. С помощью алгоритмов фазовой развертки можно увеличить максимальный диапазон уникальности. PMD может обеспечить дальность действия до 60 м. Подсветка осуществляется импульсными светодиодами, а не лазером. , разработчик CanestaVision, Компания Canesta была куплена Microsoft в 2010 году. Kinect2 для Xbox One был основан на технологии ToF от Canesta.

Сканеры со стробированием диапазона

Эти устройства имеют встроенный затвор в датчике изображения, который открывается и закрывается с той же скоростью, с которой посылаются световые импульсы. Большинство времяпролетных 3D-датчиков основаны на этом принципе, изобретенном Мединой. Поскольку часть каждого возвращающегося импульса блокируется затвором в зависимости от времени его поступления, количество получаемого света зависит от расстояния, пройденного импульсом.Расстояние можно рассчитать с помощью уравнения z = R ( S ₂ − S ₁ ) / 2 ( S ₁ + S ₂ ) + R / 2 для идеальной камеры. R - это диапазон камеры, определяемый круговым проходом светового импульса, S ₁ - количество принимаемого светового импульса, а S ₂ - количество блокируемого светового импульса.

ZCam Systems от 3DV представляет собой систему с ограничением диапазона. второго поколения Microsoft приобрела 3DV в 2009 году. Сенсор Microsoft Kinect был разработан с использованием знаний, полученных от Canesta и 3DV Systems.

Похожие принципы используются в линейке ToF-камер, разработанной Институтом Фраунгофера микроэлектронных схем и систем и TriDiCam. В этих камерах используются фотодетекторы с быстрым электронным затвором.

Разрешение по глубине ToF-камер можно улучшить с помощью ПЗС-камер со сверхбыстрым стробированием и усилением стробирования. Эти камеры обеспечивают время стробирования до 200 пс и позволяют настраивать ToF с разрешением по глубине менее миллиметра.

Изображения со стробированием по дальности также можно использовать в 2D-изображениях для подавления всего, что находится за пределами определенного диапазона расстояний, например, для наблюдения сквозь туман. Импульсный лазер обеспечивает освещение, а оптические ворота позволяют свету достигать тепловизора только в течение желаемого периода времени.

Сканеры прямого времени полета

Эти устройства измеряют прямое время прохождения, необходимое для того, чтобы одиночный лазерный импульс покинул камеру и отразился обратно на матрицу в фокальной плоскости. Также известный как «режим триггера», 3D-изображения, снятые с использованием этого метода, отображают полные пространственные и временные данные, записывая полные 3D-сцены с помощью одного лазерного импульса. Это позволяет быстро получать и обрабатывать информацию о сцене в режиме реального времени. Для автономных операций, чувствительных ко времени, этот подход был продемонстрирован при автономных космических испытаниях. и работа, такая как использованная в OSIRIS-REx Бенну. миссии по выбору и возвращению астероида и автономная посадка вертолета.

Компания Advanced Scientific Concepts, Inc. предоставляет системы прямого TOF-видения для конкретных приложений (например, в авиации, автомобилестроении, космосе). известные как камеры 3D Flash LIDAR. В их подходе используются матрицы лавинных фотодиодов InGaAs (APD) или PIN-фотодетекторов, способные отображать лазерные импульсы с длинами волн от 980 до 1600 нм.

Компоненты

Времяпролетная камера состоит из следующих компонентов:

• Блок освещения: освещает сцену. Для радиочастотно-модулированных источников света с фазовыми детекторами свет должен модулироваться с высокой скоростью до 100 МГц, только светодиоды или лазерные диоды возможны . Для изображений Direct TOF используется один импульс на кадр (например, 30 Гц). Для освещения обычно используется инфракрасный свет, чтобы сделать освещение ненавязчивым.
• Оптика: объектив собирает отраженный свет и отображает окружающую среду на датчике изображения (матрице в фокальной плоскости). Оптический полосовой фильтр пропускает свет только той же длины волны, что и осветительный прибор. Это помогает подавить ненужный свет и снизить шум.
• Датчик изображения : это сердце TOF-камеры. Каждый пиксель измеряет время, за которое свет прошел от осветительного устройства (лазера или светодиода) до объекта и обратно в матрицу фокальной плоскости. Для определения времени используется несколько разных подходов; см. Типы устройств выше.
• Драйверная электроника: И блок освещения, и датчик изображения должны управляться высокоскоростными сигналами и синхронизироваться. Эти сигналы должны быть очень точными, чтобы получить высокое разрешение. Например, если сигналы между блоком освещения и датчиком сместятся всего на 10 пикосекунд , расстояние изменится на 1,5 мм. Для сравнения: нынешние процессоры достигают частот до 3 ГГц , что соответствует тактовой частоте около 300 пс — соответствующее «разрешение» составляет всего 45 мм.
• Вычисление/Интерфейс: Расстояние рассчитывается непосредственно в камере. Для получения хороших характеристик также используются некоторые калибровочные данные. Затем камера передает изображение на расстоянии через какой-либо интерфейс, например USB или Ethernet .

Принцип

См. также: время полета

Принцип работы времяпролетной камеры:

В импульсном методе (1) расстояние d = ⁠ кт / 2 ⁠ ⁠ q2 / q1 + q2 ⁠ , где c — скорость света, t — длина импульса, q1 — накопленный заряд в пикселе, когда свет излучается, и q2 — накопленный заряд, когда он не излучается.

В непрерывном методе (2) d = ⁠ ct / 2 π ⁠ арктанс ⁠ q3 - q4 / q1 - q2 ⁠ .

Диаграммы, иллюстрирующие принцип работы времяпролетной камеры с аналоговым хронометражем.

Самая простая версия времяпролетной камеры использует световые импульсы или одиночный световой импульс. Освещение включается на очень короткое время, образующийся световой импульс освещает сцену и отражается от предметов, находящихся в поле зрения. Объектив камеры собирает отраженный свет и отображает его на датчике или матрице в фокальной плоскости. В зависимости от расстояния входящий свет испытывает задержку. Поскольку скорость света составляет примерно c = 300 000 000 метров в секунду, эта задержка очень мала: объект на расстоянии 2,5 м задерживает свет на:

$t_{D}=2\cdot {\frac {D}{c}}=2\cdot {\frac {2.5\;\mathrm {m} }{300\;000\;000\;{\frac {\mathrm {m} }{\mathrm {s} }}}}=0.000\;000\;016\;66\;\mathrm {s} =16.66\;\mathrm {ns}$

Для решеток с амплитудной модуляцией ширина импульса освещения определяет максимальный диапазон, с которым может работать камера. При длительности импульса, например, 50 нс диапазон ограничен

$D_{\mathrm {max} }={\frac {1}{2}}\cdot c\cdot t_{0}={\frac {1}{2}}\cdot 300\;000\;000\;{\frac {\mathrm {m} }{\mathrm {s} }}\cdot 0.000\;000\;05\;\mathrm {s} =\!\ 7.5\;\mathrm {m}$

Эти короткие сроки показывают, что осветительный прибор является важной частью системы. Только с помощью специальных светодиодов или лазеров можно генерировать такие короткие импульсы.

Одиночный пиксель состоит из фоточувствительного элемента (например, фотодиода ). Он преобразует падающий свет в ток. В аналоговых временных имидж-сканерах к фотодиоду подключены быстродействующие переключатели, которые направляют ток на один из двух (или нескольких) элементов памяти (например, конденсатор ) , которые действуют как элементы суммирования. В цифровых временных имидж-сканерах счетчик времени, который может работать на частоте несколько гигагерц, подключен к каждому пикселю фотодетектора и прекращает отсчет при обнаружении света.

В схеме аналогового таймера с матрицей с амплитудной модуляцией пиксель использует два переключателя (G1 и G2) и два элемента памяти (S1 и S2). Переключатели управляются импульсом той же длины, что и световой импульс, при этом управляющий сигнал переключателя G2 задерживается ровно на ширину импульса. В зависимости от задержки только часть светового импульса отбирается через G1 в S1, другая часть сохраняется в S2. В зависимости от расстояния соотношение между S1 и S2 меняется, как показано на рисунке. Поскольку в течение 50 нс на датчик попадает лишь небольшое количество света, посылается и собирается не один, а несколько тысяч импульсов (частота повторения tR), что увеличивает соотношение сигнал/шум .

После экспонирования пиксель считывается и на следующих этапах измеряются сигналы S1 и S2. Поскольку длина светового импульса определена, расстояние можно рассчитать по формуле:

$D={\frac {1}{2}}\cdot c\cdot t_{0}\cdot {\frac {S2}{S1+S2}}$

В примере сигналы имеют следующие значения: S1 = 0,66 и S2 = 0,33. Таким образом, расстояние равно:

$D=7.5\;\mathrm {m} \cdot {\frac {0.33}{0.33+0.66}}=2.5\;\mathrm {m}$

При наличии фоновой засветки элементы памяти получают дополнительную часть сигнала. Это помешает измерению расстояния. Для устранения фоновой части сигнала все измерение можно провести второй раз при выключенной подсветке. Если объекты находятся дальше диапазона расстояний, результат также будет неправильным. Здесь второе измерение с сигналами управления, задержанными на дополнительную ширину импульса, помогает подавить такие объекты.Другие системы работают с синусоидально модулированным источником света вместо импульсного источника.

В устройствах формирования изображений прямого TOF, таких как 3D Flash LIDAR, лазер излучает один короткий импульс длительностью от 5 до 10 нс. Событие T-ноль (время, когда импульс покидает камеру) устанавливается путем непосредственного захвата импульса и направления этого времени на матрицу фокальной плоскости. Т-ноль используется для сравнения времени возврата возвращающегося отраженного импульса на различных пикселях массива фокальной плоскости. Сравнивая T-ноль и захваченный отраженный импульс и сравнивая разницу во времени, каждый пиксель точно выдает прямое измерение времени прохождения. Время прохождения одного импульса туда и обратно на 100 метров составляет 660 нс. Импульсом длительностью 10 нс сцена освещается, а дальность и интенсивность фиксируются менее чем за 1 микросекунду.

Преимущества

Простота

В отличие от систем стереовидения или триангуляции , вся система очень компактна: освещение расположено рядом с линзой, тогда как другим системам требуется определенная минимальная базовая линия. В отличие от систем лазерного сканирования , здесь не требуются механические движущиеся части.

Эффективный алгоритм расстояния

Это прямой процесс извлечения информации о расстоянии из выходных сигналов датчика TOF. В результате эта задача использует лишь небольшое количество вычислительной мощности, опять же в отличие от стереозрения, где реализованы сложные алгоритмы корреляции.Например, после извлечения данных о расстоянии обнаружение объекта также является простым процессом, поскольку алгоритмы не нарушаются узорами на объекте. Точность обычно оценивается в 1 % от измеренного расстояния.

Скорость

Времяпролетные камеры способны измерять расстояния в пределах всей сцены с помощью одного снимка. Поскольку камеры достигают скорости 160 кадров в секунду, они идеально подходят для использования в приложениях реального времени.

Недостатки

Фоновый свет

При использовании КМОП или других интегрирующих детекторов или датчиков, использующих видимый или ближний инфракрасный свет (400–700 нм), хотя большая часть фонового света, исходящего от искусственного освещения или солнца, подавляется, пиксель все равно должен обеспечивать высокую яркость. динамический диапазон . Фоновый свет также генерирует электроны, которые необходимо хранить. Например, осветительные приборы во многих современных TOF-камерах могут обеспечивать уровень освещенности около 1 Вт. Солнце имеет мощность освещения около 1050 Вт на квадратный метр, а после оптического полосового фильтра — 50 Вт . Следовательно, если освещенная сцена имеет размер 1 квадратный метр, свет солнца в 50 раз сильнее модулированного сигнала. Для неинтегрирующих TOF-сенсоров, которые не интегрируют свет с течением времени и используют детекторы ближнего инфракрасного диапазона (InGaAs) для улавливания короткого лазерного импульса, прямой просмотр Солнца не является проблемой, поскольку изображение не интегрируется с течением времени, а скорее захватывается в течение короткого цикла сбора данных, обычно менее 1 микросекунды. Такие TOF-сенсоры используются в космических приложениях. и принимая во внимание автомобильное применение.

Помехи

В некоторых типах TOF-устройств (но не во всех), если одновременно работают несколько времяпролетных камер, TOF-камеры могут мешать измерениям друг друга. Существует несколько вариантов решения этой проблемы:

• Мультиплексирование по времени: система управления последовательно запускает измерения с отдельных камер, так что одновременно активен только один осветительный прибор.
• Различные частоты модуляции: если камеры модулируют свой свет с разными частотами модуляции, их свет собирается в других системах только как фоновое освещение, но не мешает измерению расстояния.

Для камер типа Direct TOF, которые используют один лазерный импульс для освещения, поскольку одиночный лазерный импульс короткий (например, 10 наносекунд), время прохождения туда и обратно к объектам в поле зрения и обратно соответственно короткое (например, 100 метров = 660 ns TOF туда и обратно). Для имидж-сканера, выполняющего съемку с частотой 30 Гц, вероятность мешающего взаимодействия равна времени, в течение которого окно сбора данных камеры открыто, деленное на время между лазерными импульсами, или примерно 1 из 50 000 (0,66 мкс, разделенное на 33 мс).

Множественные отражения

В отличие от систем лазерного сканирования, в которых освещается одна точка, времяпролетные камеры освещают всю сцену. Для устройства разности фаз (решетка с амплитудной модуляцией) из-за многократного отражения свет может достигать объектов по нескольким путям. Поэтому измеренное расстояние может быть больше истинного расстояния. Аппараты прямого TOF уязвимы, если свет отражается от зеркальной поверхности. Доступны опубликованные статьи, в которых описываются сильные и слабые стороны различных устройств и подходов TOF.

Приложения

Изображение человеческого лица, снятое времяпролетной камерой (изображение художника)

Автомобильные приложения

Времяпролетные камеры используются в функциях помощи и безопасности в современных автомобильных приложениях, таких как активная безопасность пешеходов, обнаружение предаварийных ситуаций, а также в приложениях внутри помещений, таких как обнаружение вне рабочего места (OOP).

Человеко-машинные интерфейсы и игры

Поскольку времяпролетные камеры предоставляют изображения на расстоянии в режиме реального времени, отслеживать перемещения людей легко. Это обеспечивает новые возможности взаимодействия с потребительскими устройствами, такими как телевизоры. Другая тема — использование камер этого типа для взаимодействия с играми на игровых консолях. второго поколения, Сенсор Kinect изначально входящий в комплект консоли Xbox One , использовал времяпролетную камеру для получения изображения на расстоянии. создание естественных пользовательских интерфейсов и игровых приложений с использованием методов компьютерного зрения и распознавания жестов . Creative и Intel также предлагают аналогичный тип интерактивной времяпролетной камеры с жестами для игр — Senz3D, основанной на камере DepthSense 325 от Softkinetic . Infineon и PMD Technologies позволяют использовать крошечные встроенные 3D-камеры глубины для управления жестами с близкого расстояния потребительских устройств, таких как моноблоки ПК и ноутбуки (камеры Picco flexx и Picco monstar).

Камеры смартфонов

Samsung Galaxy S20 Ultra оснащен тремя объективами задней камеры и камерой ToF.

Некоторые смартфоны оснащены камерами времени полета. В основном они используются для улучшения качества фотографий путем предоставления программному обеспечению камеры информации о переднем и заднем плане.

Первым мобильным телефоном, выпущенным с такой технологией, стал LG G3 в начале 2014 года. BlackBerry Passport и LG G Flex 2 также были выпущены с датчиком ToF.

Измерение и машинное зрение

Изображение дальности с измерениями высоты

Другими приложениями являются задачи измерения, например, высоты заполнения в силосах. В промышленном машинном зрении времяпролетная камера помогает классифицировать и находить объекты для использования роботами, например предметы, проходящие по конвейеру. Дверные элементы управления позволяют легко отличить животных от людей, приближающихся к двери.

Робототехника

Еще одним применением этих камер является сфера робототехники: мобильные роботы могут очень быстро создавать карту своего окружения, что позволяет им избегать препятствий или следовать за ведущим человеком. Поскольку расчет расстояния прост, используется лишь небольшая вычислительная мощность. Поскольку эти камеры также можно использовать для измерения расстояния, известно, что команды FIRST Robotics Competition используют эти устройства для автономных процедур.

Топография Земли

Камеры ToF использовались для получения цифровых моделей поверхности Земли топографии . для исследований в области геоморфологии .

Бренды

Активные бренды (по состоянию на 2011 г.)

• Orbbec — высокопроизводительная камера iTOF RGB-Depth серии Femto на основе технологии Microsoft iTOF с глобальным применением в логистике, робототехнике, здравоохранении, розничной торговле, фитнесе, а также создании и анимации 3D-контента.
• ESPROS — микросхемы 3D TOF-изображений, TOF-камеры и модули для автомобильной, робототехнической, промышленной и IoT-приложений.
• 3D Flash LIDAR-камеры и системы технического зрения от Advanced Scientific Concepts, Inc. для авиационных, автомобильных и космических приложений
• DepthSense — камеры и модули TOF, включая датчик RGB и микрофоны от SoftKinetic
• IRMA MATRIX — TOF-камера, используемая для автоматического подсчета пассажиров в мобильных и стационарных приложениях компании Iris-GmbH.
• Kinect - платформа пользовательского интерфейса без помощи рук от Microsoft для игровых консолей и ПК, использующая времяпролетные камеры во втором поколении сенсорных устройств.
• Камера глубины Azure Kinect DK. Камера глубины Azure Kinect DK реализует принцип времени пролета (ToF) с амплитудной модуляцией непрерывной волны (AMCW). Лазурный Кинек ДК
• pmd — эталонные конструкции и программное обеспечение камеры (pmd[vision], включая модули TOF [CamBoard]) и устройства формирования изображений TOF (PhotonIC) от PMD Technologies.
• Real.IZ 2+3D — TOF-камера высокого разрешения SXGA (1280×1024), разработанная начинающей компанией odos images, объединяющая традиционный захват изображения с TOF-диапазоном в одном датчике. На основе технологии, разработанной в Siemens .
• Senz3D — TOF-камера от Creative и Intel на основе камеры DepthSense 325 от Softkinetic, используемая для игр.
• SICK - промышленные 3D TOF-камеры (Visionary-T) для промышленного применения и программного обеспечения
• Датчик 3D MLI — TOF-сканер, модули, камеры и программное обеспечение от IEE (International Electronics & Engineering), основанные на модулированной интенсивности света (MLI).
• TOFCam Stanley — TOF-камера от Stanley Electric
• TriDiCam - модули и программное обеспечение TOF, устройство формирования изображений TOF, первоначально разработанное Институтом микроэлектронных схем и систем Фраунгофера , теперь разработанное дочерней компанией TriDiCam.
• Hakvision — стереокамера TOF
• Cube Eye — камера ToF и модули, разрешение VGA, веб-сайт: www.cube-eye.co.kr
• Basler AG — 3D-изображения для промышленного применения [1]
• ЛИЛИН — камера наблюдения ToF [2]

Несуществующие бренды

• КанестаВижн - Модули и программное обеспечение TOF от Canesta (компания, приобретенная Microsoft в 2010 г.)
• D-IMager — TOF-камера от Panasonic Electric Works
• OptriCam - камеры и модули TOF от Optima (переименование DepthSense до слияния с SoftKinetic в 2011 году)
• ZCam - продукты TOF-камер от 3DV Systems, объединяющие полноцветное видео с информацией о глубине (активы проданы Microsoft в 2009 году)
• SwissRanger — линейка промышленных камер, работающих только с TOF, первоначально разработанная Centre Suisse d'Electronique et Microtechnique, SA ( CSEM ), теперь разработанная Mesa Imaging (Mesa Imaging приобретена Heptagon в 2014 году)
• Fotonic - TOF-камеры и программное обеспечение на базе CMOS-чипа Panasonic (Fotonic приобретена Autoliv в 2018 году)
• S.Cube — ToF-камера и модули от Cube Eye

• 
  D-IMager от Panasonic
• 
  pmd[vision] CamCube от PMD Technologies
• 
  SwissRanger 4000 от MESA Imaging
• 
  FOTONIC-B70 от Fotonic
• 
  Датчик 3D MLI от IEE SA
• 
  Прототип камеры ARTTS
• 
  pmd[vision] CamBoard от PMD Technologies
• 
  Kinect для Xbox One от Microsoft

См. также

• Лазерный томограф динамического диапазона
• 3D-сканер со структурированным светом
• Кинект

Дальнейшее чтение

• Хансард, Майлз; Ли, Сынкю; Чой, Оук; Хоро, Раду (2012). «Времяпролетные камеры: принципы, методы и применение» (PDF) . SpringerBriefs по информатике (PDF) . дои : 10.1007/978-1-4471-4658-2 . ISBN  978-1-4471-4657-5 . S2CID   5494636 . В этой книге описываются различные недавние исследования в области времяпролетных изображений: […] основополагающий принцип измерения […] связанные с этим источники ошибок и неоднозначности […] геометрическая калибровка времяпролетных камер, особенно при их использовании. в сочетании с обычными цветными камерами […и] использовать данные времени пролета в сочетании с традиционными методами сопоставления стереоскопических изображений. В пяти главах вместе описывается полный процесс трехмерной реконструкции глубины и цвета.
• Хород, Раду; Хансард, Майлз; Евангелидис, Георгиос; Менье, Клеман (2016). « Обзор камер глубины и сканеров дальности, основанных на времяпролетных технологиях » Машинное зрение и приложения 27, 1005–1029.