3D pose estimation
Оценка 3D-позы — это процесс прогнозирования трансформации объекта из заданной пользователем эталонной позы на основе изображения или 3D-сканирования . Он возникает в компьютерном зрении или робототехнике , где поза или трансформация объекта может использоваться для выравнивания моделей автоматизированного проектирования , идентификации, захвата или манипулирования объектом.
Данные изображения, на основе которых определяется поза объекта, могут быть либо одним изображением, парой стереоизображений , либо последовательностью изображений, где обычно камера движется с известной скоростью. Рассматриваемые объекты могут быть довольно общими, включая живое существо или части тела, например, голову или руки. Однако методы, используемые для определения позы объекта, обычно специфичны для определенного класса объектов, и обычно нельзя ожидать, что они будут хорошо работать для других типов объектов.
С некалиброванной 2D камеры
[ редактировать ]Оценить трехмерное вращение и перемещение трехмерного объекта можно по одной двухмерной фотографии, если известна приблизительная трехмерная модель объекта и соответствующие точки известны на двухмерном изображении. Распространенным методом решения этой проблемы, разработанным в 1995 году, является POSIT. [1] где трехмерная поза оценивается непосредственно на основе точек трехмерной модели и точек двухмерного изображения, а ошибки итеративно исправляются до тех пор, пока не будет найдена хорошая оценка на основе одного изображения. [2] Большинство реализаций POSIT работают только с некомпланарными точками (другими словами, он не работает с плоскими объектами или плоскостями). [3]
Другой подход заключается в регистрации 3D- модели CAD поверх фотографии известного объекта путем оптимизации подходящей меры расстояния с учетом параметров позы. [4] [5] Расстояние вычисляется между объектом на фотографии и проекцией 3D- модели CAD в заданной позе. перспективная или ортогональная проекция В зависимости от используемого представления позы возможна . Этот подход подходит для приложений, в которых доступна 3D-модель CAD известного объекта (или категории объектов).
С калиброванной 2D-камеры
[ редактировать ]Учитывая 2D-изображение объекта и камеру, откалиброванную относительно мировой системы координат, также можно найти позу, которая придает 3D-объекту его систему координат объекта. [6] Это работает следующим образом.
Извлечение 3D из 2D
[ редактировать ]Начиная с 2D-изображения, извлекаются точки изображения, соответствующие углам изображения. Лучи проекции из точек изображения восстанавливаются из 2D-точек, так что можно определить 3D-точки, которые должны падать на восстановленные лучи.
Псевдокод
[ редактировать ]Алгоритм определения оценки позы основан на итеративном алгоритме ближайшей точки . Основная идея заключается в определении соответствия между элементами 2D-изображения и точками на кривой 3D-модели.
(a) Reconstruct projection rays from the image points (b) Estimate the nearest point of each projection ray to a point on the 3D contour (c) Estimate the pose of the contour with the use of this correspondence set (d) goto (b)
Приведенный выше алгоритм не учитывает изображения, содержащие частично перекрытый объект. Следующий алгоритм предполагает, что все контуры жестко связаны, то есть положение одного контура определяет положение другого контура.
(a) Reconstruct projection rays from the image points
(b) For each projection ray R:
(c) For each 3D contour:
(c1) Estimate the nearest point P1 of ray R to a point on the contour
(c2) if (n == 1) choose P1 as actual P for the point-line correspondence
(c3) else compare P1 with P:
if dist(P1, R) is smaller than dist(P, R) then
choose P1 as new P
(d) Use (P, R) as correspondence set.
(e) Estimate pose with this correspondence set
(f) Transform contours, goto (b)
Оценка позы путем сравнения
[ редактировать ]Существуют системы, которые используют базу данных объектов при различных поворотах и перемещениях для сравнения входного изображения и оценки позы. Точность этих систем ограничена ситуациями, которые представлены в их базе данных изображений, однако цель состоит в том, чтобы распознать позу, а не определить ее. [7]
Программное обеспечение
[ редактировать ]- Posest — библиотека GPL C / C++ для оценки позы 6DoF на основе 3D-2D-соответствий.
- diffgeom2pose , быстрый решатель Matlab для оценки положения 6DoF только по двум 3D-2D соответствиям точек с направлениями (векторы) или точек на кривых (точки-касательные). Точки могут быть сопоставлены с помощью SIFT с указанием направлений объектов.
- МИНУС : пакет C++ для (относительной) оценки позы трех видов. Включает случаи трех соответствующих точек с линиями в этих точках (например, в положениях и ориентациях объектов или точках кривой с касательными), а также для трех соответствующих точек и одного соответствия линии.
См. также
[ редактировать ]- Распознавание жестов
- Распознавание 3D-объектов
- Оценка позы шарнирно-сочлененного тела
- Калибровка камеры
- Гомография (компьютерное зрение)
- Трифокальный тензор
- Смета на установку
Ссылки
[ редактировать ]- ^ Хавьер Барандиаран (28 декабря 2017 г.). «Учебник по POSIT» . OpenCV.
- ^ Дэниел Ф. Дементон; Ларри С. Дэвис (1995). «Поза объекта на основе модели в 25 строках кода» . Международный журнал компьютерного зрения . 15 (1–2): 123–141. дои : 10.1007/BF01450852 . S2CID 14501637 . Проверено 29 мая 2010 г.
- ^ Хавьер Барандьяран. «Учебное пособие по POSIT с OpenCV и OpenGL» . Архивировано из оригинала 20 июня 2010 года . Проверено 29 мая 2010 г.
- ^ Шримал Джаявардена, Маркус Хаттер и Натан Брюэр (2011). «Новая потеря, инвариантная к освещению, для монокулярной трехмерной оценки позы». Международная конференция 2011 г. «Вычисление цифровых изображений: методы и приложения» . стр. 37–44. CiteSeerX 10.1.1.766.3931 . дои : 10.1109/DICTA.2011.15 . ISBN 978-1-4577-2006-2 . S2CID 17296505 .
- ^ Шримал Джаявардена, Ди Ян и Маркус Хаттер (2011). «Сегментация изображений с помощью 3D-модели». Международная конференция 2011 г. «Вычисление цифровых изображений: методы и приложения» . стр. 51–58. CiteSeerX 10.1.1.751.8774 . дои : 10.1109/DICTA.2011.17 . ISBN 978-1-4577-2006-2 . S2CID 1665253 .
- ^ Бодо Розенхан. «Основы оценки позы в 2D-3D» . Резюме онлайн . Проверено 9 июня 2008 г.
- ^ Василис Атитсос; Стэн Склароф (1 апреля 2003 г.). Оценка положения руки в 3D по загроможденному изображению (PDF) (технический отчет). Технологии компьютерных наук Бостонского университета. Архивировано из оригинала (PDF) 31 июля 2019 г.
Библиография
[ редактировать ]- Розенхан, Б. «Основы оценки позы в 2D-3D».
- Розенхан, Б. «Оценка положения трехмерных контуров произвольной формы в конформной геометрии».
- Атитсос, В. «Оценка положения руки в 3D по загроможденному изображению».