Визуальная одометрия

В робототехнике и компьютерном зрении визуальная одометрия — это процесс определения положения и ориентации робота путем анализа связанных изображений с камеры. Он использовался в самых разных роботизированных приложениях, например, на марсоходах . ^{[ 1 ]}

Обзор

В навигации для одометрия — это использование данных о движении приводов для оценки изменения положения с течением времени с помощью таких устройств, как поворотные энкодеры, измерения вращения колес. Традиционные методы одометрии полезны для многих колесных и гусеничных транспортных средств, но не могут быть применены к мобильным роботам с нестандартными методами передвижения, таким как роботы с ногами . Кроме того, одометрия обычно страдает от проблем с точностью, поскольку колеса имеют тенденцию скользить по полу, создавая неравномерность пройденного расстояния по сравнению с поворотами колес. Ошибка усугубляется, когда автомобиль движется по негладким поверхностям. Показания одометрии становятся все более ненадежными, поскольку эти ошибки накапливаются и усугубляются с течением времени.

Визуальная одометрия — это процесс определения эквивалентной одометрической информации с использованием последовательных изображений с камеры для оценки пройденного расстояния. Визуальная одометрия позволяет повысить точность навигации роботов или транспортных средств, использующих любой тип передвижения на любом расстоянии. ^{[ нужна ссылка ]} поверхность.

Типы

Существуют различные типы ВО.

Монокуляр и стерео

В зависимости от настройки камеры VO можно разделить на монокулярный VO (одна камера), стерео VO (две камеры в стереосистеме).

Функциональный и прямой метод

Визуальная информация традиционного ВО получается с помощью метода, основанного на признаках, который извлекает характерные точки изображения и отслеживает их в последовательности изображений. Недавние разработки в области исследований VO предоставили альтернативу, названную прямым методом, который использует интенсивность пикселей в последовательности изображений непосредственно в качестве визуальных данных. Существуют также гибридные методы.

Визуальная инерционная одометрия

Если в системе VO используется инерциальный измерительный блок (IMU), его обычно называют визуальной инерционной одометрией (VIO).

Алгоритм

Большинство существующих подходов к визуальной одометрии основаны на следующих этапах.

Получение входных изображений: с использованием одной камеры ., ^{[ 2 ]}^{[ 3 ]} стереокамеры , ^{[ 3 ]}^{[ 4 ]} или всенаправленные камеры . ^{[ 5 ]}^{[ 6 ]}
Коррекция изображения: применение методов обработки изображений для устранения искажений объектива и т. д.
Обнаружение функций : определение операторов интересов, сопоставление функций по кадрам и построение оптического потока поля .
1. Извлечение признаков и корреляция.
  - Используйте корреляцию, а не долгосрочное отслеживание признаков , чтобы установить соответствие двух изображений.
2. Постройте поле оптического потока ( метод Лукаса-Канаде ).
Проверьте векторы поля потока на наличие потенциальных ошибок отслеживания и удалите выбросы. ^{[ 7 ]}
Оценка движения камеры по оптическому потоку. ^{[ 8 ]}^{[ 9 ]}^{[ 10 ]}^{[ 11 ]}
1. Вариант 1: фильтр Калмана для поддержания распределения оценок состояний.
2. Вариант 2: найдите геометрические и трехмерные свойства объектов, которые минимизируют функцию стоимости на основе ошибки повторного проецирования между двумя соседними изображениями. Это можно сделать путем математической минимизации или случайной выборки .
Периодическое заполнение точек трека для поддержания покрытия по всему изображению.

Альтернативой методам, основанным на признаках, является метод «прямой» или визуальной одометрии, основанный на внешнем виде, который сводит к минимуму ошибку непосредственно в пространстве датчиков и впоследствии позволяет избежать сопоставления и извлечения признаков. ^{[ 4 ]}^{[ 12 ]}^{[ 13 ]}

Другой метод, получивший название «визиодометрия», оценивает плоские ротационные перемещения между изображениями, используя фазовую корреляцию вместо извлечения признаков. ^{[ 14 ]}^{[ 15 ]}

Эгодвижение

Оценка эгодвижения с использованием обнаружения углов

Egomotion определяется как трехмерное движение камеры внутри окружающей среды. ^{[ 16 ]} В области компьютерного зрения эгодвижение относится к оценке движения камеры относительно жесткой сцены. ^{[ 17 ]} Примером оценки эгомоции может быть оценка движущегося автомобиля относительно линий на дороге или дорожных знаков, наблюдаемых из самого автомобиля. Оценка эгодвижений важна в приложениях навигации автономных роботов . ^{[ 18 ]}

Обзор

Цель оценки эгодвижения камеры — определить трехмерное движение этой камеры в окружающей среде с использованием последовательности изображений, снятых камерой. ^{[ 19 ]} Процесс оценки движения камеры в окружающей среде включает использование методов визуальной одометрии на последовательности изображений, снятых движущейся камерой. ^{[ 20 ]} Обычно это делается с помощью обнаружения признаков для построения оптического потока из двух кадров изображения в последовательности. ^{[ 16 ]} генерируются либо одиночными камерами, либо стереокамерами. ^{[ 20 ]} Использование пар стереоизображений для каждого кадра помогает уменьшить ошибку и предоставляет дополнительную информацию о глубине и масштабе. ^{[ 21 ]}^{[ 22 ]}

Характеристики обнаруживаются в первом кадре, а затем сопоставляются во втором кадре. Эта информация затем используется для создания поля оптического потока для обнаруженных объектов на этих двух изображениях. Поле оптического потока иллюстрирует, как объекты расходятся из одной точки, фокуса расширения . Фокус расширения можно обнаружить по полю оптического потока, указывая направление движения камеры и, таким образом, обеспечивая оценку движения камеры.

Существуют и другие методы извлечения информации об эгодвижении из изображений, в том числе метод, который позволяет избежать обнаружения особенностей и полей оптического потока и напрямую использует интенсивность изображения. ^{[ 16 ]}

См. также

Ссылки

^ Маймоне, М.; Ченг, Ю.; Мэттис, Л. (2007). «Два года визуальной одометрии на марсоходах» (PDF) . Журнал полевой робототехники . 24 (3): 169–186. CiteSeerX 10.1.1.104.3110 . дои : 10.1002/rob.20184 . S2CID 17544166 . Проверено 10 июля 2008 г.
^ Чанияра, Саван; КАСПАР АЛЬТОФЕР; ЛАКМАЛ Д. СЕНЕВИРАТНЕ (2008). «Техника визуальной одометрии с использованием идентификации кругового маркера для оценки параметров движения» . Достижения в области мобильной робототехники: материалы одиннадцатой международной конференции по альпинистским и шагающим роботам и технологиям поддержки мобильных машин, Коимбра, Португалия . Одиннадцатая международная конференция «Казающиеся и шагающие роботы и технологии поддержки мобильных машин» . Том. 11. World Scientific, 2008. Архивировано из оригинала 24 февраля 2012 г. Проверено 22 января 2010 г.
^ Jump up to: ^а ^б Нистер, Д; Народицкий О.; Берген, Дж. (январь 2004 г.). Визуальная одометрия . Компьютерное зрение и распознавание образов, 2004. CVPR 2004. Том. 1. С. I–652 – I–659 Том 1. дои : 10.1109/CVPR.2004.1315094 .
^ Jump up to: ^а ^б Компорт, А.И.; Малис, Э.; Ривс, П. (2010). Ф. Шометт; П. Корк; П. Ньюман (ред.). «Квадрифокальная визуальная одометрия в реальном времени». Международный журнал исследований робототехники . 29 (2–3): 245–266. CiteSeerX 10.1.1.720.3113 . дои : 10.1177/0278364909356601 . S2CID 15139693 .
^ Скарамуцца, Д.; Зигварт, Р. (октябрь 2008 г.). «Монокулярная всенаправленная визуальная одометрия с контролем внешнего вида для наземных транспортных средств». Транзакции IEEE в робототехнике . 24 (5): 1015–1026. дои : 10.1109/TRO.2008.2004490 . hdl : 20.500.11850/14362 . S2CID 13894940 .
^ Корк, П.; Стрелов, Д.; Сингх, С. «Всенаправленная визуальная одометрия для планетохода». Интеллектуальные роботы и системы, 2004 г. (IROS 2004). Слушания. 2004 Международная конференция IEEE/RSJ по . Том. 4. дои : 10.1109/IROS.2004.1390041 .
^ Кэмпбелл, Дж.; Суктанкар, Р.; Нурбахш И.; Питтсбург, И.Р. «Методы оценки оптического потока для визуальной одометрии в экстремальных условиях местности». Интеллектуальные роботы и системы, 2004 г. (IROS 2004). Слушания. 2004 Международная конференция IEEE/RSJ по . Том. 4. дои : 10.1109/IROS.2004.1389991 .
^ Сандерхауф, Н.; Конолиге, К.; Лакруа, С.; Протцель, П. (2005). «Визуальная одометрия с использованием регулировки разреженного пучка на автономном открытом транспортном средстве». В Леви; Шанц; Лафренц; Аврутин (ред.). Труды автономных мобильных систем 2005 (PDF) . Текущая серия «Информатика». Издательство Спрингер. стр. 157–163. Архивировано из оригинала (PDF) 11 февраля 2009 г. Проверено 10 июля 2008 г.
^ Конолиге, К.; Агравал, М.; Боллес, RC; Коуэн, К.; Фишлер, М.; Герки, BP (2008). «Наружное картографирование и навигация с использованием стереозрения». Экспериментальная робототехника . Спрингер Тракты в продвинутой робототехнике. Том. 39. стр. 179–190. дои : 10.1007/978-3-540-77457-0_17 . ISBN 978-3-540-77456-3 .
^ Олсон, CF; Мэттис, Л.; Шопперс, М.; Маймоне, М.В. (2002). «Навигация вездехода с использованием стереоэго-движения» (PDF) . Робототехника и автономные системы . 43 (4): 215–229. дои : 10.1016/s0921-8890(03)00004-6 . Проверено 6 июня 2010 г.
^ Ченг, Ю.; Маймоне, штат Вашингтон; Мэттис, Л. (2006). «Визуальная одометрия на марсоходах». Журнал IEEE «Робототехника и автоматизация» . 13 (2): 54–62. CiteSeerX 10.1.1.297.4693 . дои : 10.1109/MRA.2006.1638016 . S2CID 15149330 .
^ Энгель, Якоб; Шёпс, Томас; Кремерс, Дэниел (2014). «LSD-SLAM: крупномасштабный прямой монокуляр SLAM» (PDF) . Во Флоте Д.; Пайдла Т.; Шиле Б.; Туйтелаарс Т. (ред.). Компьютерное зрение . Европейская конференция по компьютерному зрению 2014. Конспекты лекций по информатике. Том. 8690. дои : 10.1007/978-3-319-10605-2_54 .
^ Энгель, Якоб; Штурм, Юрген; Кремерс, Дэниел (2013). «Полуплотная визуальная одометрия для монокулярной камеры» (PDF) . Международная конференция IEEE по компьютерному зрению (ICCV) . CiteSeerX 10.1.1.402.6918 . дои : 10.1109/ICCV.2013.183 .
^ Заман, М. (2007). «Высокоточная относительная локализация с использованием одной камеры». Робототехника и автоматизация, 2007. (ICRA 2007). Слушания. Международная конференция IEEE 2007 г. по . дои : 10.1109/РОБОТ.2007.364078 .
^ Заман, М. (2007). «Относительная локализация высокого разрешения с использованием двух камер». Журнал робототехники и автономных систем . 55 (9): 685–692. дои : 10.1016/j.robot.2007.05.008 .
^ Jump up to: ^а ^б ^с Ирани, М.; Руссо, Б.; Пелег С. (июнь 1994 г.). «Восстановление эго-движения с помощью стабилизации изображения» (PDF) . Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов : 21–23 . Проверено 7 июня 2010 г.
^ Бургер, В.; Бхану, Б. (ноябрь 1990 г.). «Оценка трехмерного эгодвижения по последовательности перспективных изображений». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 12 (11): 1040–1058. дои : 10.1109/34.61704 . S2CID 206418830 .
^ Шакерния, О.; Видаль, Р.; Шанкар, С. (2003). «Всенаправленная оценка эгодвижений на основе потока обратной проекции» (PDF) . Конференция по компьютерному зрению и распознаванию образов. Семинар . 7:82 . CiteSeerX 10.1.1.5.8127 . дои : 10.1109/CVPRW.2003.10074 . S2CID 5494756 . Проверено 7 июня 2010 г.
^ Тиан, Т.; Томази, К.; Хигер, Д. (1996). «Сравнение подходов к вычислению эгодвижений» (PDF) . Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов : 315. Архивировано из оригинала (PDF) 8 августа 2008 г. Проверено 7 июня 2010 г.
^ Jump up to: ^а ^б Милелла, А.; Зигварт, Р. (январь 2006 г.). «Оценка эго-движения на основе стерео с использованием отслеживания пикселей и итеративной ближайшей точки» (PDF) . Международная конференция IEEE по системам компьютерного зрения : 21. Архивировано из оригинала (PDF) 17 сентября 2010 г. Проверено 7 июня 2010 г.
^ Олсон, CF; Мэттис, Л.; Шопперс, М.; Маймонеб М.В. (июнь 2003 г.). «Навигация вездехода с использованием стереоэго-движения» (PDF) . Робототехника и автономные системы . 43 (9): 215–229. дои : 10.1016/s0921-8890(03)00004-6 . Проверено 7 июня 2010 г.
^ Судин Динеш, Котесвара Рао, К.; Унникришнан, М.; Бринда, В.; Лалитамбика, VR; Декан, М.В. « Усовершенствования алгоритма визуальной одометрии для марсоходов, предназначенных для исследования планет ». Международная конференция IEEE по новым тенденциям в области связи, управления, обработки сигналов и вычислительных приложений (C2SPCA), 2013 г.

[Maimone2007-1] Маймоне, М.; Ченг, Ю.; Мэттис, Л. (2007). «Два года визуальной одометрии на марсоходах» (PDF) . Журнал полевой робототехники . 24 (3): 169–186. CiteSeerX 10.1.1.104.3110 . дои : 10.1002/rob.20184 . S2CID 17544166 . Проверено 10 июля 2008 г.

[ChhaniyaraS-2] Чанияра, Саван; КАСПАР АЛЬТОФЕР; ЛАКМАЛ Д. СЕНЕВИРАТНЕ (2008). «Техника визуальной одометрии с использованием идентификации кругового маркера для оценки параметров движения» . Достижения в области мобильной робототехники: материалы одиннадцатой международной конференции по альпинистским и шагающим роботам и технологиям поддержки мобильных машин, Коимбра, Португалия . Одиннадцатая международная конференция «Казающиеся и шагающие роботы и технологии поддержки мобильных машин» . Том. 11. World Scientific, 2008. Архивировано из оригинала 24 февраля 2012 г. Проверено 22 января 2010 г.

[Nister:2004p211-3] Jump up to: ^а ^б Нистер, Д; Народицкий О.; Берген, Дж. (январь 2004 г.). Визуальная одометрия . Компьютерное зрение и распознавание образов, 2004. CVPR 2004. Том. 1. С. I–652 – I–659 Том 1. дои : 10.1109/CVPR.2004.1315094 .

[Comport10-4] Jump up to: ^а ^б Компорт, А.И.; Малис, Э.; Ривс, П. (2010). Ф. Шометт; П. Корк; П. Ньюман (ред.). «Квадрифокальная визуальная одометрия в реальном времени». Международный журнал исследований робототехники . 29 (2–3): 245–266. CiteSeerX 10.1.1.720.3113 . дои : 10.1177/0278364909356601 . S2CID 15139693 .

[ScaramuzzaIEEE-TRO08-5] Скарамуцца, Д.; Зигварт, Р. (октябрь 2008 г.). «Монокулярная всенаправленная визуальная одометрия с контролем внешнего вида для наземных транспортных средств». Транзакции IEEE в робототехнике . 24 (5): 1015–1026. дои : 10.1109/TRO.2008.2004490 . hdl : 20.500.11850/14362 . S2CID 13894940 .

[Corke-6] Корк, П.; Стрелов, Д.; Сингх, С. «Всенаправленная визуальная одометрия для планетохода». Интеллектуальные роботы и системы, 2004 г. (IROS 2004). Слушания. 2004 Международная конференция IEEE/RSJ по . Том. 4. дои : 10.1109/IROS.2004.1390041 .

[Campbell-7] Кэмпбелл, Дж.; Суктанкар, Р.; Нурбахш И.; Питтсбург, И.Р. «Методы оценки оптического потока для визуальной одометрии в экстремальных условиях местности». Интеллектуальные роботы и системы, 2004 г. (IROS 2004). Слушания. 2004 Международная конференция IEEE/RSJ по . Том. 4. дои : 10.1109/IROS.2004.1389991 .

[Sunderhauf2005-8] Сандерхауф, Н.; Конолиге, К.; Лакруа, С.; Протцель, П. (2005). «Визуальная одометрия с использованием регулировки разреженного пучка на автономном открытом транспортном средстве». В Леви; Шанц; Лафренц; Аврутин (ред.). Труды автономных мобильных систем 2005 (PDF) . Текущая серия «Информатика». Издательство Спрингер. стр. 157–163. Архивировано из оригинала (PDF) 11 февраля 2009 г. Проверено 10 июля 2008 г.

[Konolige2006-9] Конолиге, К.; Агравал, М.; Боллес, RC; Коуэн, К.; Фишлер, М.; Герки, BP (2008). «Наружное картографирование и навигация с использованием стереозрения». Экспериментальная робототехника . Спрингер Тракты в продвинутой робототехнике. Том. 39. стр. 179–190. дои : 10.1007/978-3-540-77457-0_17 . ISBN 978-3-540-77456-3 .

[Olson2002-10] Олсон, CF; Мэттис, Л.; Шопперс, М.; Маймоне, М.В. (2002). «Навигация вездехода с использованием стереоэго-движения» (PDF) . Робототехника и автономные системы . 43 (4): 215–229. дои : 10.1016/s0921-8890(03)00004-6 . Проверено 6 июня 2010 г.

[Cheng2006-11] Ченг, Ю.; Маймоне, штат Вашингтон; Мэттис, Л. (2006). «Визуальная одометрия на марсоходах». Журнал IEEE «Робототехника и автоматизация» . 13 (2): 54–62. CiteSeerX 10.1.1.297.4693 . дои : 10.1109/MRA.2006.1638016 . S2CID 15149330 .

[12] Энгель, Якоб; Шёпс, Томас; Кремерс, Дэниел (2014). «LSD-SLAM: крупномасштабный прямой монокуляр SLAM» (PDF) . Во Флоте Д.; Пайдла Т.; Шиле Б.; Туйтелаарс Т. (ред.). Компьютерное зрение . Европейская конференция по компьютерному зрению 2014. Конспекты лекций по информатике. Том. 8690. дои : 10.1007/978-3-319-10605-2_54 .

[13] Энгель, Якоб; Штурм, Юрген; Кремерс, Дэниел (2013). «Полуплотная визуальная одометрия для монокулярной камеры» (PDF) . Международная конференция IEEE по компьютерному зрению (ICCV) . CiteSeerX 10.1.1.402.6918 . дои : 10.1109/ICCV.2013.183 .

[ZamanICRA-14] Заман, М. (2007). «Высокоточная относительная локализация с использованием одной камеры». Робототехника и автоматизация, 2007. (ICRA 2007). Слушания. Международная конференция IEEE 2007 г. по . дои : 10.1109/РОБОТ.2007.364078 .

[ZamanJRAS-15] Заман, М. (2007). «Относительная локализация высокого разрешения с использованием двух камер». Журнал робототехники и автономных систем . 55 (9): 685–692. дои : 10.1016/j.robot.2007.05.008 .

[irani-16] Jump up to: ^а ^б ^с Ирани, М.; Руссо, Б.; Пелег С. (июнь 1994 г.). «Восстановление эго-движения с помощью стабилизации изображения» (PDF) . Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов : 21–23 . Проверено 7 июня 2010 г.

[17] Бургер, В.; Бхану, Б. (ноябрь 1990 г.). «Оценка трехмерного эгодвижения по последовательности перспективных изображений». Транзакции IEEE по анализу шаблонов и машинному интеллекту . 12 (11): 1040–1058. дои : 10.1109/34.61704 . S2CID 206418830 .

[18] Шакерния, О.; Видаль, Р.; Шанкар, С. (2003). «Всенаправленная оценка эгодвижений на основе потока обратной проекции» (PDF) . Конференция по компьютерному зрению и распознаванию образов. Семинар . 7:82 . CiteSeerX 10.1.1.5.8127 . дои : 10.1109/CVPRW.2003.10074 . S2CID 5494756 . Проверено 7 июня 2010 г.

[19] Тиан, Т.; Томази, К.; Хигер, Д. (1996). «Сравнение подходов к вычислению эгодвижений» (PDF) . Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов : 315. Архивировано из оригинала (PDF) 8 августа 2008 г. Проверено 7 июня 2010 г.

[milella-20] Jump up to: ^а ^б Милелла, А.; Зигварт, Р. (январь 2006 г.). «Оценка эго-движения на основе стерео с использованием отслеживания пикселей и итеративной ближайшей точки» (PDF) . Международная конференция IEEE по системам компьютерного зрения : 21. Архивировано из оригинала (PDF) 17 сентября 2010 г. Проверено 7 июня 2010 г.

[olson-21] Олсон, CF; Мэттис, Л.; Шопперс, М.; Маймонеб М.В. (июнь 2003 г.). «Навигация вездехода с использованием стереоэго-движения» (PDF) . Робототехника и автономные системы . 43 (9): 215–229. дои : 10.1016/s0921-8890(03)00004-6 . Проверено 7 июня 2010 г.

[22] Судин Динеш, Котесвара Рао, К.; Унникришнан, М.; Бринда, В.; Лалитамбика, VR; Декан, М.В. « Усовершенствования алгоритма визуальной одометрии для марсоходов, предназначенных для исследования планет ». Международная конференция IEEE по новым тенденциям в области связи, управления, обработки сигналов и вычислительных приложений (C2SPCA), 2013 г.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]

[ 18 ]

[ 19 ]

[ 20 ]

[ 21 ]

[ 22 ]