✖


Jump to content

Структура из движения

Не путать со структурой из движения (психофизика) .

Структура из движения ( SfM ) [1] представляет собой метод фотограмметрической визуализации диапазона для оценки трехмерных структур на основе последовательностей двумерных изображений, которые могут быть связаны с локальными сигналами движения . Он изучается в области компьютерного зрения и зрительного восприятия .

Принцип [ править ]

Цифровая модель поверхности на автомагистрали развязки строительной
Реальное фото x SfM с цветом текстуры x SfM с простым шейдером. Сделано с помощью графического пользовательского интерфейса Python Photogrammetry Toolbox и визуализировано в Blender с помощью Cycles.
аэродрома Безмехова Цифровая 3D-модель поверхности , полученная на основе данных, собранных во время 30-минутного полета БПЛА Pteryx.

Люди воспринимают большой объем информации о трехмерной структуре окружающей среды, перемещаясь по ней. Когда наблюдатель движется, объекты вокруг него перемещаются на разную величину в зависимости от расстояния до наблюдателя. Это известно как параллакс движения , и информация об этой глубине может быть использована для создания точного трехмерного представления окружающего мира. [2]

Поиск структуры по движению представляет собой ту же проблему, что и поиск структуры по стереозрению . соответствие между изображениями и реконструкцией В обоих случаях необходимо найти трехмерного объекта.

Чтобы найти соответствие между изображениями, такие функции, как угловые точки (края с градиентами в нескольких направлениях), отслеживаются от одного изображения к другому. Одним из наиболее широко используемых детекторов признаков является масштабно-инвариантное преобразование признаков (SIFT). В качестве признаков он использует максимумы пирамиды разности гауссиан (DOG). Первым шагом в SIFT является поиск доминирующего направления градиента. Чтобы сделать его инвариантным к вращению, дескриптор поворачивается в соответствии с этой ориентацией. [3] Еще одним распространенным детектором функций является SURF ( ускоренные надежные функции ). [4] В SURF DOG заменен детектором капель на основе матрицы Гессе . Кроме того, вместо оценки гистограмм градиента SURF вычисляет суммы компонентов градиента и суммы их абсолютных значений. [5] Использование интегральных изображений позволяет чрезвычайно быстро обнаруживать особенности с высокой скоростью обнаружения. [6] Таким образом, по сравнению с SIFT, SURF является более быстрым детектором объектов с недостатком меньшей точности определения положения объектов. [5] Другой тип особенностей, недавно ставший практичным для структур, основанных на движении, — это общие кривые (например, локально край с градиентом в одном направлении), часть технологии, известной как бессмысленная SfM . [7] [8] полезно, когда точечные характеристики недостаточны, что часто встречается в искусственных средах. [9]

Затем функции, обнаруженные на всех изображениях, будут сопоставлены. Одним из алгоритмов сопоставления, отслеживающих особенности одного изображения в другом, является трекер Лукаса-Канаде . [10]

Иногда некоторые из совпадающих функций сопоставляются неправильно. Вот почему совпадения также следует фильтровать. RANSAC (консенсус случайной выборки) — это алгоритм, который обычно используется для удаления выбросов. В статье Фишлера и Боллеса RANSAC используется для решения задачи определения местоположения (LDP), целью которой является определение точек в пространстве, которые проецируются на изображение в набор ориентиров с известными местоположениями. [11]

Траектории объектов с течением времени затем используются для реконструкции их трехмерных положений и движения камеры. [12] Альтернативой являются так называемые прямые подходы, при которых геометрическая информация (3D-структура и движение камеры) оценивается непосредственно из изображений, без промежуточной абстракции к особенностям или углам. [13]

Существует несколько подходов к построению структуры из движения. В пошаговом SfM, [14] Позы камеры решены и добавлены в коллекцию одна за другой. В глобальном СФМ, [15] [16] Позы всех камер решаются одновременно. Несколько промежуточным подходом является SfM вне ядра , при котором вычисляется несколько частичных реконструкций, которые затем интегрируются в глобальное решение.

Приложения [ править ]

Геонауки [ править ]

Фотограмметрия структуры по движению с многопроекционным стереоскопическим изображением обеспечивает гипермасштабные модели рельефа с использованием изображений, полученных с ряда цифровых камер и, при необходимости, с сети наземных контрольных точек. Этот метод не ограничен во временной частоте и может предоставить данные облака точек, сравнимые по плотности и точности с данными, генерируемыми наземным и воздушным лазерным сканированием, за небольшую часть стоимости. [17] [18] [19] Структура движения также полезна в удаленных или труднодоступных местах, где наземное лазерное сканирование ограничено портативностью оборудования, а лазерное сканирование с воздуха ограничено неровностями местности, что приводит к потере данных и ракурсу изображения. Этот метод применялся во многих местах, таких как реки, [20] бесплодные земли, [21] песчаные береговые линии, [22] [23] зоны разломов, [24] оползни, [25] [26] и настройки кораллового рифа. [27] SfM также успешно применяется для оценки изменений [28] и большой объем накопления древесины [29] и пористость [30] в речных системах - характеристика массивов горных пород путем определения некоторых свойств, таких как ориентация, стойкость и т. д. разрывов. [31] [32] а также для оценки устойчивости откосов горных пород. [33] Можно использовать полный спектр цифровых камер, включая цифровые зеркальные фотокамеры, компактные цифровые камеры и даже смартфоны. Однако, как правило, данные более высокой точности можно получить с помощью более дорогих камер, которые оснащены объективами более высокого оптического качества. Таким образом, этот метод предлагает захватывающие возможности для описания топографии поверхности с беспрецедентной детализацией и, с помощью многовременных данных, для обнаружения изменений высоты, положения и объема, которые являются симптомами процессов на земной поверхности. Структуру из движения можно рассматривать в контексте других методов цифровой съемки.

Культурное наследие [ править ]

Культурное наследие присутствует повсюду. Его структурный контроль, документирование и сохранение — одна из главных обязанностей человечества ( ЮНЕСКО ). С этой точки зрения SfM используется для правильной оценки ситуаций, а также планирования и затрат на техническое обслуживание, контроля и восстановления. Поскольку часто существуют серьезные ограничения, связанные с доступностью объекта и невозможностью установки инвазивных геодезических столбов, которые не позволяют использовать традиционные методы съемки (например, тахеометры), SfM обеспечивает неинвазивный подход к конструкции без прямого взаимодействия. между структурой и любым оператором. Использование является точным, поскольку необходимы только качественные соображения. Это достаточно быстро, чтобы отреагировать на неотложные потребности управления памятником. [34] Первый этап работы – это точная подготовка к фотограмметрической съемке, где устанавливается соотношение между наилучшим расстоянием от объекта, фокусным расстоянием, расстоянием отбора проб грунта (ДЗМ) и разрешением датчика. Используя эту информацию, запрограммированные фотографические снимки должны выполняться с перекрытием по вертикали не менее 60 % (рисунок 02). [35]

Кроме того, фотограмметрия структуры по движению представляет собой неинвазивный, очень гибкий и недорогой метод оцифровки исторических документов. [36]

См. также [ править ]

Ссылки [ править ]

  1. ^ С. Ульман (1979). «Интерпретация структуры по движению» (PDF) . Труды Лондонского королевского общества . 203 (1153): 405–426. Бибкод : 1979РСПСБ.203..405У . дои : 10.1098/rspb.1979.0006 . hdl : 1721.1/6298 . ПМИД   34162 . S2CID   11995230 .
  2. ^ Линда Г. Шапиро ; Джордж С. Стокман (2001). Компьютерное зрение . Прентис Холл. ISBN  978-0-13-030796-5 .
  3. ^ Д.Г. Лоу (2004). «Отличительные особенности изображения по масштабно-инвариантным ключевым точкам». Международный журнал компьютерного зрения . 60 (2): 91–110. CiteSeerX   10.1.1.73.2924 . дои : 10.1023/b:visi.0000029664.99615.94 . S2CID   221242327 .
  4. ^ Х. Бэй; Т. Туителаарс и Л. Ван Гул (2006). «Серфинг: ускорены надежные функции». 9-я Европейская конференция по компьютерному зрению .
  5. ↑ Перейти обратно: Перейти обратно: а б К. Хэминг и Г. Петерс (2010). «Конвейер реконструкции структуры по движению – исследование с акцентом на короткие последовательности изображений» . Кибернетика . 46 (5): 926–937.
  6. ^ Виола, П.; Джонс, М. (2001). «Быстрое обнаружение объектов с использованием расширенного каскада простых функций» . Материалы конференции IEEE Computer Society 2001 года по компьютерному зрению и распознаванию образов. ЦВПР 2001 . Том. 1. Кауаи, Гавайи, США: IEEE Comput. Соц. стр. I–511–I-518. дои : 10.1109/CVPR.2001.990517 . ISBN  978-0-7695-1272-3 . S2CID   2715202 .
  7. ^ Нурутдинова, Андрей; Фитцгиббон, Эндрю (2015). «К бессмысленной структуре из движения: 3D-реконструкция и параметры камеры на основе общих 3D-кривых» (PDF) . Международная конференция IEEE по компьютерному зрению (ICCV) , 2015 г. стр. 2363–2371. дои : 10.1109/ICCV.2015.272 . ISBN  978-1-4673-8391-2 . S2CID   9120123 .
  8. ^ Фаббри, Рикардо; Гиблин, Питер; Кимия, Бенджамин (2012). «Оценка положения камеры с использованием дифференциальной геометрии кривой первого порядка». Компьютерное зрение – ECCV 2012 (PDF) . Конспекты лекций по информатике. Том. 7575. стр. 231–244. дои : 10.1007/978-3-642-33765-9_17 . ISBN  978-3-642-33764-2 . S2CID   15402824 .
  9. ^ Apple, команда АРКИТ (2018). «Понимание отслеживания и обнаружения ARKit» . WWDC .
  10. ^ Б.Д. Лукас и Т. Канаде. «Итеративный метод регистрации изображений с применением к стереозрению». Иджкай81 .
  11. ^ М. А. Фишлер и Р. К. Боллес (1981). «Консенсус случайной выборки: парадигма подбора модели с приложениями для анализа изображений и автоматизированной картографии» . Коммун. АКМ . 24 (6): 381–395. дои : 10.1145/358669.358692 . S2CID   972888 .
  12. ^ Ф. Делларт; С. Зейтц; К. Торп и С. Трун (2000). «Структура из движения без соответствия» (PDF) . Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов .
  13. ^ Энгель, Якоб; Шёпс, Томас; Кремерс, Дэниел (2014). «LSD-SLAM: крупномасштабный прямой монокуляр SLAM». Европейская конференция по компьютерному зрению (ECCV), 2014 г. (PDF) .
  14. ^ Дж. Л. Шенбергер и Дж. М. Фрам (2016). «Возвращение к структуре из движения» (PDF) . Конференция IEEE Computer Society по компьютерному зрению и распознаванию образов .
  15. ^ К. Томази и Т. Канаде (1992). «Форма и движение потоков изображений в условиях орфографии: метод факторизации». Международный журнал компьютерного зрения . 9 (2): 137–154. CiteSeerX   10.1.1.131.9807 . дои : 10.1007/BF00129684 . S2CID   2931825 .
  16. ^ В.М. Говинду (2001). «Объединение ограничений двух представлений для оценки движения». Материалы конференции IEEE Computer Society 2001 года по компьютерному зрению и распознаванию образов. ЦВПР 2001 . Том. 2. С. II-218–II-225. дои : 10.1109/CVPR.2001.990963 . ISBN  0-7695-1272-0 . S2CID   8252027 .
  17. ^ Вестоби, MJ; Брэсингтон, Дж.; Глассер, штат Нью-Йорк; Хэмбри, MJ; Рейнольдс, Дж. М. (15 декабря 2012 г.). « Фотограмметрия «Структура из движения»: недорогой и эффективный инструмент для геонаучных приложений» . Геоморфология . 179 : 300–314. Бибкод : 2012Geomo.179..300W . дои : 10.1016/j.geomorph.2012.08.021 . hdl : 2160/11389 . S2CID   33695861 .
  18. ^ Джеймс, MR; Робсон, С. (1 сентября 2012 г.). «Простая реконструкция трехмерных поверхностей и топографии с помощью камеры: точность и применение в геолого-геофизических исследованиях» (PDF) . Журнал геофизических исследований: Поверхность Земли . 117 (Ф3): F03017. Бибкод : 2012JGRF..117.3017J . дои : 10.1029/2011jf002289 . ISSN   2156-2202 .
  19. ^ Фонстад, Марк А.; Дитрих, Джеймс Т.; Курвиль, Бретань К.; Дженсен, Дженнифер Л.; Карбонно, Патрис Э. (30 марта 2013 г.). «Топографическая структура из движения: новая разработка в фотограмметрических измерениях» (PDF) . Процессы на поверхности Земли и формы рельефа . 38 (4): 421–430. Бибкод : 2013ESPL...38..421F . дои : 10.1002/особенно 3366 . ISSN   1096-9837 . S2CID   15601931 .
  20. ^ Джаверник, Л.; Брэсингтон, Дж.; Карузо, Б. (2014). «Моделирование топографии мелководных разветвленных рек с использованием фотограмметрии структуры из движения». Геоморфология . 213 : 166–182. Бибкод : 2014Geomo.213..166J . дои : 10.1016/j.geomorph.2014.01.006 .
  21. ^ Смит, Марк Уильям; Верикат, Дамиа (30 сентября 2015 г.). «От экспериментальных участков к экспериментальным ландшафтам: топография, эрозия и отложения на субвлажных бесплодных землях на основе фотограмметрии структуры из движения» (PDF) . Процессы на поверхности Земли и формы рельефа . 40 (12): 1656–1671. Бибкод : 2015ESPL...40.1656S . дои : 10.1002/особенно 3747 . ISSN   1096-9837 . S2CID   128402144 .
  22. ^ Гольдштейн, Эван Б; Оливер, Эмбер Р.; де Врис, Эльсемари; Мур, Лаура Дж; Джасс, Тео (22 октября 2015 г.). «Требования к наземным опорным точкам для топографии, полученной на основе данных о движении в прибрежных районах с небольшим уклоном» . Препринты PeerJ . doi : 10.7287/peerj.preprints.1444v1 . ISSN   2167-9843 .
  23. ^ Манчини, Франческо; Дуббини, Марко; Гаттелли, Марио; Стекки, Франческо; Фаббри, Стефано; Габбианелли, Джованни (9 декабря 2013 г.). «Использование беспилотных летательных аппаратов (БПЛА) для реконструкции топографии с высоким разрешением: структура на основе движения в прибрежной среде» . Дистанционное зондирование . 5 (12): 6880–6898. Бибкод : 2013RemS....5.6880M . дои : 10.3390/rs5126880 . hdl : 11380/1055514 .
  24. ^ Джонсон, Кендра; Ниссен, Эдвин; Сарипалли, Шрикант; Эроусмит, Дж. Рамон; МакГари, Патрик; Шарер, Кэтрин; Уильямс, Патрик; Блиснюк, Кимберли (1 октября 2014 г.). «Быстрое картирование топографии ультратонкой зоны разломов со структурой из движения» . Геосфера . 10 (5): 969–986. Бибкод : 2014Geosp..10..969J . дои : 10.1130/GES01017.1 .
  25. ^ Дель Солдато, М.; Рикельме, А.; Бьянкини, С.; Томас, Р.; Ди Мартире, Д.; Де Вита, П.; Моретти, С.; Калькатерра, Д. (6 июня 2018 г.). «Интеграция данных из нескольких источников для исследования эволюции оползня Аньоне (Молизе, южная Италия) за столетие» . Оползни . 15 (11): 2113–2128. Бибкод : 2018Земли..15.2113D . дои : 10.1007/s10346-018-1015-z . HDL : 2158/1131012 . ISSN   1612-510X .
  26. ^ Томас, Роберто; Пиньейру, Мариса; Пинто, Педро; Перейра, Эдуардо; Миранда, Тьяго (август 2023 г.). «Предварительный анализ механизмов, характеристик и причин недавнего катастрофического структурно контролируемого планарного оползня горных пород в Эшпосенде (северная Португалия)» . Оползни . 20 (8): 1657–1665. Бибкод : 2023Земли..20.1657Т . дои : 10.1007/s10346-023-02082-y . hdl : 1822/88576 . ISSN   1612-510X .
  27. ^ Брайсон, Митч; Дуче, Стефани; Харрис, Дэн; Вебстер, Джоди М.; Томпсон, Алиша; Вила-Консехо, Ана; Уильямс, Стефан Б. (2016). «Геоморфические изменения кораллового рифа, измеренные с помощью аэрофотосъемки с помощью воздушного змея». Геоморфология . 270 : 1–8. Бибкод : 2016Geomo.270....1B . дои : 10.1016/j.geomorph.2016.06.018 .
  28. ^ Конеса-Гарсия, Кармело; Пуч-Менгуаль, Карлос; Рикельме, Адриан; Томас, Роберто; Мартинес-Капель, Франциско; Гарсиа-Лоренцо, Рафаэль; Пастор Хосе Л.; Перес-Кутильяс, Педро; Мартинес-Сальвадор, Альберто; Кано-Гонсалес, Мигель (01 февраля 2022 г.). «Изменения мощности потока и морфологические корректировки в масштабе события и с высоким пространственным разрешением вдоль эфемерного канала с гравийным слоем» . Геоморфология . 398 : 108053. Бибкод : 2022Geomo.39808053C . дои : 10.1016/j.geomorph.2021.108053 . HDL : 10251/190056 . ISSN   0169-555X .
  29. ^ Шпрейцер, Габриэль; Танниклифф, Джон; Фридрих, Хайде (01 декабря 2019 г.). «Использование фотограмметрии Structure from Motion для оценки крупных скоплений древесины (LW) в поле». Геоморфология . 346 : 106851. Бибкод : 2019Geomo.34606851S . дои : 10.1016/j.geomorph.2019.106851 . S2CID   202908775 .
  30. ^ Шпрейцер, Габриэль; Танниклифф, Джон; Фридрих, Хайде (2020). «Трехмерное картирование и оценка накопления крупной древесины (LW) с использованием структуры, полученной при фотограмметрии движения в лаборатории». Журнал гидрологии . 581 : 124430. Бибкод : 2020JHyd..58124430S . doi : 10.1016/j.jгидроl.2019.124430 . S2CID   209465940 .
  31. ^ Рикельме, А.; Кано, М.; Томас, Р.; Абеллан, А. (01 января 2017 г.). «Идентификация наборов разрывов горных склонов с помощью лазерного сканера и фотограмметрических облаков точек: сравнительный анализ» . Процедия Инжиниринг . 191 : 838–845. дои : 10.1016/j.proeng.2017.05.251 . hdl : 10045/67538 . ISSN   1877-7058 .
  32. ^ Хорда Бордехоре, Луис; Рикельме, Адриан; Кано, Мигель; Томас, Роберто (01 сентября 2017 г.). «Сравнение сбора данных о неоднородностях поля вручную и дистанционного зондирования, используемого при оценке кинематической устойчивости обрушившихся скальных откосов» (PDF) . Международный журнал механики горных пород и горных наук . 97 : 24–32. Бибкод : 2017IJRMM..97...24J . дои : 10.1016/j.ijrmms.2017.06.004 . hdl : 10045/67528 . ISSN   1365-1609 .
  33. ^ Томас, Р.; Рикельме, А.; Кано, М.; Пастор, Дж.Л. Паган, Дж.И.; Асенсио, JL; Руффо, М. (23 июня 2020 г.). «Оценка устойчивости скальных откосов по 3D облакам точек, полученным с помощью беспилотного летательного аппарата» . Журнал дистанционного зондирования (55): 1. doi : 10.4995/raet.2020.13168 . hdl : 10045/107612 . ISSN   1988-8740 .
  34. ^ Гуиди. Г.; Бералдин, Дж.А.; Ацени, К. Высокоточное 3D-моделирование культурного наследия: оцифровка Донателло. IEEE Транс. Процесс изображения. 2004, 13, 370–380
  35. ^ Краус, К., 2007. Фотограмметрия: геометрия по изображениям и лазерным сканированиям. Вальтер де Грюйтер, 459 стр. ISBN   978-3-11-019007-6
  36. ^ Брандолини, Филиппо; Патрукко, Джакомо (сентябрь 2019 г.). «Фотограмметрия структуры из движения (SFM) как неинвазивная методология оцифровки исторических документов: очень гибкий и недорогой подход?» . Наследство . 2 (3): 2124–2136. дои : 10.3390/heritage2030128 . hdl : 2434/666172 .

Дальнейшее чтение [ править ]

  • Джонатан Л. Карривик, Марк В. Смит, Дункан Дж. Куинси (2016). Структура движения в науках о Земле . Уайли-Блэквелл. 208 страниц. ISBN   978-1-118-89584-9
  • Ричард Хартли и Эндрю Зиссерман (2003). Множественная геометрия в компьютерном зрении . Издательство Кембриджского университета. ISBN  978-0-521-54051-3 .
  • Оливье Фожерас , Куанг-Туан Луонг и Теодор Пападопуло (2001). Геометрия нескольких изображений . МТИ Пресс. ISBN  978-0-262-06220-6 .
  • Йи Ма; С. Шанкар Шастри ; Яна Косецка ; Стефано Соатто (ноябрь 2003 г.). Приглашение к трехмерному видению: от изображений к геометрическим моделям . Серия «Междисциплинарная прикладная математика», № 26. Спрингер-Верлаг Нью-Йорк, ООО. ISBN  978-0-387-00893-6 .
Retrieved from "https://en.wikipedia.org/w/index.php?title=Structure_from_motion&oldid=1229889416"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 22d728ac68a99d8e7964b089c2b74e2d__1718771280
URL1:https://arc.ask3.ru/arc/aa/22/2d/22d728ac68a99d8e7964b089c2b74e2d.html
Заголовок, (Title) документа по адресу, URL1:
Structure from motion - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)