3D-сканер со структурированным светом

3D -сканер со структурированным светом — это устройство 3D-сканирования для измерения трехмерной формы объекта с использованием проецируемых световых узоров и системы камер . ^[1]

Источник света от головки сканера проецирует серию параллельных узоров на объект сканирования. Когда свет проецируется на поверхность объекта, узоры искажаются. Камеры захватывают эти изображения и отправляют их в программу 3D-сканирования для обработки.

Принцип [ править ]

Проецирование узкой полосы света на трехмерную поверхность создает линию освещения, которая кажется искаженной с других точек зрения, кроме перспективы проектора, и может использоваться для геометрической реконструкции формы поверхности (светового сечения).

Более быстрым и универсальным методом является проецирование узоров, состоящих сразу из множества полос или произвольных полос, поскольку это позволяет одновременно получать множество образцов. Если смотреть с разных точек зрения, узор кажется геометрически искаженным из-за формы поверхности объекта.

Хотя возможны многие другие варианты структурированной световой проекции, широко используются узоры из параллельных полос. На рисунке показана геометрическая деформация одной полосы, проецируемая на простую трехмерную поверхность. Смещение полос позволяет точно получить трехмерные координаты любых деталей на поверхности объекта.

Генерация световых узоров [ править ]

Система записи рисунка бахромы с двумя камерами (объезд препятствий)

Были созданы два основных метода создания полосового рисунка: лазерная интерференция и проекция.

Метод лазерной интерференции работает с двумя широкими плоскими фронтами лазерного луча. Их интерференция приводит к образованию правильных, равноотстоящих друг от друга линий. Различные размеры узоров можно получить, изменяя угол между этими лучами. Этот метод позволяет точно и легко создавать очень мелкие узоры с неограниченной глубиной резкости. Недостатками являются высокая стоимость реализации, трудности с обеспечением идеальной геометрии луча и типичные для лазера эффекты, такие как спекл-шум и возможная самоинтерференция с частями луча, отраженными от объектов. Как правило, не существует средств модуляции отдельных полос, например, с помощью кодов Грея.

Метод проекции использует некогерентный свет и по сути работает как видеопроектор . Узоры обычно генерируются путем прохождения света через цифровой пространственный модулятор света , обычно основанный на одной из трех наиболее распространенных в настоящее время технологий цифровой проекции: пропускающий жидкий кристалл , отражающий жидкий кристалл на кремнии (LCOS) или цифровая обработка света (DLP; движущееся микрозеркало). ) модуляторы, которые имеют различные сравнительные преимущества и недостатки для данного применения. Однако могли использоваться и использовались другие методы проецирования.

Узоры, генерируемые цифровыми проекторами, имеют небольшие разрывы из-за границ пикселей на дисплеях. Однако достаточно малыми границами можно практически пренебречь, поскольку они сглаживаются малейшей расфокусировкой.

Типичный измерительный блок состоит из одного проектора и как минимум одной камеры. Во многих случаях полезно использовать две камеры, расположенные на противоположных сторонах проектора.

Невидимый (или незаметный ) структурированный свет использует структурированный свет, не мешая другим задачам компьютерного зрения, для которых проецируемый рисунок может сбить с толку. Примеры методов включают использование инфракрасного света или чрезвычайно высокой частоты кадров, чередующихся между двумя совершенно противоположными схемами. ^[2]

Калибровка [ править ]

Геометрические искажения оптики и перспективы должны компенсироваться калибровкой измерительной аппаратуры с использованием специальных калибровочных шаблонов и поверхностей. Математическая модель используется для описания свойств изображения проектора и камер. По существу, основанная на простых геометрических свойствах камеры -обскуры , модель также должна учитывать геометрические искажения и оптические аберрации объективов проектора и камеры. Параметры камеры, а также ее ориентацию в пространстве можно определить путем серии калибровочных измерений с использованием фотограмметрической настройки связки .

Анализ узоров полос [ править ]

В наблюдаемых полосатых рисунках содержится несколько признаков глубины. Смещение любой отдельной полосы можно напрямую преобразовать в трехмерные координаты. Для этого необходимо идентифицировать отдельную полосу, что может быть достигнуто, например, путем отслеживания или подсчета полос (метод распознавания образов). Другой распространенный метод предполагает чередующиеся узоры полос, в результате чего двоичные последовательности кода Грея определяют количество каждой отдельной полосы, попадающей на объект. Важным показателем глубины также является разная ширина полос вдоль поверхности объекта. Ширина полосы является функцией крутизны части поверхности, т.е. первой производной высоты. Частота и фаза полосы дают схожие сигналы и могут быть проанализированы с помощью преобразования Фурье . Наконец, вейвлет-преобразование с той же целью недавно обсуждалось .

Во многих практических реализациях для полной и однозначной реконструкции форм получаются серии измерений, сочетающие распознавание образов, коды Грея и преобразование Фурье.

Был продемонстрирован другой метод, также относящийся к области проецирования полос, с использованием глубины резкости камеры. ^[3]

Также возможно использовать проецируемые узоры в первую очередь как средство вставки структуры в сцены, по существу, для фотограмметрического сбора данных.

Точность и дальность [ править ]

Оптическое разрешение методов проецирования полос зависит от ширины используемых полос и их оптического качества. Оно также ограничено длиной волны света.

Чрезмерное уменьшение ширины полос оказывается неэффективным из-за ограничений глубины резкости, разрешения камеры и разрешения дисплея. Поэтому широкое распространение получил метод фазового сдвига: делается не менее 3, обычно около 10 кадров со слегка сдвинутыми полосами. Первые теоретические выводы этого метода основывались на полосах с синусоидальной модуляцией интенсивности, но эти методы работают и с «прямоугольными» модулированными полосами, которые также передаются с ЖК- или DLP-дисплеев. Путем фазового сдвига можно разрешить детализацию поверхности, например, 1/10 шага полос.

Таким образом, современная оптическая профилометрия полосового рисунка позволяет получать детализированные разрешения вплоть до длины волны света, что на практике ниже 1 микрометра, или, при более крупных полосовых рисунках, до прибл. 1/10 ширины полосы. Что касается точности уровня, интерполяция по нескольким пикселям полученного изображения с камеры может обеспечить надежное разрешение по высоте, а также точность до 1/50 пикселя.

Объекты произвольного размера можно измерить с помощью соответствующих полос и настроек. Практическое применение документировано для объектов размером в несколько метров.

Типичные показатели точности:

Плоскостность поверхности шириной 2 фута (0,61 м) до 10 микрометров (0,00039 дюйма).
Форма камеры сгорания мотора до 2 микрометров (7,9 × 10 ⁻⁵ in) (высота), что обеспечивает точность объема в 10 раз выше, чем при объемном дозировании.
Форма объекта размером от 2 дюймов (51 мм) до примерно 1 микрометра (3,9 × 10 ⁻⁵ в)
Радиус кромки лезвия, например, от 10 микрометров (0,00039 дюйма) до ±0,4 мкм.

Навигация [ править ]

Поскольку этот метод позволяет одновременно измерять формы только с одной точки зрения, полные трехмерные формы необходимо комбинировать из разных измерений под разными углами. Этого можно добиться, прикрепив точки-маркеры к объекту и впоследствии объединив перспективы путем сопоставления этих маркеров. Процесс можно автоматизировать, установив объект на поворотный стол с электроприводом или с ЧПУ устройство позиционирования . Маркеры также можно наносить на устройство позиционирования вместо самого объекта.

Собранные 3D-данные можно использовать для извлечения данных и моделей САПР (компьютерного проектирования) из существующих компонентов ( обратное проектирование ), образцов или скульптур ручной работы, природных объектов или артефактов.

Проблемы [ править ]

Как и все оптические методы, отражающие или прозрачные поверхности вызывают трудности. Отражения приводят к тому, что свет отражается либо от камеры, либо прямо в ее оптику. В обоих случаях может быть превышен динамический диапазон камеры. Прозрачные или полупрозрачные поверхности также вызывают серьезные трудности. В этих случаях обычной практикой является покрытие поверхностей тонким непрозрачным лаком только для целей измерения. Последний метод позволяет обрабатывать сильно отражающие и зеркальные объекты путем вставки одномерного рассеивателя между источником света (например, проектором) и сканируемым объектом. ^[4] Альтернативные оптические методы были предложены для обработки идеально прозрачных и зеркальных объектов. ^[5]

Двойные и взаимные отражения могут привести к наложению на полосатый рисунок нежелательного света, что полностью исключает вероятность правильного обнаружения. Поэтому обращение с отражающими полостями и вогнутыми объектами затруднено. Также трудно обращаться с полупрозрачными материалами, такими как кожа, мрамор, воск, растения и ткани человека, из-за явления подповерхностного рассеяния. Недавно сообщество специалистов по компьютерному зрению предприняло попытку справиться с такими оптически сложными сценами путем изменения схемы освещения. ^[6] Эти методы показали многообещающие результаты 3D-сканирования традиционно сложных объектов, таких как очень зеркальные металлические вогнутости и полупрозрачные восковые свечи. ^[7]

Скорость [ править ]

Хотя в большинстве вариантов структурированного освещения для каждого снимка необходимо сделать несколько шаблонов, для ряда приложений доступны высокоскоростные реализации, например:

Поточный прецизионный контроль компонентов в ходе производственного процесса.
Приложения в сфере здравоохранения, такие как измерение формы человеческого тела или микроструктуры кожи человека в реальном времени.

Были предложены приложения для кинофильмов, например, для получения пространственных данных сцены для трехмерного телевидения.

Приложения [ править ]

Системы промышленной оптической метрологии (ATOS) от GOM GmbH используют технологию структурированного света для достижения высокой точности и масштабируемости измерений. Эти системы оснащены функцией самоконтроля состояния калибровки, точности преобразования, изменений окружающей среды и движения деталей, что обеспечивает высокое качество данных измерений. ^[8]
Google Project Tango SLAM ( одновременная локализация и картографирование ) с использованием технологий глубины, включая структурированный свет, время полета и стерео. Время полета требует использования инфракрасного (ИК) проектора и ИК-датчика; Стерео нет.
Компания MainAxis srl производит 3D-сканеры с использованием передовой запатентованной технологии, которая обеспечивает полноцветное 3D-сканирование со временем сканирования в несколько микросекунд, используемое в медицинских и других приложениях.
Технология PrimeSense , использовавшаяся в ранней версии Microsoft Kinect , использовала шаблон проецируемых инфракрасных точек для создания плотного трехмерного изображения. (Позже Microsoft Kinect перешел на использование времяпролетной камеры вместо структурированного света.)
Затылочный
- Датчик структуры использует набор проецируемых инфракрасных точек, откалиброванный для минимизации искажений, для создания плотного трехмерного изображения.
- Structure Core использует стереокамеру, которая сопоставляет случайный образец проецируемых инфракрасных точек для создания плотного трехмерного изображения.
Камера Intel RealSense проецирует серию инфракрасных изображений для получения трехмерной структуры.
Система Face ID проецирует на лицо более 30 000 инфракрасных точек и создает трехмерную карту лица.
Датчик VicoVR использует набор инфракрасных точек для отслеживания скелета.
Chiaro Technologies использует единый спроектированный шаблон инфракрасных точек, называемый символическим светом, для потоковой передачи трехмерных облаков точек для промышленных приложений.
на заказ Розничная торговля модной одеждой
3D- Автоматизированный оптический контроль
Прецизионное измерение формы для контроля производства (например, лопаток турбины)
Реверс-инжиниринг (получение точных данных САПР из существующих объектов)
Измерение объема (например, объема камеры сгорания в двигателях)
Классификация шлифовальных материалов и инструментов
Прецизионное измерение структуры земных поверхностей
Определение радиуса лезвий режущего инструмента
Прецизионное измерение планарности
Документирование объектов культурного наследия
Захват среды для игр дополненной реальности
Измерение поверхности кожи для косметики и медицины
Измерение формы тела
Судебно-медицинские проверки
Структура и шероховатость дорожного покрытия
Измерение складок на ткани и коже
Структурированная световая микроскопия
Измерение топографии солнечных элементов ^[9]
Система 3D-видения позволяет роботу DHL выполнять электронные заказы ^[10]

Программное обеспечение [ править ]

3DUNDERWORLD SLS – ОТКРЫТЫЙ ИСТОЧНИК ^[11]
3D-сканер своими руками на основе структурированного света и стереозрения на языке Python ^[12]
SLStudio — структурированный свет в реальном времени с открытым исходным кодом ^[13]

См. также [ править ]

Ссылки [ править ]

^ Борко Фюрт (2008). Энциклопедия мультимедиа (2-е изд.). Спрингер. п. 222. ИСБН 978-0-387-74724-8 .
^ Фофи, Дэвид; Т. Слива; Ю. Вуазен (январь 2004 г.). «Сравнительный обзор невидимого структурированного света» (PDF) . Электронная визуализация SPIE — применение машинного зрения в промышленном контроле XII . Сан-Хосе, США. стр. 90–97.
^ «Проекция полос глубокого сканирования (DSFP) с 3D-калибровкой» . Штутгартский университет (на немецком языке). Архивировано из оригинала 9 апреля 2013 года.
^ Шри К. Наяр и Мохит Гупта, Рассеянный структурированный свет, Proc. Международная конференция IEEE по компьютерной фотографии, 2012 г.
^ Эрон Стегер и Кириакос Н. Кутулакос (2008). «Теория преломляющих и зеркальных трехмерных форм с помощью триангуляции светового пути» . Межд. Дж. Компьютерное зрение, вып. 76, нет. 1.
^ Мохит Гупта, Амит Агравал, Ашок Вирарагаван и Шриниваса Г. Нарасимхан (2011). «Измерение формы при наличии взаимных отражений, подповерхностного рассеяния и дефокусировки» . Учеб. ЦВПР. {{cite news}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Мохит Гупта; Шри К. Наяр (2012). «Микрофазовый сдвиг» . Учеб. ЦВПР.
^ «ATOS – Технология промышленного 3D-сканирования» . ГОМ ГмбХ . Проверено 9 июля 2018 г.
^ Валецкий, WJ; Сонди, Ф.; Хилали, ММ (2008). «Быстрая поточная метрология топографии поверхности, позволяющая рассчитывать напряжения при производстве солнечных элементов с производительностью более 2000 пластин в час». Измерительная наука и технология . 19 (2): 025302. doi : 10.1088/0957-0233/19/2/025302 . S2CID 121768537 .
^ «Система 3D-видения позволяет роботу DHL выполнять электронные заказы» . Отчет о роботах . 12 декабря 2018 г.
^ Кириакос Гераклеус и Хараламбос Пуллис (2014). «3DUNDERWORLD-SLS: система сканирования структурированным светом с открытым исходным кодом для быстрого получения геометрии». arXiv : 1406.6595 [ cs.CV ].
^ Хесам Х. (2015). «3D-сканер своими руками на основе структурированного света и стереозрения на языке Python» .
^ Вильм, Якоб; Олесен, Олин В.; Ларсен, Расмус (2014). «SLStudio: платформа с открытым исходным кодом для структурированного освещения в реальном времени». 2014 4-я Международная конференция по теории, инструментам и приложениям обработки изображений (IPTA) . стр. 1–4. дои : 10.1109/IPTA.2014.7002001 . ISBN 978-1-4799-6463-5 . S2CID 206932100 .

Источники [ править ]

Фехтелер П., Эйзерт П., Рурайинский Дж.: Процесс быстрого 3D-сканирования лиц с высоким разрешением . ИКИП 2007
Фехтелер, П., Эйзерт, П.: Адаптивная цветовая классификация для систем структурированного освещения, учеб. ЦВПР 2008 г.
Лю Кай, Ван Юнчан, Лау Дэниэл Л., Хао Ци, Хассбрук Лоуренс Г. (2010). «Двухчастотная схема для высокоскоростного трехмерного измерения формы» . Оптика Экспресс . 18 (5): 5229–5244. Бибкод : 2010OExpr..18.5229L . дои : 10.1364/oe.18.005229 . ПМИД 20389536 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
Кай Лю, Юнчан Ван, Дэниел Л. Лау, Ци Хао, Лоуренс Г. Хассбрук: Гамма-модель и ее анализ для фазовой профилометрии . J. Опт. Соц. Являюсь. А, 27: 553–562, 2010 г.
Юнчан Ван, Кай Лю, Дэниел Л. Лау, Ци Хао, Лоуренс Г. Хассбрук: Стратегия шаблона максимального отношения сигнал/шум для методов фазового сдвига в освещении структурированным светом , J. Opt. Соц. Являюсь. А, 27(9), стр. 1962–1971, 2010 г.
Пэн Т., Гупта С.К. (2007). «Модель и алгоритмы построения облака точек с использованием шаблонов цифровых проекций» (PDF) . Журнал вычислительной техники и информатики в технике . 7 (4): 372–381. CiteSeerX 10.1.1.127.3674 . дои : 10.1115/1.2798115 .
Хоф К., Хоперманн Х.: Сравнение репликативных и in vivo измерений микротопографии кожи человека Университет Федеральных вооруженных сил, Гамбург
Франковски Г., Чен М., Хут Т.: Трехмерное измерение формы в реальном времени с помощью цифровой проекции полос с помощью микрозеркальных устройств (DMD) компании Texas Instruments, Proc. SPIE-Vol. 3958 (2000), стр. 90–106.
Франковски Г., Чен М., Хут Т.: Оптическое измерение трехмерных координат и объема камеры сгорания головок цилиндров двигателей . Proc. Из "Грани 2001", стр. 593–598.
Дже, Чансу; Ли, Сан Ук; Пак, Рэ-Хонг (2012). «Шаблон перестановки цветных полос для быстрого получения изображений в структурированном световом диапазоне». Оптические коммуникации . 285 (9): 2320–2331. Бибкод : 2012OptCo.285.2320J . дои : 10.1016/j.optcom.2012.01.025 .
Дже, Чансу; Ли, Сан Ук; Пак, Рэ-Хонг (2004). «Высококонтрастный рисунок цветных полос для быстрого получения изображений в структурированном свете». Компьютерное зрение – ECCV 2004 . Конспекты лекций по информатике. Том. 3021. С. 95–107. arXiv : 1508.04981 . дои : 10.1007/978-3-540-24670-1_8 . ISBN 978-3-540-21984-2 . S2CID 13277591 .
Елена Стойкова, Яна Харизанова, Вентеслав Саинов: Проекционная профилометрия паттернов для измерения трехмерных координат динамических сцен. В: Трехмерное телевидение, Springer, 2008. ISBN 978-3-540-72531-2
Сун Чжан, Пейсен Хуан: Трехмерное измерение формы в реальном времени с высоким разрешением (докторская диссертация, Университет Стоуни-Брук, 2005 г.)
Тао Пэн: Алгоритмы и модели для трехмерного измерения формы с использованием цифровых интерференционных проекций (докторская диссертация, Университет Мэриленда, США, 2007 г.)
В. Вилке: Сегментация и аппроксимация больших облаков точек (Диссертационный университет Дармштадта, 2000 г.)
Г. Виора: Технология оптических 3D-измерений. Точное измерение формы с помощью метода проецирования расширенной полосы (Диссертационный университет Гейдельберга, 2001 г.)
Клаус Кёрнер, Ульрих Дросте: Проекция полос глубокого сканирования (DSFP), Штутгартский университет (дополнительные ссылки на английском языке на сайте)
Р. Морано, К. Озтюрк, Р. Конн, С. Дубин, С. Зитц, Дж. Ниссано, «Структурированный свет с использованием псевдослучайных кодов», Транзакции IEEE по анализу шаблонов и машинному интеллекту 20 (3) (1998) 322–327

Дальнейшее чтение [ править ]

Fringe 2005, 5-й международный семинар по автоматической обработке рисунков бахромы, Берлин: Springer, 2006. ISBN 3-540-26037-4 ISBN 978-3-540-26037-0

[1] Борко Фюрт (2008). Энциклопедия мультимедиа (2-е изд.). Спрингер. п. 222. ИСБН 978-0-387-74724-8 .

[2] Фофи, Дэвид; Т. Слива; Ю. Вуазен (январь 2004 г.). «Сравнительный обзор невидимого структурированного света» (PDF) . Электронная визуализация SPIE — применение машинного зрения в промышленном контроле XII . Сан-Хосе, США. стр. 90–97.

[3] «Проекция полос глубокого сканирования (DSFP) с 3D-калибровкой» . Штутгартский университет (на немецком языке). Архивировано из оригинала 9 апреля 2013 года.

[4] Шри К. Наяр и Мохит Гупта, Рассеянный структурированный свет, Proc. Международная конференция IEEE по компьютерной фотографии, 2012 г.

[5] Эрон Стегер и Кириакос Н. Кутулакос (2008). «Теория преломляющих и зеркальных трехмерных форм с помощью триангуляции светового пути» . Межд. Дж. Компьютерное зрение, вып. 76, нет. 1.

[6] Мохит Гупта, Амит Агравал, Ашок Вирарагаван и Шриниваса Г. Нарасимхан (2011). «Измерение формы при наличии взаимных отражений, подповерхностного рассеяния и дефокусировки» . Учеб. ЦВПР. {{cite news}}: CS1 maint: несколько имен: список авторов ( ссылка )

[7] Мохит Гупта; Шри К. Наяр (2012). «Микрофазовый сдвиг» . Учеб. ЦВПР.

[8] «ATOS – Технология промышленного 3D-сканирования» . ГОМ ГмбХ . Проверено 9 июля 2018 г.

[9] Валецкий, WJ; Сонди, Ф.; Хилали, ММ (2008). «Быстрая поточная метрология топографии поверхности, позволяющая рассчитывать напряжения при производстве солнечных элементов с производительностью более 2000 пластин в час». Измерительная наука и технология . 19 (2): 025302. doi : 10.1088/0957-0233/19/2/025302 . S2CID 121768537 .

[10] «Система 3D-видения позволяет роботу DHL выполнять электронные заказы» . Отчет о роботах . 12 декабря 2018 г.

[11] Кириакос Гераклеус и Хараламбос Пуллис (2014). «3DUNDERWORLD-SLS: система сканирования структурированным светом с открытым исходным кодом для быстрого получения геометрии». arXiv : 1406.6595 [ cs.CV ].

[12] Хесам Х. (2015). «3D-сканер своими руками на основе структурированного света и стереозрения на языке Python» .

[13] Вильм, Якоб; Олесен, Олин В.; Ларсен, Расмус (2014). «SLStudio: платформа с открытым исходным кодом для структурированного освещения в реальном времени». 2014 4-я Международная конференция по теории, инструментам и приложениям обработки изображений (IPTA) . стр. 1–4. дои : 10.1109/IPTA.2014.7002001 . ISBN 978-1-4799-6463-5 . S2CID 206932100 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]