Виртуальный прибор
— Виртуальное приспособление это наложение дополненной сенсорной информации на восприятие пользователем реальной среды с целью улучшения производительности человека как при выполнении задач, которыми управляют напрямую, так и дистанционно . [ 1 ] Virtual Fixtures, разработанная в начале 1990-х годов Луи Розенбергом в Исследовательской лаборатории ВВС США (AFRL) , стала новаторской платформой в области виртуальной и дополненной реальности технологий .
История
[ редактировать ]Virtual Fixtures была впервые разработана Луи Розенбергом в 1992 году в лаборатории Армстронга ВВС США , в результате чего была создана первая иммерсивная система дополненной реальности , когда-либо созданная. [ 2 ] [ 3 ] [ 4 ] [ 5 ] [ 6 ] Поскольку в начале 1990-х годов 3D-графика была слишком медленной, чтобы представить фотореалистичную и пространственно зарегистрированную дополненную реальность, Virtual Fixtures использовали двух реальных физических роботов, управляемых полным экзоскелетом верхней части тела, который носил пользователь. Чтобы создать эффект погружения для пользователя, была использована уникальная конфигурация оптики, в которой использовалась пара бинокулярных луп, расположенных таким образом, что взгляд пользователя на руки робота был вынесен вперед и казался зарегистрированным в точном местоположении реальных физических рук пользователя. . [ 2 ] [ 7 ] [ 5 ] Результатом стал пространственно зарегистрированный иммерсивный опыт, в котором пользователь двигал руками, одновременно видя руки робота в том месте, где должны были быть его руки. В системе также использовались сгенерированные компьютером виртуальные наложения в виде смоделированных физических барьеров, полей и направляющих, предназначенных для помощи пользователю при выполнении реальных физических задач. [ 8 ] [ 9 ] [ 3 ] [ 10 ] [ 11 ] [ 12 ]
Тестирование производительности по закону Фиттса было проведено на группах испытуемых-людей, впервые продемонстрировав, что значительное улучшение производительности человека при выполнении реальных ловких задач может быть достигнуто путем предоставления пользователям иммерсивных наложений дополненной реальности. [ 5 ] [ 13 ]
Концепция
[ редактировать ]Впервые была представлена концепция виртуальных светильников. [ 2 ] как наложение виртуальной сенсорной информации на рабочее пространство с целью повышения производительности человека при выполнении задач, которыми можно напрямую и удаленно управлять. Виртуальные сенсорные наложения могут быть представлены как физически реалистичные структуры, зарегистрированные в пространстве так, что пользователь воспринимает их как полностью присутствующие в реальной рабочей среде. Виртуальные сенсорные наложения также могут представлять собой абстракции, обладающие свойствами, недоступными реальным физическим структурам. Концепцию сенсорных наложений сложно визуализировать и обсуждать, в результате чего была введена метафора виртуальных приспособлений. Чтобы понять, что такое виртуальное приспособление, часто используют аналогию с реальным физическим приспособлением, таким как линейка. Простая задача, такая как рисование прямой линии на листе бумаги от руки, — это задача, которую большинство людей не могут выполнить с хорошей точностью и высокой скоростью. Однако использование такого простого приспособления, как линейка, позволяет выполнить задачу быстро и с хорошей точностью. Использование линейки помогает пользователю, направляя перо вдоль линейки, уменьшая тремор и умственную нагрузку пользователя, тем самым повышая качество результатов.
Когда концепция виртуального приспособления была предложена ВВС США в 1991 году, расширенная хирургия была примером использования, расширяя идею от виртуальной линейки, направляющей настоящий карандаш, до виртуального медицинского приспособления, направляющего настоящий физический скальпель, которым манипулирует настоящий хирург. . [ 2 ] Цель заключалась в том, чтобы наложить виртуальный контент на непосредственное восприятие хирургом реального рабочего пространства с достаточной реалистичностью, чтобы он воспринимался как подлинное дополнение к хирургической среде и тем самым повышал хирургические навыки, ловкость и производительность. Предлагаемое преимущество виртуальных медицинских приспособлений по сравнению с реальным оборудованием заключалось в том, что, поскольку они были виртуальными дополнениями к окружающей реальности, их можно было частично погружать в тела реальных пациентов, обеспечивая руководство и/или барьеры внутри необлученных тканей. [ 14 ] [ 2 ] [ 15 ]
Определение виртуальных приборов [ 2 ] [ 7 ] [ 9 ] гораздо шире, чем просто руководство конечным исполнительным органом. Например, слуховые виртуальные приспособления используются для повышения осведомленности пользователя путем предоставления звуковых подсказок, которые помогают пользователю путем предоставления мультимодальных сигналов для локализации конечного исполнительного органа. Однако в контексте систем совместной работы человек-машина термин «виртуальные приспособления» часто используется для обозначения зависящей от задачи виртуальной помощи, которая накладывается на реальную среду и направляет движение пользователя в желаемых направлениях, одновременно предотвращая движение в нежелательных направлениях или регионах. рабочего пространства.
Виртуальные приборы могут быть либо направляющими виртуальными приборами , либо виртуальными приборами запретных областей . Виртуальное приспособление запретных зон можно использовать, например, в условиях телеуправления , когда оператору приходится управлять транспортным средством на удаленном объекте для достижения цели. Если на удаленном объекте есть ямы, падение транспортного средства в запрещенные зоны которых может быть опасным, можно определить их расположение в различных ямах, что не позволит оператору подавать команды, которые могут привести к тому, что транспортное средство окажется в такой яме. [ 16 ] [ 17 ] [ 18 ]
Такие незаконные команды могут легко быть отправлены оператором, например, из-за задержек в контуре телеуправления , плохого телеприсутствия или ряда других причин.
Примером направляющего виртуального приспособления может быть случай, когда транспортное средство должно следовать определенной траектории.
Тогда оператор может контролировать движение в предпочтительном направлении , в то время как движение в непредпочтительном направлении ограничивается.
Как с помощью запрещенных зон, так и с помощью направляющих виртуальных приспособлений можно регулировать жесткость или ее обратную податливость приспособления - податливость. Если податливость высокая (низкая жесткость), приспособление является мягким . С другой стороны, когда податливость равна нулю (максимальная жесткость), приспособление является жестким .
Закон управления виртуальными приспособлениями
[ редактировать ]В этом разделе описывается, как можно получить закон управления, реализующий виртуальные приспособления. Предполагается, что робот представляет собой чисто кинематическое устройство с рабочим органом. и ориентация конечного эффектора выражается в базовой раме робота . Входной управляющий сигнал предполагается, что это желаемая скорость рабочего органа . В системе с телеуправлением часто бывает полезно масштабировать входную скорость, заданную оператором. перед подачей его в контроллер робота. Если входные данные пользователя имеют другую форму, например, силу или положение, их сначала необходимо преобразовать во входную скорость, например, путем масштабирования или дифференцирования.
Таким образом, управляющий сигнал будет рассчитываться на основе входной скорости оператора как:
Если между оператором и подчиненным роботом существует взаимно однозначное соответствие.
Если константа заменяется диагональной матрицей можно регулировать податливость независимо для разных размеров . Например, установив первые три элемента по диагонали к а все остальные элементы равны нулю, что приведет к тому, что система допускает только поступательное движение, но не вращение. Это был бы пример жесткого виртуального приспособления, которое ограничивает движение от к . Если бы для остальных элементов по диагонали было установлено небольшое значение вместо нуля, приспособление было бы мягким, допуская некоторое движение в направлениях вращения.
Чтобы выразить более общие ограничения, предположим изменяющуюся во времени матрицу который представляет собой предпочтительное направление во времени . Таким образом, если предпочтительное направление — вдоль кривой в . Так же, даст предпочтительные направления, охватывающие поверхность. От два могут быть определены операторы проектирования, [ 19 ] диапазон и ядро пространства столбцов:
Если не имеет полного ранга столбца, диапазон не может быть вычислен, следовательно, лучше вычислять диапазон, используя псевдообратный метод, [ 19 ] таким образом, на практике интервал рассчитывается как:
где обозначает псевдообратное значение .
Если входная скорость разделена на две компоненты следующим образом:
закон управления можно переписать так:
Затем введите новое соответствие, которое затрагивает только непредпочтительные компонент входной скорости и запишите окончательный закон управления как:
Ссылки
[ редактировать ]- ^ Розенберг, Луи Б. (2022). Арай, Кохей (ред.). «Дополненная реальность: размышления тридцати лет» . Материалы конференции Future Technologies Conference (FTC) 2021, Том 1 . Конспекты лекций по сетям и системам. Чам: Springer International Publishing: 1–11. дои : 10.1007/978-3-030-89906-6_1 . ISBN 978-3-030-89906-6 .
- ^ Перейти обратно: а б с д и ж Л. Б. Розенберг (1992). «Использование виртуальных светильников в качестве наложений на восприятие для повышения производительности оператора в удаленных средах» (PDF) . Технический отчет AL-TR-0089 . Авиабаза Райт-Паттерсон, Огайо: Лаборатория Армстронга ВВС США. Архивировано (PDF) из оригинала 10 июля 2019 г.
- ^ Перейти обратно: а б Розенберг, Л.Б. (1993). «Виртуальные приспособления: инструменты восприятия для манипуляций с телероботами». Материалы ежегодного международного симпозиума IEEE по виртуальной реальности . IEEE. стр. 76–82. дои : 10.1109/vrais.1993.380795 . ISBN 0-7803-1363-1 .
- ^ Розенберг, Луи (1993). «Использование виртуальных приспособлений для улучшения телеманипуляций с задержкой по времени». Материалы зимнего ежегодного собрания ASME по достижениям в области робототехники, мехатроники и тактильных интерфейсов . 49 . Новый Орлеан, Луизиана: 29–36.
- ^ Перейти обратно: а б с Розенберг, Луи (1993). «Использование виртуальных приборов для повышения производительности оператора при телеоперации с задержкой по времени» (PDF) . Дж. Дин. Сист. Контроль . 49 : 29–36. Архивировано (PDF) из оригинала 10 июля 2019 г.
- ^ Ноер, Майкл (21 сентября 1998 г.). «Отпечатки пальцев на рабочем столе» . Форбс . Проверено 22 апреля 2014 г.
- ^ Перейти обратно: а б Розенберг, Л. (1993). Ким, Вон С. (ред.). «Виртуальные светильники как инструменты повышения производительности оператора в средах телеприсутствия». Технология манипуляторов SPIE . Телеманипуляторные технологии и космическая телеробототехника. 2057 : 10. Бибкод : 1993SPIE.2057...10R . дои : 10.1117/12.164901 . S2CID 111277519 .
- ^ Эбботт, Джейк Дж.; Марайонг, Панадда; Окамура, Эллисон М. (2007). «Тактильные виртуальные приспособления для манипуляций с помощью роботов» . В Труне, Себастьян; Брукс, Родни; Даррант-Уайт, Хью (ред.). Исследования в области робототехники . Спрингер Тракты в продвинутой робототехнике. Том. 28. Берлин, Гейдельберг: Шпрингер. стр. 49–64. дои : 10.1007/978-3-540-48113-3_5 . ISBN 978-3-540-48113-3 .
- ^ Перейти обратно: а б Розенберг (1994). Дас, Хари (ред.). «Виртуальные тактильные наложения повышают производительность задач телеприсутствия». Телеманипуляторы и технологии телеприсутствия . 2351 : 99–108. дои : 10.1117/12.197302 . S2CID 110971407 .
- ^ Махатаева, Жанат; Варол, Хусейн Атакан (2020). «Дополненная реальность для робототехники: обзор» . Робототехника . 9 (2): 21. doi : 10.3390/robotics9020021 . ISSN 2218-6581 .
- ^ Леонард, Саймон (2015). «Регистрация плоских виртуальных светильников с использованием дополненной реальности с динамическими текстурами» . 2015 Международная конференция IEEE по робототехнике и автоматизации (ICRA) . Сиэтл, Вашингтон, США: IEEE. стр. 4418–4423. дои : 10.1109/ICRA.2015.7139810 . ISBN 978-1-4799-6923-4 . S2CID 16744811 .
- ^ Ся, Тянь; Леонар, Симон; Деге, Антон; Уиткомб, Луи; Казазидес, Питер (2012). «Среда дополненной реальности с виртуальными приспособлениями для роботизированных телеманипуляций в космосе» . Международная конференция IEEE/RSJ по интеллектуальным роботам и системам , 2012 г. стр. 5059–5064. дои : 10.1109/IROS.2012.6386169 . ISBN 978-1-4673-1736-8 . S2CID 2708501 .
- ^ Розенберг, Луи Б. (1993). Ким, Вон С. (ред.). «Виртуальные светильники как инструменты повышения производительности оператора в средах телеприсутствия». Телеманипуляторная техника и космическая телеробототехника . 2057 : 10–21. Бибкод : 1993SPIE.2057...10R . дои : 10.1117/12.164901 . S2CID 111277519 .
- ^ Розенберг, Л.Б. (1992). «Использование виртуальных приборов в качестве наложений на восприятие для повышения производительности оператора» Стэнфордский университет, Стэнфорд, Калифорния, Центр исследований дизайна (CDR)
- ^ Ямамото, Томонори; Аболхассани, Ники; Юнг, Сун; Окамура, Эллисон М .; Джадкинс, Тимоти Н. (08 ноября 2011 г.). «Дополненная реальность и тактильные интерфейсы для роботизированной хирургии» . Международный журнал медицинской робототехники и компьютерной хирургии . 8 (1): 45–56. дои : 10.1002/rcs.421 . ISSN 1478-5951 . ПМИД 22069247 . S2CID 1603125 .
- ^ Эбботт, Джей-Джей; Окамура, AM (2003). «Архитектура виртуальных приспособлений для телеманипуляции» . 2003 Международная конференция IEEE по робототехнике и автоматизации (кат. № 03CH37422) . Том. 2. Тайбэй, Тайвань: IEEE. стр. 2798–2805. дои : 10.1109/РОБОТ.2003.1242016 . ISBN 978-0-7803-7736-3 . S2CID 8678829 .
- ^ Марайонг, Панадда; Хагер, Грегори Д.; Окамура, Эллисон М. (2008). «Методы управления виртуальными приборами в совместимых человеко-машинных интерфейсах» . 2008 Международная конференция IEEE/RSJ по интеллектуальным роботам и системам . стр. 1166–1172. дои : 10.1109/IROS.2008.4650838 . ISBN 978-1-4244-2057-5 . S2CID 6828466 .
- ^ Марайонг, П.; Хагер, Джорджия; Окамура, AM (2006). «Влияние динамики рук на виртуальные приспособления для совместимых человеко-машинных интерфейсов» . 2006 14-й симпозиум по тактильным интерфейсам для виртуальной среды и телеоператорских систем . Александрия, Вирджиния, США: IEEE. стр. 109–115. дои : 10.1109/HAPTIC.2006.1627075 . ISBN 978-1-4244-0226-7 .
- ^ Перейти обратно: а б Марайонг, П.; Окамура, AM ; Хагер, Г.Д. (2003). «Ограничения пространственного движения: теория и демонстрации управления роботами с использованием виртуальных приспособлений». 2003 Международная конференция IEEE по робототехнике и автоматизации (кат. № 03CH37422) . IEEE. стр. 1270–1275. дои : 10.1109/robot.2003.1241880 . ISBN 0-7803-7736-2 .