Отслеживание пальцев

Отслеживание пальцев двух пианистов , играющих одно и то же произведение (замедленное движение, без звука) ^[1]

В области распознавания жестов и обработки изображений — отслеживание пальцев это метод высокого разрешения, разработанный в 1969 году, который используется для определения последовательного положения пальцев пользователя и, следовательно, для представления объектов в 3D .Кроме того, техника отслеживания пальцев используется как инструмент компьютера, действуя как внешнее устройство в нашем компьютере, подобное клавиатуре и мыши .

Введение [ править ]

Система отслеживания пальцев ориентирована на взаимодействие пользователя с данными, при котором пользователь взаимодействует с виртуальными данными, обрабатывая пальцами объем трехмерного объекта, который мы хотим представить.Эта система родилась на основе проблемы взаимодействия человека и компьютера . Цель состоит в том, чтобы позволитьобщение между ними и использование жестов и движений рук для большей интуитивности,Были созданы системы отслеживания пальцев. Эти системы отслеживают в реальном времени положение объекта в 3D и 2D.ориентацию пальцев каждого маркера и используйте интуитивные движения рук и жесты для взаимодействия.

Виды отслеживания [ править ]

Существует множество вариантов реализации отслеживания пальцев, в основном те, которые используются с интерфейсом или без него .

Отслеживание с помощью интерфейса [ править ]

В этой системе в основном используются инерциальные и оптические системы захвата движения .

Перчатки для захвата инерционного движения

Системы инерционного захвата движения способны фиксировать движение пальцев, считывая вращение каждого сегмента пальца в трехмерном пространстве. Применяя эти вращения к кинематической цепи , можно отслеживать всю человеческую руку в реальном времени, без окклюзии и беспроводной связи.

Системы инерционного захвата движения рук, такие как, например, мокап-перчатки Synertial, используют крошечные датчики на основе IMU , расположенные на каждом сегменте пальца. Для точного захвата требуется использование как минимум 16 датчиков. Существуют также модели мокап-перчаток с меньшим количеством датчиков (13/7 датчиков), у которых остальные сегменты пальцев интерполируются (проксимальные сегменты) или экстраполируются (дистальные сегменты). Датчики обычно вставляются в текстильные перчатки, что делает их использование более удобным.

Инерционные датчики могут фиксировать движение во всех трех направлениях, что означает, что можно обнаружить сгибание, разгибание и отведение пальцев.

Скелет руки [ править ]

Поскольку инерционные датчики отслеживают только вращения, для получения правильных результатов вращения необходимо применить к какому-то скелету руки. Чтобы получить точный результат (например, чтобы иметь возможность коснуться кончиков пальцев), скелет руки должен быть правильно масштабирован, чтобы соответствовать реальной руке. Для этой цели можно использовать ручное измерение руки или автоматическое извлечение измерений.

Отслеживание положения рук [ править ]

Помимо отслеживания пальцев, многим пользователям требуется отслеживание положения всей руки в пространстве. Для этой цели можно использовать несколько методов:

Съёмка всего тела с помощью инерционной мокап-системы (скелет руки крепится в конце кинематической цепи скелета тела). Положение ладони определяется от корпуса.
Фиксация положения ладони (предплечья) с помощью оптической системы мокап.
Захват положения ладони (предплечья) с использованием другого метода отслеживания положения, широко используемого в гарнитурах виртуальной реальности (например, HTC Vive Lighthouse).

захвата движения инерционных Недостатки систем

Инерционные датчики имеют два основных недостатка, связанных со отслеживанием пальцев:

Проблемы с определением абсолютного положения руки в пространстве.
Магнитные помехи
Металлические материалы мешают работе датчиков. Эта проблема может быть заметна главным образом потому, что руки часто соприкасаются с разными предметами, зачастую из металла. Текущие поколения перчаток для захвата движения способны противостоять магнитным помехам. Степень их невосприимчивости к магнитным помехам зависит от производителя, ценового диапазона и количества датчиков, используемых в мокап-перчатке. Примечательно, что датчики растяжения представляют собой конденсаторы на основе силикона, которые совершенно не подвержены воздействию магнитных помех.

движения Оптические системы захвата

осуществляется отслеживание расположения маркеров и рисунков в 3D, система идентифицирует их и маркирует каждый маркер в соответствии с положением пальцев пользователя. меток Трехмерные координаты этих маркеров создаются в реальном времени с помощью других приложений.

Маркеры [ править ]

Некоторые оптические системы , такие как Vicon или ART, способны фиксировать движение рук с помощью маркеров. В каждой руке у нас есть маркер на каждый «оперативный» палец. Три камеры высокого разрешения отвечают за захват каждого маркера и измерение его положения. Это будет производиться только тогда, когда камера сможет их увидеть. Визуальные маркеры, обычно известные как кольца или браслеты, используются для распознавания жестов пользователя в 3D . Кроме того, как указывает классификация, эти кольца действуют как интерфейс в 2D .

Окклюзия как метод взаимодействия [ править ]

Визуальная окклюзия — это очень интуитивный метод, позволяющий обеспечить более реалистичное представление виртуальной информации в трех измерениях. Интерфейсы обеспечивают более естественные методы трехмерного взаимодействия по сравнению с базой 6.

Функциональность маркера [ править ]

Маркеры работают через точки взаимодействия , которые обычно уже установлены и у нас есть знания о регионах. По этой причине нет необходимости постоянно следить за каждым маркером; с мультиуказателями можно обращаться одинаково, если имеется только один рабочий указатель. Чтобы обнаружить такие указатели посредством взаимодействия, мы включаем ультразвуковые инфракрасные датчики. Тот факт, что многие указатели можно обрабатывать как один, проблемы будут решены. В случае, когда нам приходится работать в сложных условиях, таких как плохое освещение , размытость изображения при движении , неправильное формирование маркера или окклюзия. Система позволяет следить за объектом, даже если некоторые маркеры не видны. Поскольку пространственные взаимоотношения всех маркеров известны, положения невидимых маркеров можно вычислить с использованием известных маркеров. Существует несколько методов обнаружения маркеров, например методы пограничного маркера и методы предполагаемого маркера.

Техника Гомера включает в себя выделение луча с прямой обработкой: выбирается объект, а затем его положение и ориентация обрабатываются так, как если бы он был подключен непосредственно к руке.
Техника Коннера представляет собой набор 3D- виджетов , которые позволяют косвенное взаимодействие с виртуальными объектами через виртуальный виджет, выступающий в качестве посредника.

с оптическими системами захвата движения Объединение данных

Из-за окклюзии маркера во время захвата отслеживание пальцев является наиболее сложной задачей для оптических систем захвата движения (таких как Vicon, Optitrack, ART и т. д.).Пользователи оптических систем мокап утверждают, что большая часть постобработки обычно связана с захватом пальцев. Поскольку инерционные системы mocap (если они правильно откалиброваны) в большинстве случаев не нуждаются в постобработке, типичным использованием для высококлассных пользователей mocap является объединение данных из инерционных систем mocap (пальцы) с оптическими системами mocap (тело + положение в пространстве). .
Процесс объединения данных mocap основан на сопоставлении временных кодов каждого кадра для источника данных инерциальной и оптической системы mocap. Таким образом, любое стороннее программное обеспечение (например, MotionBuilder, Blender) может применять движения из двух источников, независимо от используемого метода mocap.

Отслеживание пальцев с помощью датчика растяжения [ править ]

В системах захвата движения с датчиком растяжения используются гибкие параллельные пластинчатые конденсаторы для обнаружения различий в емкости, когда датчики растягиваются, сгибаются, сдвигаются или подвергаются давлению. Датчики растяжения обычно изготавливаются на основе силикона, что означает, что на них не влияют магнитные помехи, окклюзия или позиционный дрейф (обычно в инерциальных системах). Прочные и гибкие качества этих датчиков обеспечивают высокую точность отслеживания пальцев и используются в мокап-перчатках производства StretchSense. ^[2]

Шарнирное отслеживание рук [ править ]

Шарнирное отслеживание рук проще и дешевле, чем многие методы, поскольку для него требуется только одна камера . Эта простота приводит к меньшей точности. Он обеспечивает новую основу для новых взаимодействий при моделировании, управлении анимацией и повышении реализма. Он использует перчатки, состоящие из набора цветов, которые назначаются в зависимости от положения пальцев. Этот цветовой тест ограничен системой зрения компьютеров и на основе функции захвата и положения цвета известно положение руки.

Отслеживание без интерфейса [ править ]

С точки зрения зрительного восприятия ноги и руки можно моделировать как шарнирные механизмы, систему твердых тел, соединенных между собой шарнирами с одной или несколькими степенями свободы. Эту модель можно применять в более уменьшенном масштабе для описания движения рук и в более широком масштабе для описания полного движения тела. Например, определенное движение пальца можно распознать под обычным углом и оно не зависит от положения руки по отношению к камере.

Многие системы отслеживания основаны на модели, ориентированной на задачу оценки последовательности, где задается последовательность изображений и модель изменения, мы оцениваем трехмерную конфигурацию для каждой фотографии.Все возможные конфигурации рук представлены векторами в пространстве состояний , которое кодируетположение кисти и углы суставов пальцев. Каждая конфигурация руки генерирует наборизображения посредством выявления границ окклюзии сустава пальца. Оценка каждогоИзображение рассчитывается путем нахождения вектора состояния, который лучше соответствует измеренным характеристикам.Суставы пальцев имеют на 21 дополнительное состояние больше, чем движения ладоней; это означаетчто стоимость расчета оценки увеличивается. Методика заключается в том, что каждое звено сустава пальца моделируется в виде цилиндра. Делаем оси в каждом суставе, а биссектриса этой оси — это проекция сустава. Следовательно, мы используем 3 степени свободы, потому что есть только 3 степени движения.

В данном случае это то же самое, что и в предыдущей типологии , поскольку существует большое разнообразие тезисов по развертыванию.этот предмет. Поэтому этапы и техника лечения различаются в зависимости от цели ипотребности человека, который будет использовать эту технику. В любом случае, можно сказать, что это очень общий способ и в большинстве систем вам следует выполнить следующие шаги:

Вычитание фона: идея состоит в том, чтобы свернуть все изображения, снятые с помощью фильтра Гаусса 5x5, а затем масштабировать их для уменьшения зашумленных пиксельных данных.
Сегментация: приложение двоичной маски используется для представления белым цветом пикселей, принадлежащих руке, и для применения черного цвета к изображению кожи на переднем плане.
Извлечение области: обнаружение левой и правой руки на основе сравнения между ними.
Характеристика извлечения: расположение кончиков пальцев и определение того, является ли это пиком или впадиной. Чтобы классифицировать точки, пики или впадины, они преобразуются в трехмерные векторы, обычно называемые псевдовекторами в плоскости xy, а затем вычисляются векторное произведение. Если знак z-компоненты векторного произведения положительный, мы считаем, что точка является пиком, а в случае, если результат векторного произведения отрицателен, это будет впадина.
Распознавание жестов «точка» и «щипок»: с учетом видимых ориентиров (кончиков пальцев) ассоциируется определенный жест.
Оценка позы : процедура, заключающаяся в определении положения рук с помощью алгоритмов, вычисляющих расстояния между позициями.

Другие методы отслеживания [ править ]

Также возможно осуществлять активное отслеживание пальцев. Smart Laser Scanner — это система отслеживания пальцев без маркеров, использующая модифицированный лазерный сканер/проектор, разработанный в Токийском университете в 2003–2004 годах. Он способен получать трехмерные координаты в реальном времени вообще без необходимости какой-либо обработки изображения (по сути, это дальномерный сканер, который вместо непрерывного сканирования по всему полю зрения ограничивает область сканирования очень узким окном). точно под размер цели). Распознавание жестов было продемонстрировано с помощью этой системы. Частота дискретизации может быть очень высокой (500 Гц), что позволяет получать плавные траектории без необходимости фильтрации (например, Калмана).

Приложение [ править ]

Определенно, системы отслеживания пальцев используются для представления виртуальной реальности . Однако его применение имеетперешел на профессиональный уровень 3D моделирования , компании и непосредственно проекты в этом случае отменились. Таким образомтакие системы редко использовались в потребительских приложениях из-за их высокой цены и сложности.В любом случае основная цель — облегчить задачу выполнения команд компьютеру черезестественный язык или взаимодействующий жест.

Целью является следующая идея: компьютеры должны быть проще в использовании, если естьвозможность работать посредством естественного языка или взаимодействия с помощью жестов. Основное применение этогоМетод заключается в том, чтобы выделить 3D-дизайн и анимацию, где такие программы, как Maya и 3D StudioMax,использовать подобные инструменты. Причина в том, чтобы обеспечить более точный и простой контрольинструкции, которые мы хотим выполнить. Эта технология предлагает множество возможностей: скульптура,построение и моделирование в 3D в реальном времени с помощью компьютера является наиболее важным.

См. также [ править ]

Ссылки [ править ]

^ Гебл, В.; Палмер, К. (2013). Баласубраманиам, Рамеш (ред.). «Временный контроль и эффективность движений рук при квалифицированном музыкальном исполнении» . ПЛОС ОДИН . 8 (1): e50901. Бибкод : 2013PLoSO...850901G . дои : 10.1371/journal.pone.0050901 . ПМЦ 3536780 . ПМИД 23300946 .
^ «Лучшие в мире перчатки для захвата движения» . СтретчСенс . Проверено 24 ноября 2020 г.

Андерсон Д., Йедидиа Дж., Франкель Дж., Маркс Дж., Агарвала А., Бердсли П., Ходжинс Дж., Ли Д., Райалл К. и Салливан Э. (2000). Осязаемое взаимодействие + графическая интерпретация: новый подход к 3D-моделированию . СИГГРАФ. п. 393-402.
Ангелидис А., Кани М.-П., Уивилл Г. и Кинг С. (2004). Вихревые подметальные машины: моделирование постоянного объема . Тихоокеанская графика. п. 10-15.
Гроссман Т., Вигдор Д. и Балакришнан Р. (2004). Взаимодействие жестов несколькими пальцами с объемными 3D-дисплеями . УИСТ. п. 61-70.
Фриман В. и Вайсман К. (1995). Управление телевизором с помощью жестов . Международный семинар по автоматическому распознаванию лиц и жестов. п. 179-183.
Рингель М., Берг Х., Джин Ю. и Виноград Т. (2001). Barehands: взаимодействие с настенным дисплеем без каких-либо инструментов . Расширенные тезисы CHI. п. 367-368.
Цао, X. и Балакришнан, Р. (2003). VisionWand: методы взаимодействия для больших дисплеев с использованием пассивной палочки, отслеживаемой в 3D . УИСТ. п. 173-182.
А. Кассинелли, С. Перрин и М. Исикава, Интеллектуальный лазерный сканер для трехмерного человеко-машинного интерфейса , Международная конференция ACM SIGCHI 2005 (CHI '05) по человеческому фактору в вычислительных системах, Портленд, Орегон, США, 2–07 апреля, 2005, стр. 1138 – 1139 (2005).

Внешние ссылки [ править ]

[1] Гебл, В.; Палмер, К. (2013). Баласубраманиам, Рамеш (ред.). «Временный контроль и эффективность движений рук при квалифицированном музыкальном исполнении» . ПЛОС ОДИН . 8 (1): e50901. Бибкод : 2013PLoSO...850901G . дои : 10.1371/journal.pone.0050901 . ПМЦ 3536780 . ПМИД 23300946 .

[2] «Лучшие в мире перчатки для захвата движения» . СтретчСенс . Проверено 24 ноября 2020 г.

[1]

[2]