3D-взаимодействие с пользователем

В вычислительной технике 3D -взаимодействие — это форма взаимодействия человека и машины , при которой пользователи могут перемещаться и осуществлять взаимодействие в трехмерном пространстве . И человек, и машина обрабатывают информацию, где важно физическое положение элементов в трехмерном пространстве.

Трехмерное пространство, используемое для взаимодействия, может быть реальным физическим пространством , представлением виртуального пространства, смоделированным на компьютере, или комбинацией того и другого. Когда для ввода данных используется реальное физическое пространство, человек взаимодействует с машиной, выполняя действия, используя устройство ввода , которое определяет трехмерное положение , среди прочего, человеческого взаимодействия. Когда он используется для вывода данных, смоделированная виртуальная 3D-сцена проецируется на реальную среду через одно устройство вывода .

Принципы 3D-взаимодействия применяются в различных областях, таких как туризм , искусство , игры , моделирование , образование , визуализация информации или научная визуализация .

История

Исследования в области 3D-взаимодействия и 3D-отображения начались в 1960-х годах, инициаторами их стали такие исследователи, как Иван Сазерленд, Фред Брукс, Боб Спроулл, Эндрю Ортони и Ричард Фельдман. Но только в 1962 году Мортон Хейлиг изобрел симулятор Sensorama . Он обеспечивал обратную связь в формате 3D-видео, а также движение, звук и обратную связь для создания виртуальной среды.Следующим этапом развития стало завершение доктором Иваном Сазерлендом в 1968 году его новаторской работы «Дамоклов меч». Он создал головной дисплей, который создавал виртуальную трехмерную среду, показывая левое и правое неподвижное изображение этой среды.

Доступность технологий, а также непрактичные затраты сдерживали разработку и применение виртуальных сред до 1980-х годов. Приложения были ограничены военными предприятиями в Соединенных Штатах. С тех пор дальнейшие исследования и технологические достижения позволили открыть новые двери для применения в различных других областях, таких как образование, развлечения и производство.

Фон

При 3D-взаимодействии пользователи выполняют свои задачи и функции, обмениваясь информацией с компьютерными системами в 3D-пространстве. Это интуитивный тип взаимодействия, поскольку в реальном мире люди взаимодействуют в трех измерениях. Задачи, которые выполняют пользователи, классифицируются как выбор и манипулирование объектами в виртуальном пространстве, навигация и управление системой. Задачи можно выполнять в виртуальном пространстве с помощью методов взаимодействия и устройств взаимодействия. Методы 3D-взаимодействия были классифицированы в соответствии с поддерживаемой ими группой задач. Методы, поддерживающие задачи навигации, классифицируются как методы навигации . Методы, поддерживающие выбор объектов и манипулирование ими, называются методами выбора и манипулирования . Наконец, методы управления системой поддерживают задачи, связанные с управлением самим приложением. Чтобы система была удобной и эффективной, необходимо обеспечить последовательное и эффективное сопоставление методов и устройств взаимодействия. Интерфейсы, связанные с 3D-взаимодействием, называются 3D-интерфейсы . Как и другие типы пользовательских интерфейсов, он предполагает двустороннюю связь между пользователями и системой, но позволяет пользователям выполнять действия в трехмерном пространстве. Устройства ввода позволяют пользователям давать указания и команды системе, а устройства вывода позволяют машине возвращать им информацию.

3D-интерфейсы использовались в приложениях, использующих виртуальные среды, а также дополненную и смешанную реальности . В виртуальных средах пользователи могут напрямую взаимодействовать со средой или использовать для этого инструменты с определенными функциями. Трехмерное взаимодействие происходит, когда физические инструменты управляются в трехмерном пространственном контексте для управления соответствующим виртуальным инструментом.

Пользователи испытывают ощущение присутствия, находясь в захватывающем виртуальном мире. Предоставление пользователям возможности взаимодействовать с этим миром в 3D позволяет им использовать естественные и внутренние знания о том, как происходит обмен информацией с физическими объектами в реальном мире. Текстуру, звук и речь можно использовать для улучшения трехмерного взаимодействия. В настоящее время пользователи по-прежнему испытывают трудности с интерпретацией трехмерных космических изображений и пониманием того, как происходит взаимодействие. Хотя для людей это естественный способ передвижения в трехмерном мире, существует трудность, поскольку многие сигналы, присутствующие в реальной среде, отсутствуют в виртуальной среде. Восприятие и окклюзия являются основными перцептивными сигналами, используемыми людьми. Кроме того, хотя сцены в виртуальном пространстве кажутся трехмерными, они по-прежнему отображаются на двухмерной поверхности, поэтому некоторые несоответствия в восприятии глубины все равно будут существовать.

3D пользовательские интерфейсы

Схема этапов взаимодействия с пользователем в 3D

В этом разделе рассматриваются как программные, так и аппаратные устройства 3D-ввода/вывода. Информацию об уникальных программных 3D-пользовательских интерфейсах см. в разделе 3D GUI .

Пользовательские интерфейсы — это средства связи между пользователями и системами. 3D-интерфейсы включают в себя носители для трехмерного представления состояния системы и носители для трехмерного пользовательского ввода или манипулирования. Использование 3D-представлений недостаточно для создания трехмерного взаимодействия. Пользователи также должны иметь возможность выполнять действия в 3D. С этой целью были разработаны специальные устройства ввода и вывода, поддерживающие этот тип взаимодействия. Некоторые из них, например 3D-мышь, были разработаны на основе существующих устройств для 2D-взаимодействия.

Пользовательские 3D-интерфейсы — это пользовательские интерфейсы, в которых происходит трехмерное взаимодействие. Это означает, что задачи пользователя выполняются непосредственно в трехмерном пространстве. Пользователь должен передавать системе команды, запросы, вопросы, намерения и цели, а она, в свою очередь, должна предоставлять обратную связь, запросы на ввод, информацию о своем статусе и так далее.

И пользователь, и система используют разные типы языков, поэтому, чтобы сделать возможным процесс общения, интерфейсы должны служить посредниками или переводчиками между ними.

То, как пользователь преобразует восприятие в действия, называется передаточной функцией человека, а то, как система преобразует сигналы в отображаемую информацию, называется передаточной функцией системы. Пользовательские 3D-интерфейсы на самом деле представляют собой физические устройства, которые связывают пользователя и систему с минимальной задержкой. В этом случае существует два типа: оборудование вывода 3D-интерфейса пользователя и оборудование ввода 3D-интерфейса пользователя.

Аппаратное обеспечение вывода 3D-интерфейса пользователя

Устройства вывода, также называемые устройствами отображения, позволяют машине предоставлять информацию или обратную связь одному или нескольким пользователям через систему восприятия человека. Большинство из них направлены на стимуляцию зрительных, слуховых или тактильных ощущений. Однако в некоторых необычных случаях они также могут стимулировать обонятельную систему пользователя.

3D-визуальные дисплеи

Этот тип устройств является наиболее популярным, и его цель — представить информацию, создаваемую системой, через зрительную систему человека в трехмерном виде. Основными особенностями, отличающими эти устройства, являются: поле зрения и поле зрения , пространственное разрешение , геометрия экрана, механизм передачи света, частота обновления и эргономика .

Другой способ охарактеризовать эти устройства - это различные категории сигналов восприятия глубины , используемые для достижения того, чтобы пользователь мог понять трехмерную информацию. Основными типами дисплеев, используемых в 3D-пользовательских интерфейсах, являются: мониторы, дисплеи с объемным экраном, рабочие столы, полусферические дисплеи, дисплеи, монтируемые на голове, дисплеи, монтируемые на руке, и автостереоскопические дисплеи. Гарнитуры виртуальной реальности и CAVE ( Cave Auto Virtual Environment ) являются примерами полностью захватывающего визуального дисплея, где пользователь может видеть только виртуальный мир, а не реальный. Полу-иммерсивные дисплеи позволяют пользователям видеть и то, и другое. Мониторы и рабочие столы являются примерами полуиммерсивных дисплеев.

3D-аудио дисплеи

Дисплеи 3D Audio — это устройства, которые передают информацию (в данном случае звук) через слуховую систему человека, что особенно полезно при предоставлении пользователям информации о местоположении и пространстве. Его цель — генерировать и отображать пространственный трехмерный звук, чтобы пользователь мог использовать свои психоакустические навыки и определять местоположение и направление звука. Существуют сигналы различной локализации: бинауральные сигналы, спектральные и динамические сигналы, связанные с головой передаточные функции , , реверберация , интенсивность звука , а также знакомство со зрением и окружающей средой. Добавление фонового аудиокомпонента на дисплей также добавляет ощущения реализма.

3D тактильные дисплеи

Эти устройства используют осязание для имитации физического взаимодействия между пользователем и виртуальным объектом. Существует три различных типа 3D-гаптических дисплеев: те, которые дают пользователю ощущение силы, те, которые имитируют чувство осязания, и те, которые используют и то, и другое. Основными особенностями, которые отличают эти устройства, являются: возможность тактильного представления, разрешение и эргономика . Тактильная система человека имеет два основных типа сигналов: тактильные и кинестетические. Тактильные сигналы — это тип сигналов человеческого прикосновения, которые имеют множество кожных рецепторов, расположенных под поверхностью кожи, которые предоставляют информацию о текстуре, температуре, давлении и повреждении. Кинестетические сигналы — это тип сенсорных сигналов человека, которые имеют множество рецепторов в мышцах, суставах и сухожилиях, которые предоставляют информацию об угле суставов, напряжении и длине мышц.

Аппаратное обеспечение ввода 3D-интерфейса пользователя

Эти аппаратные устройства называются устройствами ввода, и их цель — фиксировать и интерпретировать действия, выполняемые пользователем. Степени свободы (DOF) являются одной из основных особенностей этих систем. Классические компоненты интерфейса (такие как мышь, клавиатура и, возможно, сенсорный экран) часто не подходят для нужд, не связанных с 2D-взаимодействием. Эти системы также различаются в зависимости от того, какое физическое взаимодействие необходимо для использования устройства: чисто активными необходимо манипулировать для получения информации, а чисто пассивными этого не требуется.Основными категориями этих устройств являются стандартные (настольные) устройства ввода, устройства слежения, устройства управления, навигационное оборудование, интерфейсы жестов , 3D-мыши и интерфейсы «мозг-компьютер» .

Настольные устройства ввода

Устройства этого типа предназначены для трехмерного взаимодействия на рабочем столе, многие из них изначально задумывались о традиционном взаимодействии в двух измерениях, но при соответствующем сопоставлении между системой и устройством это может прекрасно работать и в трехмерном формате. размерный способ. Они бывают разных типов: клавиатуры , 2D-мыши и трекболы, перьевые планшеты и стилусы, а также джойстики . Тем не менее, многие исследования ставят под сомнение пригодность компонентов интерфейса рабочего стола для 3D-взаимодействия. хотя это до сих пор обсуждается.

Устройства слежения

3D-системы взаимодействия с пользователем основаны, прежде всего, на технологиях отслеживания движения , чтобы получить всю необходимую информацию от пользователя посредством анализа его движений или жестов , эти технологии называются технологиями отслеживания.

Трекеры обнаруживают или контролируют движения головы, рук или тела и отправляют эту информацию на компьютер. Затем компьютер переводит его и гарантирует, что положение и ориентация точно отражаются в виртуальном мире. Отслеживание важно для представления правильной точки зрения, координации пространственной и звуковой информации, представляемой пользователям, а также задач или функций, которые они могут выполнять. 3D-трекеры подразделяются на механические, магнитные, ультразвуковые, оптические и гибридные инерциальные. Примеры трекеров включают трекеры движения , трекеры глаз и перчатки для передачи данных. Простую 2D-мышь можно считать навигационным устройством, если она позволяет пользователю перемещаться в другое место виртуального 3D-пространства. Навигационные устройства, такие как беговая дорожка и велосипед, используют естественные способы передвижения людей в реальном мире. Беговые дорожки имитируют ходьбу или бег, а велосипеды или оборудование аналогичного типа имитируют путешествие на автомобиле. В случае с навигационными устройствами информация, передаваемая на машину, — это местоположение пользователя и его перемещения в виртуальном пространстве. Проводные перчатки и боди позволяют осуществлять взаимодействие посредством жестов. Они отправляют информацию о положении и движении руки или тела на компьютер с помощью датчиков.

Для полной разработки 3D-системы взаимодействия с пользователем необходимо иметь доступ к нескольким основным параметрам, все эти технологические системы должны знать, или, по крайней мере, частично, такие как относительное положение пользователя, абсолютное положение, угловая скорость. , данные вращения, ориентация или высота. Сбор этих данных достигается с помощью систем космического слежения и датчиков в различных формах, а также использования различных методов их получения.Идеальной системой для такого типа взаимодействия является система, основанная на отслеживании положения с использованием шести степеней свободы (6-DOF). Эти системы характеризуются способностью получать абсолютное трехмерное положение пользователя, таким образом будет получить информацию обо всех возможных углах трехмерного поля.

Реализация этих систем может быть достигнута с использованием различных технологий, таких как электромагнитные поля, оптическое или ультразвуковое слежение, но все они имеют основное ограничение: они должны иметь фиксированную внешнюю опорную точку, либо базу, массив камер, либо набор видимых маркеров, поэтому эту единую систему можно применять на подготовленных площадках. Системы инерциального слежения не требуют внешней привязки, например системы, основанные на движении, основаны на сборе данных с помощью акселерометров , гироскопов или видеокамер, без обязательной фиксированной привязки, в большинстве случаев основная проблема этой системы, основан на отсутствии абсолютного положения, поскольку не является частью какой-либо предварительно установленной внешней опорной точки, поэтому он всегда получает относительное положение пользователя, аспект, который вызывает накопленные ошибки в процессе выборки данных. Цель, которую необходимо достичь в системе 3D-слежения, будет основана на получении системы с 6 степенями свободы, способной обеспечить абсолютное позиционирование и точность движения и ориентации, с очень высокой точностью и неразрезанным пространством, хорошим примером грубой ситуации будет быть мобильным телефоном, поскольку он оснащен всеми датчиками захвата движения, а также GPS-отслеживание широты, но в настоящее время эти системы не настолько точны, чтобы собирать данные с точностью до сантиметров, и поэтому будут недействительны.

Однако существует несколько систем, которые тесно адаптированы к преследуемым целям, определяющим для них является то, что системы являются автосодержащими, т.е. «все в одном» и не требуют фиксированной предварительной ссылки, эти системы следующие:

Пульт Nintendo Wii («Wiimote»)

Устройство Wiimote

Устройство Wii Remote не предлагает технологию, основанную на 6-DOF, поскольку, опять же, не может обеспечить абсолютное положение, напротив, оно оснащено множеством датчиков, которые превращают 2D-устройство в отличный инструмент взаимодействия в 3D-среде.

Это устройство имеет гироскопы для определения вращения пользователя, акселерометры ADXL3000 для определения скорости и движения рук, оптические датчики для определения ориентации, а также электронные компасы и инфракрасные устройства для фиксации положения.

На этот тип устройства могут влиять внешние источники инфракрасных лампочек или свечей, что приводит к ошибкам в точности положения.

Устройства Google Танго

Планшет Google Project Tango, 2014 г.

Платформа Tango — это вычислительная платформа дополненной реальности, разработанная и созданная Advanced Technology and Projects (ATAP), подразделением Google. Он использует компьютерное зрение и внутренние датчики (например, гироскопы), чтобы позволить мобильным устройствам, таким как смартфоны и планшеты, определять свое положение относительно окружающего мира без использования GPS или других внешних сигналов. Таким образом, его можно использовать для обеспечения входа с 6 степенями свободы, который также можно комбинировать с мультисенсорным экраном. Устройства Google Tango можно рассматривать как более интегрированные решения, чем ранние прототипы, сочетающие устройства с пространственным отслеживанием и сенсорными экранами для 3D-сред.

Microsoft Кинект

Сенсор Кинект

Устройство Microsoft Kinect предлагает нам другую технологию захвата движения для отслеживания.

Вместо того, чтобы основывать свою работу на датчиках, он основан на структурированном световом сканере , расположенном в стержне, который позволяет отслеживать все тело посредством обнаружения около 20 пространственных точек, из которых измеряются 3 различные степени свободы для определения положения. , скорость и вращение каждой точки.

Его основным преимуществом является простота использования и отсутствие необходимости подключения внешнего устройства к пользователю, а его главный недостаток заключается в невозможности определения ориентации пользователя, что ограничивает определенное пространство и функции наведения.

Прыжок движения

Контроллер движения Leap

Leap Motion — это новая система отслеживания рук, разработанная для небольших пространств и обеспечивающая новое взаимодействие в трехмерных средах для настольных приложений, поэтому она обеспечивает большую плавность при реалистичном просмотре трехмерных сред.

Это небольшое устройство, которое подключается через USB к компьютеру и использует две камеры со светодиодами инфракрасного света, позволяющие анализировать полусферу площадью около 1 метра на ее поверхности, записывая таким образом ответы со скоростью 300 кадров в секунду, информация отправляется на компьютер для обработки конкретной компанией-разработчиком программного обеспечения.

Методы 3D-взаимодействия

Методы 3D-взаимодействия — это различные способы взаимодействия пользователя с виртуальной 3D-средой для выполнения различных задач. Качество этих методов оказывает огромное влияние на качество всех 3D-интерфейсов пользователя. Их можно разделить на три группы: Навигация, Выбор и манипулирование и Управление системой.

Навигация

Компьютер должен предоставить пользователю информацию о местоположении и движении. Навигация наиболее часто используется пользователем в больших трехмерных средах и представляет различные проблемы, такие как поддержка пространственного восприятия, обеспечение эффективного перемещения между удаленными местами и обеспечение переносимости навигации, чтобы пользователь мог сосредоточиться на более важных задачах. Эти приемы, навигационные задачи, можно разделить на две составляющие: путешествие и поиск пути. Путешествие предполагает перемещение из текущего местоположения в нужную точку. Под навигацией подразумевается поиск и установка маршрутов для достижения цели путешествия в виртуальной среде.

Путешествовать

Путешествие — концептуальная техника, заключающаяся в перемещении точки обзора (виртуального глаза, виртуальной камеры) из одной локации в другую. Эта ориентация обычно осуществляется в иммерсивных виртуальных средах путем отслеживания головы .Существует пять типов техники взаимодействия в путешествии:

• Физическое движение : использует движение тела пользователя для перемещения по виртуальной среде. Это подходящий метод, когда вам нужно расширенное восприятие ощущения присутствия или когда пользователю необходимо приложить физические усилия для симуляции.
• Ручное манипулирование точкой обзора : движения рук пользователя определяют действие в виртуальной среде. Одним из примеров может быть ситуация, когда пользователь двигает руками так, будто он хватается за виртуальную веревку, а затем подтягивается. Эта техника может быть простой в освоении и эффективной, но может вызвать утомление.
• Рулевое управление : пользователю приходится постоянно указывать, в каком направлении двигаться. Это распространенный и эффективный метод. Одним из примеров этого является рулевое управление, направленное взглядом, при котором ориентация головы определяет направление движения.
• Путешествие на основе цели : пользователь указывает точку назначения, и точка обзора перемещается в новое место. Это путешествие может быть выполнено с помощью телепорта, при котором пользователь мгновенно перемещается в точку назначения, или система может выполнить некоторый поток переходных движений к судьбе. Эти методы очень просты с точки зрения пользователя, поскольку им нужно только указать пункт назначения.
• Планирование маршрута : пользователь указывает путь, который следует пройти через окружающую среду, а система выполняет движение. Пользователь может нарисовать путь на карте. Эта техника позволяет пользователям контролировать путешествие, одновременно имея возможность выполнять другие задачи во время движения.

Навигация

Поиск пути — это когнитивный процесс определения маршрута для окружающей среды, использование и приобретение пространственных знаний для построения когнитивной карты окружающей среды. В виртуальном пространстве это происходит по-другому, и это сложнее сделать, чем в реальном мире, поскольку в синтетической среде часто отсутствуют перцептивные сигналы и ограничения движения. Его можно поддерживать с помощью методов, ориентированных на пользователя, таких как использование большего поля зрения и подачи сигналов движения, или методов, ориентированных на окружающую среду, таких как структурная организация и принципы навигации.

Чтобы обеспечить хороший поиск пути, пользователи должны получать поддержку для поиска пути во время путешествия в виртуальной среде, чтобы облегчить его из-за ограничений виртуального мира.

Эти поддержки могут быть ориентированы на пользователя, например, большое поле зрения, или даже невизуально, например, аудио, или ориентированы на окружающую среду, искусственные сигналы и структурную организацию для четкого определения различных частей окружающей среды. Некоторые из наиболее часто используемых искусственных сигналов — это карты, компасы и сетки или даже архитектурные сигналы, такие как освещение, цвет и текстура.

Выбор и манипуляция

Методы выбора и манипулирования для трехмерных сред должны решать хотя бы одну из трех основных задач: выбор объекта, позиционирование объекта и вращение объекта.

Пользователи должны иметь возможность манипулировать виртуальными объектами. Задачи манипуляции включают в себя выбор и перемещение объекта. Иногда также задействовано вращение объекта. Манипулирование прямой рукой является наиболее естественным методом, поскольку манипулирование физическими объектами с помощью руки интуитивно понятно для человека. Однако это не всегда возможно. Виртуальная рука, которая может выбирать и перемещать виртуальные объекты, также подойдет.

3D- виджеты можно использовать для размещения элементов управления на объектах: их обычно называют 3D-штуками или манипуляторами (хорошим примером являются те, что из Blender ). Пользователи могут использовать их для перемещения, изменения масштаба или ориентации объекта (перемещение, масштабирование, поворот).

Другие методы включают технику Go-Go и метод ray casting, где виртуальный луч используется для указания и выбора объекта.

Выбор

Задача выбора объектов или трехмерных объемов в трехмерной среде требует сначала найти нужную цель, а затем выбрать ее. Большинство наборов 3D-данных/сред повреждены проблемами окклюзии, поэтому первый шаг поиска цели основан на манипулировании точкой обзора или самими трехмерными данными, чтобы правильно идентифицировать интересующий объект или объем. Этот начальный шаг, конечно, тесно связан с манипуляциями в 3D. Как только цель визуально определена, пользователи получают доступ к различным методам ее выбора.

Обычно система предоставляет пользователю трехмерный курсор в виде человеческой руки, движения которой соответствуют движению трекера рук. Эта техника виртуальной руки довольно интуитивно понятен, поскольку имитирует взаимодействие с объектами в реальном мире, но с ограничением объектов, до которых мы можем добраться в пределах досягаемости.

Чтобы избежать этого ограничения, было предложено множество техник, например, техника Go-Go. Этот метод позволяет пользователю расширить область досягаемости, используя нелинейное отображение руки: когда пользователь вытягивает руку за пределы фиксированного порогового расстояния, отображение становится нелинейным и рука увеличивается.

Другой метод выбора объектов и манипулирования ими в виртуальных трехмерных пространствах заключается в указании на объекты с помощью виртуального луча, исходящего из виртуальной руки. Когда луч пересекается с объектами, им можно манипулировать. Было создано несколько вариантов этого метода, например, метод апертуры, в котором для выбора удаленных объектов используется конический указатель, обращенный к глазам пользователя, рассчитанный по положению головы. В этом методе также используется датчик руки для регулировки размера конического указателя.

Также было разработано множество других методов, основанных на различных стратегиях ввода.

Манипуляция

3D-манипуляции происходят перед задачей выбора (чтобы визуально идентифицировать цель 3D-выбора) и после того, как выбор произошел, для манипулирования выбранным объектом. 3D-манипуляции требуют 3 степеней свободы для вращения (1 степень свободы на ось, а именно x, y, z) и 3 степени свободы для перемещения (1 степень свободы на ось) и как минимум 1 дополнительную степень свободы для равномерного масштабирования (или, альтернативно, 3 дополнительные степени свободы для неравномерного масштабирования). операции масштабирования).

3D-манипуляции, как и навигация, являются одной из важнейших задач с 3D-данными, объектами или средой. Он лежит в основе многих широко используемых 3D-программ (таких как Blender, Autodesk, VTK). Таким образом, это программное обеспечение, доступное в основном на компьютерах, почти всегда сочетается с мышью и клавиатурой. Чтобы обеспечить достаточное количество степеней свободы (мышь предлагает только 2), это программное обеспечение использует модификацию с помощью ключа, чтобы отдельно управлять всеми степенями свободы, участвующими в 3D-манипуляциях. С недавним появлением смартфонов и планшетов с поддержкой мультитач, отображение взаимодействия этого программного обеспечения было адаптировано для мультитач (который предлагает больше одновременных манипуляций с глубиной резкости, чем мышь и клавиатура). Однако опрос, проведенный в 2017 году среди 36 коммерческих и академических мобильных приложений на Android и iOS, показал, что большинство приложений не предоставляют возможности контролировать минимум 6 необходимых степеней свободы. но среди тех, кто это сделал, большинство использовало трехмерную версию отображения RST (перенос масштаба вращения): один палец используется для вращения вокруг x и y, а взаимодействие двух пальцев контролирует вращение вокруг z и перемещение вдоль x, й и з.

Управление системой

Методы управления системой позволяют пользователю отправлять команды приложению, активировать некоторые функции, изменять режим взаимодействия (или системы) или изменять параметр. Отправитель команды всегда включает в себя выбор элемента из набора. Методы управления системой как методы, которые поддерживают задачи управления системой в трех измерениях, можно разделить на четыре группы:

• Графические меню : визуальное представление команд.
• Голосовые команды : доступ к меню с помощью голоса.
• Жестовое взаимодействие : доступ к команде осуществляется посредством жестов тела.
• Инструменты : виртуальные объекты с неявной функцией или режимом.

Также существуют различные гибридные методики, сочетающие в себе некоторые виды.

Символический ввод

Эта задача позволяет пользователю вводить и/или редактировать, например, текст, что позволяет аннотировать 3D-сцены или 3D-объекты.

См. также

• Отслеживание пальцев
• Техника взаимодействия
• Дизайн взаимодействия
• Взаимодействие человека и компьютера
• Автоматическая виртуальная среда пещеры (CAVE)
• Виртуальная реальность

Ссылки

Список чтения

1. 3D-взаимодействие с портативными компьютерами. Посещение 28 марта 2008 г.
2. Боуман Д., Круйф Э., ЛаВиола Дж., Пупырев И. (2001, февраль). Введение в проектирование трехмерного пользовательского интерфейса . Присутствие, 10 (1), 96–108.
3. Боуман Д., Круйф Э., ЛаВиола Дж., Пупырев И. (2005). Пользовательские 3D-интерфейсы: теория и практика. Бостон: Аддисон-Уэсли.
4. Боуман, Дуг. Пользовательские 3D-интерфейсы . Фонд интерактивного дизайна . Проверено 15 октября 2015 г.
5. Бурдеа, Г.К., Койффе, П. (2003). Технология виртуальной реальности (2-е изд.). Нью-Джерси: John Wiley & Sons Inc.
6. Кэрролл, Дж. М. (2002). Взаимодействие человека и компьютера в новом тысячелетии. Нью-Йорк: ACM Press
7. Чисинко М., Кауфманн Х. (март 2007 г.). На пути к универсальной реализации методов трехмерного взаимодействия с пользователем [Материалы спецификации, авторская разработка, адаптация семинара по пользовательским интерфейсам смешанной реальности, IEEE VR]. Шарлотт, Северная Каролина, США.
8. Фрелих, Б.; Плейт, Дж. (2000). «Кубическая мышь: новое устройство для 3D-ввода». Труды ACM CHI 2000 . Нью-Йорк: ACM Press. стр. 526–531. дои : 10.1145/332040.332491 .
9. Техники взаимодействия . DLR – Моделирование и технологии программного обеспечения . Проверено 18 октября 2015 г.
10. Кейсер, Дж.; Карпендейл, С.; Хэнкок, М.; Айзенберг, Т. (2007). «Изучение трехмерного взаимодействия в альтернативных отображениях пространства управления и отображения» (PDF) . Материалы 2-го симпозиума IEEE по 3D пользовательским интерфейсам . Лос-Аламитос, Калифорния: Компьютерное общество IEEE. стр. 526–531.
11. Лариджани, LC (1993). Букварь виртуальной реальности. Соединенные Штаты Америки: Компания RR Donnelley and Sons.
12. Рейн, А. ван (2006). Настраиваемые устройства ввода для 3D-взаимодействия с использованием оптического отслеживания . Эйндховен: Эйндховенский технологический университет.
13. Штерцлингер В., Дадгари Д., О, Дж.Й. (2006, апрель). Техники движения объектов на основе реальности в 3D. Семинар CHI 2006: «Каково следующее поколение взаимодействия человека и компьютера?». Презентация мастер-класса.
14. CAVE (автоматическая виртуальная среда CAVE). Посещение 28 марта 2007 г.
15. CAVE с поддержкой Java 3-D в Центре передового опыта в области визуальной геномики Sun. Посещение 28 марта 2007 г.
16. Винс, Дж. (1998). Незаменимая виртуальная реальность Fast. Великобритания: Springer-Verlag London Limited
17. Виртуальная реальность. Посещение 28 марта 2007 г.
18. Юань, К. (2005, декабрь). Бесшовное 3D-взаимодействие в AR – подход, основанный на визуальном зрении. В материалах Первого международного симпозиума, ISVC (стр. 321–328). Озеро Тахо, Невада, США: Springer Berlin/Heidelberg.

Внешние ссылки

• Библиография по 3D-взаимодействию и пространственным данным
• Изобретатель интерфейса 3D-окна. 1998 г.. Архивировано 3 июля 2020 г. в Wayback Machine.
• Группа 3ДИ
• 3D-взаимодействие в виртуальных средах