Виртуальный сенсорный экран

Виртуальный сенсорный экран (VTS) — это система пользовательского интерфейса, которая превращает виртуальные объекты в реальность с помощью проектора или оптического дисплея с использованием датчиков для отслеживания взаимодействия человека с объектом. Например, используя дисплей и систему рир -проектора, человек может создавать изображения, которые выглядят трехмерными и кажутся парящими в воздухе. ^{[ 1 ]} Некоторые системы используют оптический головной дисплей для добавления виртуальных объектов на прозрачный дисплей с использованием датчиков для определения визуального и физического взаимодействия с проецируемыми виртуальными объектами. ^{[ 2 ]}

История

В 2010 году Displair представила свой первый коммерческий « безэкранный » виртуальный 3D -мультитач-дисплей , состоящий из холодного стабильного потока воздуха, содержащего частицы воды, полученные кавитационным методом. ^{[ 3 ]}
В конце 2010 года Microsoft выпустила Kinect , первый в своем роде коммерчески доступный и доступный датчик виртуального сенсорного экрана, который мог отслеживать движения человека и дополнять его взаимодействие с объектами, отображаемыми на телевизоре . ^{[ 4 ]}
В 2015 году Microsoft представила Hololens, оптический головной дисплей, использующий голографическую платформу Windows . Виртуальные объекты отображаются через оптическое головное устройство для визуализации системы Windows 10 в видимой среде пользователя. ^{[ 5 ]}^{[ 6 ]}

Разработка

В ходе исследования 2009 года в Корейском институте технологий электроники была построена система виртуального сенсорного экрана с использованием техники отслеживания точек касания на основе времяпролетной камеры с фильтром Калмана . ^{[ 7 ]} Чтобы решить широко распространенную проблему в традиционных системах виртуальных сенсорных экранов (т.е. чутко реагировать даже на малейшее движение руки и неспособность точно распознать точку касания), в исследовании был применен метод отслеживания фильтра Калмана для последовательного прогнозирования и отслеживания точки касания. Будучи прогнозируемой и распознаваемой, предсказанная точка касания должна была существовать все время, но резкое движение точки касания, скорее всего, распознавалось лишь бесчувственно. Коммерческая версия, основанная на этой технологии, так и не была реализована.

Использование

В настоящее время виртуальные сенсорные экраны (ВТС) используются преимущественно в развлекательных и исследовательских целях. Популярной системой виртуального сенсорного экрана является система Kinect , коммерчески доступная от Microsoft . Система Kinect в основном используется для развлечения потребителей, например для игр и использования меню системы Xbox . ^{[ 8 ]}^{[ 9 ]} Однако в последние годы Kinect использовался для исследовательских проектов в области робототехники и трехмерных взаимодействий за пределами игр, таких как просмотр веб-страниц и медицинская практика. ^{[ 10 ]}^{[ 11 ]}^{[ 12 ]}

Существует потенциал технологии, где необходима 3D-визуализация и физическое взаимодействие с объектами, например, для обучения студентов вводному исчислению . ^{[ 13 ]}

Технология виртуального сенсорного экрана также может применяться для превращения несенсорных дисплеев в интерактивные сенсорные поверхности с использованием датчика Kinect в сочетании с проектором. ^{[ 14 ]} Этот тип приложения позволяет использовать технологию виртуального касания для улучшения использования персонального дисплея, а также для улучшения связи и представления данных, которые будут использоваться в сфере образования или бизнеса.

Сенсор Kinect, обычно используемый во многих приложениях с виртуальными сенсорными экранами.

В медицинской практике виртуальное сенсорное взаимодействие применяется, чтобы позволить пользователям просматривать и манипулировать цифровыми данными, такими как 3D-изображения, используемые при медицинском сканировании, что позволяет медицинскому персоналу взаимодействовать с данными без какого-либо физического контакта, что позволяет избежать необходимости повторной стерилизации. ^{[ 15 ]} от Microsoft Кроме того, датчик Kinect также использует технологию виртуального сенсорного экрана, чтобы помочь пациентам, перенесшим инсульт, восстановиться и улучшить двигательные функции конечностей с помощью игровой системы, включающей интерпретацию жестов в сочетании с регулируемыми уровнями сложности в зависимости от производительности пользователя. ^{[ 16 ]}

Человеческий фактор и эргономика

Одной из ключевых проблем виртуальных сред, использующих сенсорное управление, являются тактильные ощущения . Например, использование виртуального сенсорного экрана для медицинского обучения может сократить затраты на обучение медицинского персонала для выполнения деликатных сенсорных операций, таких как хирургия. Однако тактильные ощущения при таком обучении не обеспечивают достаточной физической обратной связи при прикосновении, необходимой виртуально обученному практикующему врачу для выполнения настоящей операции. Включение достаточной тактильной обратной связи в взаимодействие с виртуальным сенсорным экраном является активной областью исследований. ^{[ 17 ]}

См. также

Примечания

^ Гэри Б. Шелли, Томас Дж. Кэшман, Мисти Э. Вермаат, Джеффри Дж. Квасни; и др. (2008). Знакомство с компьютерами 2008: вводное . Бостон, Массачусетс: Томсон/Курс Технологии. ISBN 978-1423912040 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ Ко, Ынджин; Вон, Чонхо; Пэ, Чансок. «Интерфейс виртуального сенсорного экрана на основе машинного зрения». Сборник технических статей Международной конференции по бытовой электронике, 2008 г. (2008 г.): 1–2.
^ «Компания «Дисплаир» из Астрахани продемонстрировала интерактивный безэкранный дисплей» . киоски.ру. 17 апреля 2012 г. Проверено 8 июня 2012 г.
^ « Проект Натал «101» . Майкрософт. 1 июня 2009 года. Архивировано из оригинала 21 января 2012 года . Проверено 2 июня 2009 г.
^ Каин, Эрик (21 января 2015 г.). «Microsoft дополняет реальность с помощью Windows Holographic» . Форбс . Проверено 21 января 2015 г.
^ Майерсон, Терри (21 января 2015 г.). «Следующее поколение Windows: Windows 10» . Блоггинг в Windows . Майкрософт . Проверено 21 января 2015 г.
^ АН, ЯН-ГЫН; КИМ, МИН УК; ПАК ЯНЧУНГ; ЧОЙ, КВАН-СУН; ПАРК, ВУ-ШКОЛА; СЕО, ХЭ-МУН; ЧОН, КВАН-МО (2009). «Реализация виртуального сенсорного 3D-экрана» (PDF) . Корейский институт электронных технологий .
^ Новый Kinect от Microsoft официально представлен: увеличенное поле зрения, HD-камера, пробуждение голосом.
^ Дэйв Тах (21 мая 2013 г.). «Kinect всегда прослушивает Xbox One, но конфиденциальность является «главным приоритетом» для Microsoft» . Полигон . Проверено 22 мая 2013 г.
^ Уортэм, Дженна (21 ноября 2010 г.). «Благодаря контроллеру Kinect хакеры получают свободу» . Нью-Йорк Таймс . Проверено 25 ноября 2010 г.
^ «В медицинской практике хак Kinect находит применение» . Игровая сеть QuickJump. 27 декабря 2010 года . Проверено 23 мая 2011 г.
^ "радРаундс" . Радиология и исследование медицинских изображений на базе Xbox Kinect . Проверено 4 декабря 2011 г.
^ Боггесс, Джейсон; Хардинг, Крис. «Улучшение начального обучения математическому анализу с помощью трехмерной визуализации и виртуального прикосновения (тактильное ощущение)». Центр приложений виртуальной реальности, Университет штата Айова, Эймс, Айова (2007).
^ «Юби Интерактив» . Сделайте мир своим сенсорным экраном . Проверено 21 апреля 2015 г.
^ «ГестСюр» . Возьмите под свой контроль операционную . Проверено 21 апреля 2015 г.
^ Чанг, Эрик (2015). «Исследования Майкрософт» . Восстановление после инсульта с помощью Kinect . Проверено 21 апреля 2015 г.
^ Роблес-Де-Ла-Торре, Габриэль (2006). «Важность осязания в виртуальной и реальной среде». IEEE Мультимедиа . 13 (3): 24–30. дои : 10.1109/MMUL.2006.69 . ISSN 1070-986X . S2CID 16153497 .

Ссылки

Ан, Ян-Гын; Ким, Мин Ук; Пак, Ён-Чунг; и др. (22 июля 2009 г.). «Реализация виртуального сенсорного 3D-экрана» . Материалы 13-й Международной конференции WSEAS по системам (2009 г.): 424–428. ISBN 9789604740970 .

Внешние ссылки

[1] Гэри Б. Шелли, Томас Дж. Кэшман, Мисти Э. Вермаат, Джеффри Дж. Квасни; и др. (2008). Знакомство с компьютерами 2008: вводное . Бостон, Массачусетс: Томсон/Курс Технологии. ISBN 978-1423912040 . {{cite book}}: CS1 maint: несколько имен: список авторов ( ссылка )

[Vision-base-2008-2] Ко, Ынджин; Вон, Чонхо; Пэ, Чансок. «Интерфейс виртуального сенсорного экрана на основе машинного зрения». Сборник технических статей Международной конференции по бытовой электронике, 2008 г. (2008 г.): 1–2.

[autogenerated2-3] «Компания «Дисплаир» из Астрахани продемонстрировала интерактивный безэкранный дисплей» . киоски.ру. 17 апреля 2012 г. Проверено 8 июня 2012 г.

[Natal_101-4] « Проект Натал «101» . Майкрософт. 1 июня 2009 года. Архивировано из оригинала 21 января 2012 года . Проверено 2 июня 2009 г.

[Forbes-5] Каин, Эрик (21 января 2015 г.). «Microsoft дополняет реальность с помощью Windows Holographic» . Форбс . Проверено 21 января 2015 г.

[BW-6] Майерсон, Терри (21 января 2015 г.). «Следующее поколение Windows: Windows 10» . Блоггинг в Windows . Майкрософт . Проверено 21 января 2015 г.

[7] АН, ЯН-ГЫН; КИМ, МИН УК; ПАК ЯНЧУНГ; ЧОЙ, КВАН-СУН; ПАРК, ВУ-ШКОЛА; СЕО, ХЭ-МУН; ЧОН, КВАН-МО (2009). «Реализация виртуального сенсорного 3D-экрана» (PDF) . Корейский институт электронных технологий .

[8] Новый Kinect от Microsoft официально представлен: увеличенное поле зрения, HD-камера, пробуждение голосом.

[XboxOneKinectListeningMay2013Polygon-9] Дэйв Тах (21 мая 2013 г.). «Kinect всегда прослушивает Xbox One, но конфиденциальность является «главным приоритетом» для Microsoft» . Полигон . Проверено 22 мая 2013 г.

[10] Уортэм, Дженна (21 ноября 2010 г.). «Благодаря контроллеру Kinect хакеры получают свободу» . Нью-Йорк Таймс . Проверено 25 ноября 2010 г.

[11] «В медицинской практике хак Kinect находит применение» . Игровая сеть QuickJump. 27 декабря 2010 года . Проверено 23 мая 2011 г.

[12] "радРаундс" . Радиология и исследование медицинских изображений на базе Xbox Kinect . Проверено 4 декабря 2011 г.

[13] Боггесс, Джейсон; Хардинг, Крис. «Улучшение начального обучения математическому анализу с помощью трехмерной визуализации и виртуального прикосновения (тактильное ощущение)». Центр приложений виртуальной реальности, Университет штата Айова, Эймс, Айова (2007).

[14] «Юби Интерактив» . Сделайте мир своим сенсорным экраном . Проверено 21 апреля 2015 г.

[15] «ГестСюр» . Возьмите под свой контроль операционную . Проверено 21 апреля 2015 г.

[16] Чанг, Эрик (2015). «Исследования Майкрософт» . Восстановление после инсульта с помощью Kinect . Проверено 21 апреля 2015 г.

[17] Роблес-Де-Ла-Торре, Габриэль (2006). «Важность осязания в виртуальной и реальной среде». IEEE Мультимедиа . 13 (3): 24–30. дои : 10.1109/MMUL.2006.69 . ISSN 1070-986X . S2CID 16153497 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]