Проекционная дополненная модель

Модель дополненной проекции ( модель PA ) — это элемент, который иногда используется в системах виртуальной реальности . Он состоит из физической трехмерной модели, на которую проецируется компьютерное изображение для создания реалистично выглядящего объекта. Важно отметить, что физическая модель имеет ту же геометрическую форму, что и объект, который изображает модель PA.

Объединение физических и виртуальных объектов

Пространственно дополненная реальность (SAR) визуализирует виртуальные объекты непосредственно внутри или в физическом пространстве пользователя. Ключевым преимуществом SAR является то, что пользователю не нужно носить головной дисплей . Вместо этого, с использованием пространственных дисплеев, широкое поле зрения и, возможно, изображения виртуальных объектов с высоким разрешением могут быть интегрированы непосредственно в окружающую среду. Например, виртуальные объекты можно реализовать с помощью цифровых световых проекторов для рисования 2D/3D-изображений на реальных поверхностях или с помощью встроенных плоских дисплеев.

С реальными объектами можно физически обращаться и манипулировать ими, чтобы их можно было рассматривать с любого направления, что важно для эргономической оценки и обеспечивает сильное ощущение осязаемости. Хотя моделируемые устройства тактильной обратной связи позволяют прикасаться к некоторым аспектам компьютерных объектов, они не могут соответствовать этому уровню функциональности. Поэтому неудивительно, что физические объекты до сих пор используются во многих приложениях, например, при проектировании продуктов . Однако объекты, созданные компьютером, имеют ключевое преимущество; они обеспечивают уровень гибкости, с которым не могут сравниться физические объекты. Следовательно, необходим дисплей, который каким-то образом объединяет реальный физический мир и объекты, созданные компьютером, и тем самым позволяет воспринимать их одновременно.

И материальные пользовательские интерфейсы (TUI), и дополненная реальность призваны решить эту проблему. Системы TUI используют реальные физические объекты как для представления, так и для взаимодействия с компьютерной информацией (рис. 1). Однако, хотя TUI создают физическую связь между реальными и компьютерными объектами, они не создают иллюзии того, что компьютерные объекты на самом деле находятся в реальной среде пользователя. В этом и есть цель дополненной реальности.

Рисунок 1. Континуум современных компьютерных интерфейсов, на основе Милгрэма и Кишино (1994).

В отличие от виртуальной реальности (VR), которая погружает пользователя в компьютерную среду, дополненная реальность (AR) объединяет физическое и виртуальное пространства, создавая иллюзию того, что сгенерированные компьютером объекты на самом деле являются реальными объектами в среде пользователя. (Рисунок 1). Кроме того, системы AR и VR на основе головных дисплеев могут напрямую включать в себя физические объекты. Таким образом, когда пользователь тянется к сгенерированному компьютером объекту, который он может видеть, он прикасается к эквивалентной физической модели, расположенной в том же пространственном месте. Такие системы позволяют динамически изменять сгенерированный компьютером внешний вид объекта, в то время как физическая модель обеспечивает тактильную обратную связь для базовой формы объекта. Однако системы на основе головных дисплеев требуют от пользователей ношения специального оборудования, что ограничивает количество людей, которые могут одновременно использовать дисплей.

Вариантом парадигмы AR, который не страдает от этих ограничений, является пространственно дополненная реальность (рис. 1). Пространственно дополненная реальность отображает сгенерированную компьютером информацию непосредственно в среде пользователя. Хотя существует несколько возможных конфигураций отображения, наиболее естественной является модель с дополненной проекцией.

Проекционные дополненные модели

Рис. 2. Концепция модели Projection Augmented

Модель с дополненной проекцией (модель PA) состоит из физической трехмерной модели, на которую проецируется компьютерное изображение для создания реалистично выглядящего объекта (рис. 2). Важно отметить, что физическая модель имеет ту же геометрическую форму, что и объект, который изображает модель PA. Например, изображение, проецируемое на объекты, показанные на рисунке 3, обеспечивает цвет и визуальную текстуру, благодаря чему создается впечатление, что они сделаны из разных материалов.

Рисунок 3. Пример модели Projection Augmented (врезка — с выключенной проекцией).

Модели PA используют уникальную комбинацию физических объектов и компьютерной информации и, следовательно, наследуют преимущества от обоих. «Человеческий интерфейс с физической моделью — это суть «интуитивности». Здесь нет виджетов, которыми можно манипулировать, нет ползунков, которые можно перемещать, и нет дисплеев, которые можно просматривать (или носить). Вместо этого мы ходим вокруг объектов, приближая и удаляя их для увеличения, глядя и сосредотачиваясь на интересных компонентах, и все это с очень высокой визуальной, пространственной и временной точностью» . Модели PA сочетают в себе высокий уровень интуитивности физических моделей с гибкостью и функциональностью компьютерной графики, например, возможностью быстрого изменения, анимации, сохранения и обновления (Jacucci, Oulasvirta, Psik, Salovaara & Wagner, 2005). Таким образом, модель PA по сути придает физическую форму объекту, сгенерированному компьютером, который пользователь может потрогать и взять в руки голыми руками. Поэтому неудивительно, что исследования пользователей, в которых сравнивались модели PA с другими дисплеями виртуальной и дополненной реальности, показали, что модели PA являются естественным и интуитивно понятным типом дисплея (Nam & Lee, 2003; Stevens et al., 2002).

Однако концепция модели PA не нова. Фактически, один из первых дисплеев типа PA был создан более двадцати лет назад, когда Наймарк построил художественную инсталляцию «Смещения» (Naimark, 1984), а совсем недавно — в аттракционе «Особняк с привидениями» в Disney World (Liljegren & Foster, 1990). ). В то время не существовало технологий, позволяющих модели PA быть чем-то большим, чем просто художественным высказыванием. Однако, учитывая доступные сегодня технологии и немного «неограниченного воображения», изучение новых проекционных дисплеев теперь «потенциально безгранично».

Развитие технологии моделей PA было отмечено недавним воссозданием инсталляции Naimark «Смещения» в SIGGRAPH (Displacements, 2005). В частности, разработана новая технология, полуавтоматизирующая процесс создания и согласования физической модели и проецируемого изображения. Это поддерживает несколько проекторов, что позволяет освещать модель PA со всех сторон. Кроме того, можно использовать мощные проекторы (2000–3000 люмен), чтобы разместить модель акустической системы в хорошо освещенной комнате (Nam, 2005; Umemoro, Keller & Stappers, 2003). Однако, хотя эта технология позволяет модели PA быть жизнеспособным и полезным типом дисплея, она не решает своей основной цели.

Модель PA направлена ​​на создание иллюзии того, что вы действительно являетесь объектом, который она изображает. Например, при использовании для разработки продукта важно, чтобы модель PA создавала убедительное впечатление о том, что она действительно является конечным продуктом (Nam, 2006; Saakes, 2006; Verlinden, Horváth & Edelenbos, 2006; Keller & Stappers, 2001). Точно так же, когда модель PA используется для музейной экспозиции для создания точной копии артефакта, цель модели PA — создать иллюзию настоящего артефакта (Hirooka & Satio, 2006; Senckenberg Museum, 2006; Bimber, Gatesy, Witmer, Raskar & Энкарнакао, 2002 г., Лондонский музей, 1999 г.).

Однако ни одно из предыдущих исследований специально не рассматривало эту иллюзию. Таким образом, в этой диссертации «иллюзия модели дополненной проекции» определяется как ситуация, в которой модель PA на самом деле воспринимается как объект, который она изображает. Например, эта иллюзия возникает, когда пользователь воспринимает модель PA на рисунке 3 как настоящие кирпичи, цветочные горшки и куски дерева, в отличие от белых моделей с проецируемым на них изображением. Однако суть этой иллюзии не заключается в обмане пользователя. Пользователь может воспринимать модель PA как объект, который она изображает, зная, что на самом деле это белая модель и проецируемое изображение.

Была разработана технология для усиления этой иллюзии за счет увеличения физического сходства между моделью PA и объектом, который она изображает, или, другими словами, повышения точности модели PA. Например, можно динамически смоделировать способ перемещения зеркальных бликов на объекте при изменении положения зрителя. Это позволяет модели PA выглядеть изготовленной из широкого спектра материалов. Например, тусклая глиняная ваза может выглядеть сделанной из блестящего пластика.

Однако возникновение иллюзии модели PA полностью зависит от субъективного впечатления пользователя. Следовательно, повышение точности различных аспектов модели PA может по-разному влиять на силу иллюзии. По сути, это то же самое, как повышение точности различных аспектов фотореалистичного изображения, созданного компьютером, каждый из которых может по-разному влиять на степень восприятия изображения как реальной фотографии (Лонгхерст, Ледда и Чалмерс). , 2003; Радемахер, Лендьел, Катрелл и Уиттед, 2001). Например, повышение точности текстур изображения обычно может быть более важным, чем повышение точности теней.Поэтому нельзя предполагать, что увеличение точности любого аспекта модели PA автоматически усилит иллюзию модели PA, и аналогичным образом нельзя предполагать, что снижение точности любого аспекта автоматически ослабит ее. Поэтому, учитывая, что ни одно предыдущее исследование не изучало эту иллюзию, трудно определить успех технологии, направленной на ее усиление, и трудно принимать обоснованные решения при разработке новой технологии. Возможности системы человеческого восприятия должны определять разработку любого продвинутого интерфейса (Stanney et al., 2004), поэтому этот вопрос необходимо решить.

Примечание. Модели с дополненной проекцией иногда называют «шейдерными лампами» (Raskar, Welch, Low & Bandyopadhyay, 2001, стр. 89).

См. также

• Проекционный маппинг

Ссылки

Азума Р., Байо Ю., Берингер Р., Файнер С., Жюльер С. и Макинтайр Б. (2001). Последние достижения в области дополненной реальности . Компьютерная графика и приложения IEEE, 21 (6), 34–47.

Барадаран Х. и Штерцлингер В. (2005). Сравнение реальных и виртуальных инструментов 3D-строительства для начинающих пользователей . В материалах Международной конференции по компьютерной графике и виртуальной реальности - CGVR'06 - части Всемирного конгресса по информатике, вычислительной технике и прикладным вычислениям 2006 г. - WORLDCOMP'06. Всемирная Академия Наук.

Биллингсхерст М., Грассе Р. и Лузер Дж. (2005). Проектирование интерфейсов дополненной реальности . В материалах ежегодной конференции по компьютерной графике и интерактивным технологиям – SIGGRAPH'05 (стр. 17–22). Нью-Йорк: ACM Press.

Бимбер О., Гейтси С., Уитмер Л., Раскар Р. и Энкарнакао Л. (2002). Объединение ископаемых образцов с компьютерной информацией . Компьютер IEEE, 35(9), 25-30.

Бимбер О. и Раскар Р. (2005). Пространственная дополненная реальность: современный подход к дополненной реальности. В материалах ежегодной конференции по компьютерной графике и интерактивным технологиям - SIGGRAPH'05. Нью-Йорк: ACM Press.

Борст К. и Волц Р. (2005). Оценка тактильной системы смешанной реальности для взаимодействия с виртуальной панелью управления . Присутствие: Телеоператоры и виртуальные среды, 14 (6), 677–696.

Брукс, Ф. (1999). Что реального в виртуальной реальности? Компьютерная графика и приложения IEEE, 19 (6), 16–27.

Бурдеа Г. и Коффет П. (2003). Технология виртуальной реальности, 2-е издание. Вашингтон: Wiley-IEEE Press.

Круз-Нейра К., Сандин Д. и ДеФанти Т. (1993). Виртуальная реальность на основе проекции объемного экрана: проектирование и реализация CAVE. В материалах ежегодной конференции по компьютерной графике и интерактивным технологиям - SIGGRAPH'93 (стр. 135–142). Нью-Йорк: ACM Press.

«Майкл Наймарк: Интерактивная и захватывающая киносреда, 1977–1997. Выставка на ежегодной конференции по компьютерной графике и интерактивным методам - ​​SIGGRAPH'05» . 2005. Архивировано из оригинала 5 ноября 2015 г. Проверено 5 марта 2024 г.

Дреттакис Г., Руссу М., Цингос Н., Реше А. и Галло Э. (2004). Методы создания и отображения фотореалистичных интерактивных виртуальных сред на основе изображений. В материалах 10-го симпозиума Eurographics по виртуальным средам – EGVE'04 (стр. 157–166).

Датсон А. и Вуд К. (2005). Использование быстрых прототипов для функциональной оценки эволюционных конструкций продуктов. Журнал быстрого прототипирования, 11 (3), 125-11.

Эванс М., Уоллес Д., Чешир Д. и Сенер Б. (2005). Оценка моделирования тактильной обратной связи в практике промышленного дизайна. Исследования дизайна, 26,487-508.

«CAVE: самая распространенная в мире система полной иммерсивной визуализации» . Фейкспейс. 2006. Архивировано из оригинала 8 января 2008 г. Проверено 20 сентября 2006 г.

Фишер Дж., Барц Д. и Штрассер В. (2006). Повышенный визуальный реализм за счет включения эффектов изображения камеры. В материалах международного симпозиума по смешанной и дополненной реальности - ISMAR'06. Вашингтон: Издательство компьютерного общества IEEE.

Гибсон И., Гао З. и Кэмпбелл И. (2004). Сравнительное исследование виртуального и физического прототипирования. Международный журнал производственных технологий и менеджмента, 6 (6), 503-522.

Хироока С. и Сайто Х. (2006). Система виртуального отображения без калибровки с использованием видеопроектора на поверхности реального объекта. IEICE-Транзакции по информации и системам - Специальный раздел по искусственной реальности и телесуществованию, E89-D(1), 88-97.

Хоффман Х., Гарсиа-Паласиос А., Карлин К., Фернесс Т., Ботелла-Арбона К. (2003). Интерфейсы, которые лечат: объединение реальных и виртуальных объектов для лечения паукофобии. Международный журнал взаимодействия человека и компьютера, 16, 283–300.

Ичида Х., Ито Ю., Китамура Ю. и Кишино Ф. (2004). ActiveCube и его 3D-приложения. В материалах конференции IEEE по виртуальной реальности – VR'04. Вашингтон: Издательство компьютерного общества IEEE.

Исии Х. и Уллмер Б. (1997). Осязаемые биты: к бесшовному интерфейсу между людьми, битами и атомами. В материалах конференции по человеческому фактору в вычислительных системах – CHI-97 (стр. 234–241). Нью-Йорк: ACM Press.

Исии Х. и Уллмер Б. (2001). Новая платформа для реальных пользовательских интерфейсов. В книге Дж. Кэрролла (ред.), «Взаимодействие человека и компьютера в новом тысячелетии» (стр. 579–601). Аддисон-Уэсли.

Джакучи Г., Уласвирта А., Псик Т., Саловаара А. и Вагнер И. (2005). Живопись и коллаж в дополненной реальности: оценка реального взаимодействия в полевом исследовании. В материалах десятой Международной конференции IFIP-TC13 по взаимодействию человека и компьютера INTERACT'05 (стр. 43–56).

Келлер И. и Стейпперс П. (2001). TRI: Поддержка вдохновения для дизайн-студии. Международный журнал дизайнерских вычислений, 3, 1-17.

Ходжа М., Хафез М. и Хеддар А. (2004). Тактильные интерфейсы. Современный обзор. В материалах 35-го Международного симпозиума по робототехнике (стр. 721–726).

Кёльш М., Бейн Р., Хёллерер Т. и Тёрк М. (2006). Мультимодальное взаимодействие с носимой системой дополненной реальности . Компьютерная графика и приложения IEEE, 26(3), 62–71.

Ли С., Чен Т., Ким Дж., Хан С. и Пан З. (2004). Оценка аффективных свойств дизайнов виртуальных продуктов . В материалах конференции IEEE по виртуальной реальности – VR'04 (стр. 207–216). Вашингтон: Издательство компьютерного общества IEEE.

Ли, В., и Парк, Дж. (2006) Дополненная пена: осязаемая и воспринимаемая дополненная реальность для моделирования дизайна продукта . Бюллетень Японского общества науки о дизайне, 52 (6), 17–26.

Лильегрен Г. и Фостер Э. (1990). Рисунок с обратной проекцией изображения с использованием оптоволокна . Патент США № 4978.216, Walt Disney Company, Бербанк, Калифорния, США, 18 декабря 1990 г.

Лонгхерст П., Ледда П. и Чалмерс А. (2003). Психофизически основанные художественные методы для повышения воспринимаемого реализма виртуальной среды , В материалах 4-й Международной конференции по компьютерной графике, виртуальной реальности, визуализации и взаимодействию в Африке - AFRIGRAPH '03 (стр. 123–132). Нью-Йорк: ACM Press.

Милгрэм П. и Кишино Ф. (1994). Таксономия визуальных дисплеев смешанной реальности . Специальный выпуск IEICE Transactions on Information and Systems о сетевой реальности (E77D), 12, 1321–1329.

Наймарк, М. (2005). Два необычных проекционных пространства . Присутствие: Телеоператоры и виртуальные среды, специальный выпуск по проекциям, 14 (5), 597–506.

Наймарк, М. (1984). « 'Смещения'. Выставка в Музее современного искусства Сан-Франциско» . www.naimark.com . Проверено 2 сентября 2006 г.

Нам, Т. (2005). Платформа быстрого прототипирования на основе эскизов для интерактивных продуктов, интегрированных в аппаратно-программное обеспечение . В материалах третьего симпозиума по прикладному восприятию графики и визуализации в SIGGRAPH – APGV'05 (стр. 1689–1692). Нью-Йорк: ACM Press.

Нам. Т. (2006). Создание эскизов для аппаратного обеспечения. Программное обеспечение. Интегрированный интерактивный дизайн продукта. В материалах конференции по человеческому фактору в компьютерных системах - CHI'06, Семинар по «эскизам» развития творчества: общность в искусстве, дизайне, инженерии и исследованиях. Нью-Йорк: ACM Press.

Нам Т. и Ли В. (2003). Интеграция аппаратного и программного обеспечения: дополненная реальность на основе метода прототипирования цифровых продуктов . В материалах конференции по человеческому фактору в вычислительных системах CHI'03 (стр. 956–957). Нью-Йорк: ACM Press.

Ни Т., Шмидт Г., Стаадт О., Ливингстон М., Болл Р. иМэй, Р. (2006). Обзор технологий, методов и приложений больших дисплеев высокого разрешения . В материалах конференции IEEE по виртуальной реальности – VR'06 (стр. 223–236). Вашингтон: Издательство компьютерного общества IEEE.

Радемахер П., Лендьел Дж., Катрелл Э. и Уиттед Т. (2001). Измерение восприятия визуального реализма изображений . В материалах 12-го семинара Eurographics по методам рендеринга (стр. 235–248). Спрингер.

Раскар Р., Уэлч Г., Лоу К. и Бандиопадьяй Д. (2001). Шейдерные лампы: анимация реальных объектов с помощью освещения на основе изображений . В материалах 12-го семинара Eurographics по методам рендеринга (стр. 89–102). Спрингер.

Саакс, Д. (2006). Материальный свет: изучаем выразительные материалы . Персональные повсеместные вычисления, 10 (2), 144–147.

«Выставка окаменелостей динозавров» (PDF) . Зенкенбергский музей. 2006. Архивировано из оригинала (PDF) 17 мая 2006 г. Проверено 20 сентября 2006 г.

Стэнни К., Самман С., Ривз Л., Хейл К., Бафф В., Бауэрс К., Гольдиз Б., Николсон Д. и Лэки С. (2004). Смена парадигмы в интерактивных вычислениях: выведение принципов мультимодального проектирования на основе поведенческих и неврологических основ. Международный журнал взаимодействия человека и компьютера, 17 (2), 229–257.

Стивенс Б., Джеррамс-Смит Дж., Хиткот Д. и Каллиар Д. (2002). Воплощение виртуального в реальность: оценка присутствия объектов с помощью моделей, дополненных проекциями. Присутствие: Телеоператоры и виртуальные среды, 11 (1), 79–92.

Умеморо Х., Келлер И. и Стапперс П. (2003). Больше света на вашем столе: Sketchy VR размером с стол для поддержки гибкой совместной работы . В материалах 6-й Азиатской международной конференции дизайна.

Верлинден Дж., Хорват И. и Эделенбос Э. (2006). Трактат о технологиях интерактивного дополненного прототипирования . Материалы 7-го Международного симпозиума по инструментам и методам конкурентоспособного инжиниринга – TMCE'06. Роттердам: Millpress.

Уиттон М. , Лок Б., Инско Б. и Брукс Ф. (2005). Интеграция реальных и виртуальных объектов в виртуальных средах – приглашенный доклад . В материалах международной конференции HCI.

Другие соответствующие публикации

Беннетт Э. и Стивенс Б. (2006). Влияние визуальных и тактильных проблем, связанных с прикосновением к модели Projection Augmented, на присутствие объекта . Журнал присутствия: телеоператоры и виртуальные среды, специальный выпуск лучших статей Международной конференции присутствия, 15 (4), 419-437, MIT Press.

Беннетт Э. и Стивенс Б. (2006). «Структура обнаружения, восприятия и присутствия объектов»: единая структура для исследования иллюзорных представлений реальности . В материалах симпозиума SIGGRAPH по компьютерной графике и прикладному восприятию.