ИллюмиКомната

Проверка концепции IllumiRoom; на экране *Красное Затмение*

IllumiRoom — это Microsoft исследовательский проект , который дополняет экран телевизора изображениями, проецируемыми на стену и окружающие объекты. В текущей тестовой концепции используется сенсор Kinect и видеопроектор . Датчик Kinect фиксирует геометрию и цвета области комнаты, окружающей телевизор, а проектор отображает вокруг телевизора видео, соответствующее источнику видео на телевизоре, например видеоигре или фильму .

История

IllumiRoom был впервые представлен на выставке Consumer Electronics Show 2013 . ^[1] На выставке Microsoft совместно с Samsung показали видеопрезентацию системы. На выставке CHI 2013 Microsoft представила более подробную информацию о системе, включая статью, написанную совместно с исследователем из Университета Иллинойса в Урбане-Шампейне . ^[2]^[3]

Система

Прототип системы использует проектор с широким полем обзора и сенсор Kinect для Windows . Kinect фиксирует цвет и геометрию помещения, а проектор отображает изображения на карте глубины, полученной датчиком.

Технология

Концепция IllumiRoom основана на предыдущих работах и исследованиях с использованием экранов с фокусом и контекстом и проекционного картографирования . Технология «фокус плюс контекст» обычно использует экран с высоким разрешением, окруженный дисплеем с более низким разрешением. В исследовательском документе Microsoft CHI 2013 года Philips от Ambilight приводится в качестве примера дисплея с фокусом и контекстом. В случае IllumiRoom телевизор представляет собой экран с высоким разрешением, а окружающая проекция — дисплей с более низким разрешением. Цель этой технологии — предоставить пользователю дополнительную визуальную информацию на зрительной периферии, как имитируя, так и используя преимущества периферического зрения. В то время как центр взгляда человека имеет высокое разрешение и чувствителен к цвету и деталям, периферийное зрение менее чувствительно к цвету и деталям, но очень чувствительно к движению.

IllumiRoom сочетает в себе концепцию «фокус плюс контекст» с в реальном времени проекционным картографированием . Это позволяет использовать систему в любой комнате, а не только в той, где телевизор окружен плоской белой стеной.

Сенсор Kinect используется для калибровки системы и проекции. Проектор отображает систему серых узоров, а камера Kinect считывает размер узора по всей проекции, чтобы составить карту трехмерной среды. После калибровки сенсор Kinect больше не нужен для системы IllumiRoom и его можно использовать для игр. ^[3] с открытым исходным кодом IllumiRoom был разработан на основе шутера от первого лица Red Eclipse в качестве прототипа приложения. ^[4]

Режимы

В настоящее время система может отображать видео из видеоигр в одном из нескольких режимов. Эти режимы требуют, чтобы система имела доступ к процессу рендеринга игры: ^[3]

Фокус + полный контекст: весь игровой контент проецируется вокруг телевизора.
Фокус + края контекста: вокруг телевизора проецируются только высококонтрастные края (например, здания, персонажи, пейзажи).
Фокус + сегментация контекста: игровой контент проецируется только на сегмент окружающей среды, чаще всего на плоскую стену.
Фокус + выбор контекста: вокруг телевизора проецируется только выбранный игровой контент (например, пули, пламя).

Без доступа к рендерингу игры доступны несколько других режимов проекции: ^[3]

Периферийный поток: система отображает сетку или звездное поле, которое перемещается вместе с камерой видеоигры вокруг телевизора.
Улучшение цвета: система меняет внешний вид физических объектов в комнате, чтобы они соответствовали теме или внешнему виду игры, делая цвета насыщенными, делая их черно-белыми или создавая мультяшный вид.
Смещение текстур: иллюзия искажения физических объектов в комнате создается проектором. Эффект радиального колебания создает иллюзию того, что на объекты в комнате влияет пульсирующее силовое поле, исходящее от телевизора.
Освещение: поскольку проект обеспечивает освещение комнаты, он может проецировать световые эффекты, соответствующие освещению из видеоигры.
Физическое взаимодействие: объекты в игре могут напрямую взаимодействовать с окружающей средой комнаты. Например, мяч может выскочить из игры и упасть на объекты в физической среде.

Коммерческое использование

Хотя многие ожидают, что эта технология будет использоваться в приложении Xbox, исследователи заявили, что на данный момент эта технология является лишь исследовательским проектом и не готова к коммерческому использованию. ^[5]

КомнатаЖивой

RoomAlive , родственный исследовательский проект Microsoft, также использует камеру глубины и видеопроектор в проекторной камере или установке «прокамеры». Это масштабируемая система для динамического интерактивного проекционного мэппинга в реальном времени, в которой несколько таких прокамер можно использовать вместе в комнате для создания иммерсивного унифицированного проекционного мэппинга, который автоматически адаптируется к среде комнаты и с которым пользователи могут взаимодействовать физически. В отличие от IllumiRoom, который реализует визуальное представление «фокус плюс контекст», сосредоточенное на телевизионном экране, RoomAlive фокусируется на пространственных приложениях дополненной реальности. ^[6]

В апреле 2015 года Microsoft выпустила RoomAlive Toolkit — инструмент с открытым исходным кодом , лицензированный MIT. ^[7] комплект разработки программного обеспечения для калибровки сети видеопроекторов и сенсоров Kinect, который можно использовать для разработки систем, подобных системам проектов RoomAlive и IllumiRoom. ^[8] Исходный код доступен в их публичном репозитории. ^[9]

Ссылки

^ Том Уоррен (14 января 2013 г.). «Microsoft только что анонсировала следующую консоль Xbox на выставке CES» . Грань . Вокс Медиа . Проверено 29 апреля 2013 г.
^ Том Уоррен (29 апреля 2013 г.). «Microsoft IllumiRoom — это проектор для журнального столика, разработанный для Xbox следующего поколения» . Грань . Вокс Медиа . Проверено 29 апреля 2013 г.
^ Jump up to: ^а ^б ^с ^д Джонс, Бретт Р.; Бенко, Хрвое; Офек, Эяль; Уилсон, Эндрю Д. (2013). «IllumiRoom: Периферийные проецируемые иллюзии для интерактивного опыта» (PDF) . Проверено 29 апреля 2013 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )
^ IllumiRoom_CHI2013 от Microsoft Research «Большинство иллюзий были объединены с шутером от первого лица с открытым исходным кодом (Red Eclipse). Это создало богатый интерактивный опыт, обеспечиваемый доступом к исходному коду. Иллюзия снега сочеталась с гонками. игра с уровнем снега (SuperTuxKart 3), запускаемая по команде контроллера».
^ Стив Дент (30 апреля 2013 г.). «Microsoft заявляет, что Illumiroom еще не готова к выпуску следующей Xbox, но в июле выйдет публичная демо-версия» . Engadget . АОЛ . Проверено 30 апреля 2013 г.
^ Джонс, Бретт; Содхи, Раджиндер; Мердок, Майкл; Мехра, Равиш; Бенко, Хрвое; Уилсон, Эндрю Д.; Офек, Эяль; Макинтайр, Блэр; Рагуванши, Никундж; Шапира, Лиор (5 октября 2014 г.). «КомнатаЖивая». Материалы 27-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса . Нью-Йорк: Ассоциация вычислительной техники. стр. 637–644. дои : 10.1145/2642918.2647383 . ISBN 9781450330695 . S2CID 9452350 .
^ Лицензия на github.com.
^ «Набор инструментов RoomAlive представлен на выставке Build 2015» . Блог о продукте Kinect для Windows . Майкрософт. 30 апреля 2015 года . Проверено 27 мая 2015 г.
^ «README Toolkit RoomAlive» . Гитхаб . 8 февраля 2022 г.

Внешние ссылки

[1] Том Уоррен (14 января 2013 г.). «Microsoft только что анонсировала следующую консоль Xbox на выставке CES» . Грань . Вокс Медиа . Проверено 29 апреля 2013 г.

[2] Том Уоррен (29 апреля 2013 г.). «Microsoft IllumiRoom — это проектор для журнального столика, разработанный для Xbox следующего поколения» . Грань . Вокс Медиа . Проверено 29 апреля 2013 г.

[CHI2013Paper-3] Jump up to: ^а ^б ^с ^д Джонс, Бретт Р.; Бенко, Хрвое; Офек, Эяль; Уилсон, Эндрю Д. (2013). «IllumiRoom: Периферийные проецируемые иллюзии для интерактивного опыта» (PDF) . Проверено 29 апреля 2013 г. {{cite journal}}: Для цитирования журнала требуется |journal= ( помощь )

[4] IllumiRoom_CHI2013 от Microsoft Research «Большинство иллюзий были объединены с шутером от первого лица с открытым исходным кодом (Red Eclipse). Это создало богатый интерактивный опыт, обеспечиваемый доступом к исходному коду. Иллюзия снега сочеталась с гонками. игра с уровнем снега (SuperTuxKart 3), запускаемая по команде контроллера».

[5] Стив Дент (30 апреля 2013 г.). «Microsoft заявляет, что Illumiroom еще не готова к выпуску следующей Xbox, но в июле выйдет публичная демо-версия» . Engadget . АОЛ . Проверено 30 апреля 2013 г.

[6] Джонс, Бретт; Содхи, Раджиндер; Мердок, Майкл; Мехра, Равиш; Бенко, Хрвое; Уилсон, Эндрю Д.; Офек, Эяль; Макинтайр, Блэр; Рагуванши, Никундж; Шапира, Лиор (5 октября 2014 г.). «КомнатаЖивая». Материалы 27-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса . Нью-Йорк: Ассоциация вычислительной техники. стр. 637–644. дои : 10.1145/2642918.2647383 . ISBN 9781450330695 . S2CID 9452350 .

[7] Лицензия на github.com.

[8] «Набор инструментов RoomAlive представлен на выставке Build 2015» . Блог о продукте Kinect для Windows . Майкрософт. 30 апреля 2015 года . Проверено 27 мая 2015 г.

[9] «README Toolkit RoomAlive» . Гитхаб . 8 февраля 2022 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]