Иммерсивный виртуальный музыкальный инструмент
 | Эта статья нуждается в дополнительных цитатах для проверки . ( ноябрь 2018 г. ) |
Иммерсивный или иммерсивная виртуальная среда для музыки и виртуальный музыкальный инструмент звука представляет звуковые процессы и их параметры как трехмерные объекты виртуальной реальности, так что их можно воспринимать не только посредством слуховой обратной связи, но также визуально в трехмерном формате и, возможно, также тактильно. в качестве тактильной обратной связи с использованием метафор трехмерного интерфейса , состоящих из методов взаимодействия , таких как навигация, выбор и манипуляция (NSM). [1] Он опирается на тенденцию развития электронных музыкальных инструментов по разработке новых способов управления звуком и исполнения музыки, например, обсуждавшихся на таких конференциях, как NIME .
Разработка
[ редактировать ]Флоран Берто создал множество реактивных 3D-виджетов, включающих в себя новые представления музыкальных событий и звука, для взаимодействия с которыми требовалось специальное устройство 3D-ввода с использованием адаптированных методов 3D-взаимодействия. [2]
Джаред Ботт создал среду, в которой использовались методы трехмерного пространственного управления, используемые в известных музыкальных инструментах, с символическим двухмерным визуальным представлением музыкальных событий. [3]
Ричард Полфреман создал виртуальную трехмерную среду для музыкальной композиции с визуальными представлениями музыкальных и звуковых данных, аналогичную средам двухмерной композиции, но помещенными в трехмерное пространство. [4]
Леонель Вальбом создал трехмерную иммерсивную виртуальную среду с визуальными трехмерными представлениями музыкальных событий и пространственной структурой звука , с которой можно было взаимодействовать, используя методы взаимодействия NSM. [5]
Теему Мяки-Патола исследовал метафоры взаимодействия, основанные на существующих музыкальных инструментах, как это видно в его реализациях «Виртуальный ксилофон», «Виртуальная мембрана» и «Виртуальная воздушная гитара». [6]
Sutoolz из su-Studio Barcelona использовал технологию 3D-видеоигр в реальном времени, чтобы позволить живому исполнителю создавать и воспроизводить полностью аудиовизуальную иммерсивную среду. [7]
Аксель Малдер исследовал метафору взаимодействия скульптуры, создав виртуальную трехмерную среду, которая позволяла взаимодействовать с абстрактными деформируемыми формами, такими как лист и сфера, параметры которых инновационными способами были сопоставлены со звуковыми эффектами. Работа была сосредоточена на доказательстве технической возможности создания виртуальных 3D-музыкальных инструментов. Управление жестами было основано на манипуляциях с трехмерными объектами, таких как разновидность схватывания. [8]
Раннюю работу выполнил Джарон Ланье со своей группой Chromatophoria и отдельно Нико Болас , который разработал Soundsculpt Toolkit, программный интерфейс, который позволяет миру музыки взаимодействовать с графическими элементами виртуальной реальности. [ нужна ссылка ]
Ссылки
[ редактировать ]- ^ Боуман, Дуг; Круйфф, Эрнст; ЛаВиола, Джозеф; Пупырев Иван; Штурцлингер, Вольфганг (2010). «3D-пользовательские интерфейсы: дизайн, реализация, удобство использования». В Минатте, Элизабет Д.; Хадсон, Скотт Э; Фитцпатрик, Джеральдин; Хадсон, С; Эдвардс, К; Родден, Т. (ред.). Материалы 28-й международной конференции «Человеческий фактор в вычислительных системах» (CHI'10) . Нью-Йорк: Ассоциация вычислительной техники. ISBN 978-1-60558-929-9 .
- ^ Берто, Флоран; Десент-Катрин, Мириам; Хачет, Мартин (2010). «DRILE: захватывающая среда для иерархического живого цикла». Материалы Международной конференции 2010 года по новым интерфейсам для музыкального выражения (NIME10), Сидней, Новый Южный Уэльс, Австралия . стр. 192–197.
- ^ Ботт, Джаред Н.; Кроули, Джеймс Дж.; ЛаВиола, Джозеф Дж. «Один оркестр: 3D-интерфейс для совместного создания музыки». Материалы конференции IEEE по виртуальной реальности 2009 г. (VR '09) . ИИЭЭ . стр. 273–274. ISBN 978-1-4244-3943-0 .
- ^ Полфриман, Ричард (2009). «Рамки 3D: Композиция в третьем измерении». Материалы Международной конференции по новым интерфейсам для музыкального выражения (NIME), 2009 г. стр. 226–229.
- ^ Валбом, Леонель; Маркос, Адерито (2007). «Прототип иммерсивного музыкального инструмента». IEEE Компьютерная графика и приложения . 27 (4): 14–19. дои : 10.1109/MCG.2007.76 . ISSN 0272-1716 .
- ^ Мяки-Патола, Тему; Лайтинен, Юха; Канерва, Аки; Такала, Тапио (2005). «Эксперименты с инструментами виртуальной реальности». Материалы Международной конференции 2005 года по новым интерфейсам для музыкального выражения . стр. 11–16.
- ^ Винничук Ю; Порчер, Р; Брайович, Л; Брайович, М; Платас, Н. (2002). «sutoolz 1.0 альфа: 3D-музыкальный интерфейс» . Материалы Международной конференции 2002 года по новым интерфейсам для музыкального выражения . стр. 1–2.
- ^ Малдер, Аксель GE (1998). Проектирование виртуальных трехмерных инструментов управления звуком (кандидатская диссертация). Университет Саймона Фрейзера .