Звуковой дизайн взаимодействия
Дизайн звукового взаимодействия — это изучение и использование звука как одного из основных каналов передачи информации , значения и эстетических/эмоциональных качеств в интерактивных контекстах. [1] [2] Дизайн звукового взаимодействия находится на пересечении дизайна взаимодействия и звуковых и музыкальных вычислений . Если дизайн взаимодействия заключается в проектировании объектов, с которыми люди взаимодействуют, и такие взаимодействия облегчаются вычислительными средствами, то в дизайне звукового взаимодействия звук является посредником взаимодействия либо как отображение процессов, либо как средство ввода.
Области исследований [ править ]
и эмоциональное исследование Перцептивное, когнитивное звуковых взаимодействий
Исследования в этой области сосредоточены на экспериментальных научных открытиях о восприятии звука человеком в интерактивном контексте. [3]
Во время взаимодействия по замкнутому контуру пользователи манипулируют интерфейсом, воспроизводящим звук, а звуковая обратная связь, в свою очередь, влияет на манипуляции пользователей. Другими словами, существует тесная связь между слуховым восприятием и действием. [4] Прослушивание звуков может не только активировать представление о том, как был создан звук: оно также может подготовить слушателя к реакции на звук. Когнитивные представления звуков могут быть связаны со схемами планирования действий, а звуки также могут бессознательно сигнализировать о дальнейшей реакции со стороны слушателя. [5]
Звуковые взаимодействия могут влиять на эмоции пользователей : качество звуков влияет на приятность взаимодействия, а сложность манипуляции влияет на то, чувствует ли пользователь контроль над ситуацией или нет. [6]
Звуковое оформление продукта [ править ]
Дизайн продукта в контексте проектирования звукового взаимодействия имеет дело с методами и опытом разработки интерактивных продуктов с заметным звуковым поведением. Продукты в этом контексте представляют собой либо материальные и функциональные объекты, предназначенные для манипулирования, либо [7] [8] или полезные симуляции таких объектов, как при виртуальном прототипировании . Исследования и разработки в этой области опираются на исследования других дисциплин, таких как:
- продукта качество звука ; [9]
- акустическая экология , т.е. отношения, опосредованные звуком, между живыми существами и окружающей их средой ;
- звук фильма ; [10]
- компьютера и видеоигр ; звук [11]
- звуковая культура , то есть изучение того, как производство и потребление звука менялись на протяжении истории и внутри разных обществ.
При проектировании звуковых продуктов набор практик был унаследован из различных областей. Такая практика была опробована в условиях, когда научные исследования и педагогика естественным образом переплетаются. Среди этих практик достаточно упомянуть:
- бодишторминг , особенно в сочетании с вокальными зарисовками, [12] где участники создают голосовые имитации, чтобы имитировать звуковое поведение объектов во время взаимодействия с ними;
- театральные практики, такие как театральные метафоры и драматические представления; [13]
- базовый дизайн, [14] основанный на демонстрациях и интерсубъективности ;
- видео прототипирование [15] со звуковыми накладками;
- Артистизм Фоли в кинопроизводстве ; [16]
- разыгрывание звуковых драм. [17]
Интерактивное искусство и музыка [ править ]
В контексте дизайна звукового взаимодействия проекты интерактивного искусства и музыки разрабатывают и исследуют эстетический опыт, в котором в центре внимания находится звуковое взаимодействие. Творческий и выразительный аспекты – эстетика – важнее передачи информации посредством звука. Практики включают инсталляции, перформансы, паблик-арт и взаимодействие между людьми посредством объектов/сред, дополненных цифровыми технологиями. Они часто включают в себя такие элементы, как встроенные технологии, устройства, чувствительные к жестам, динамики или контекстно-зависимые системы.
В центре внимания опыт, посвященный тому, как звук влияет на людей, и наоборот. Интерактивное искусство и музыка позволяют исследователям подвергать сомнению существующие парадигмы и модели того, как люди взаимодействуют с технологиями и звуком, выходя за рамки парадигм контроля (человек, управляющий машиной). Пользователи являются частью цикла, который включает в себя действие и восприятие.
Интерактивные художественные и музыкальные проекты предполагают исследовательские действия и игровое взаимодействие. Существует также мультисенсорный аспект, особенно тактильно-аудио. [18] и аудиовизуальные проекты пользуются популярностью. Среди многих других влияний на эту область влияет слияние ролей производителя инструментов, композитора и исполнителя. [19]
Художественные исследования в области дизайна звукового взаимодействия касаются постановок интерактивного искусства и исполнительского искусства , в которых используется роль активного взаимодействия с интерактивными объектами, дополненными звуком. [20]
Сонификация [ править ]
Сонификация — это генерация звука на основе данных, если преобразование является систематическим, объективным и воспроизводимым, поэтому его можно использовать в качестве научного метода. [21]
Для проектирования звукового взаимодействия сонификация предоставляет набор методов для создания звуков взаимодействия, которые кодируют соответствующие данные, чтобы пользователь мог воспринимать или интерпретировать передаваемую информацию. Озвучивание не обязательно должно представлять огромные объемы данных в звуке, но может передавать в звуке только одно или несколько значений данных. В качестве примера представьте себе выключатель света, который при активации будет издавать короткий звук, который зависит от электроэнергии, потребляемой по кабелю: большее количество энергозатратных ламп, возможно, систематически будет приводить к более раздражающим звукам выключателя. Этот пример показывает, что обработка ультразвуком направлена на предоставление некоторой информации путем ее систематического преобразования в звук.
Интеграция элементов, управляемых данными, в звук взаимодействия может служить разным целям:
- чтобы пользователи могли уточнить свои действия с помощью звуковой обратной связи. Пример: сверлильный станок с ультразвуковой технологией. [22] который сигнализирует о достижении желаемой ориентации стены.
- влиять на то, как люди воспринимают движения своего тела. [23]
- создать звуковой гештальт для взаимодействия, который позволяет пользователям сравнивать подробные результаты при повторяющихся взаимодействиях: например, гребки могут быть озвучены, чтобы спортсмены могли лучше синхронизировать свои действия.
- для включения новых функций, которые в противном случае были бы недоступны (например, бутылка, которая звуковым сигналом отображает, сколько жидкости налито в стаканы, чтобы пользователям было легче наливать одинаковое количество жидкости в разные стаканы).
В области ультразвуковой обработки дизайн звукового взаимодействия признает важность человеческого взаимодействия для понимания и использования слуховой обратной связи . [24] В рамках проектирования звукового взаимодействия ультразвуковая обработка может помочь и предложить решения, методы и приемы, которые вдохновят и направят разработку продуктов или интерактивных систем.
См. также [ править ]
Ссылки [ править ]
- ^ Давиде Рокессо, Стефания Серафин, Фрауке Берендт, Никола Бернардини, Роберто Брезин, Герхард Экель, Кармен Франинович, Томас Херманн, Сандра Паулетто, Патрик Сузини и Йон Виселль (2008). Звуковой дизайн взаимодействия: звук, информация и опыт . В: Расширенные тезисы CHI '08 по человеческому фактору в вычислительных системах (Флоренция, Италия, 5–10 апреля 2008 г.). ЧИ '08. ACM, Нью-Йорк, штат Нью-Йорк, 3969–3972. дои : 10.1145/1358628.1358969
- ^ Давиде Рокессо и Стефания Серафин (2009). «Дизайн звукового взаимодействия». Редакция специального выпуска. Международный журнал человеко-компьютерных исследований 67 (11) (ноябрь 2009 г.): 905–906. дои : 10.1016/j.ijhcs.2009.09.009
- ^ Гийом Леметр, Оливье Уикс, Йон Висель, Кармен Франинович, Николас Мисдариис и Патрик Сусини (2009). «К разработке и оценке непрерывного звука в материальных интерфейсах: Спинотрон». Международный журнал человеко-компьютерных исследований 67 (11) (ноябрь 2009 г.): 976–993. дои : 10.1016/j.ijhcs.2009.07.002
- ^ Сальваторе М. Альоти и Мариэлла Паццалья (2010). «Представление действий через их звук». «Экспериментальное исследование мозга» 206 (2): 141–151. дои : 10.1007/s00221-010-2344-x
- ^ Марция Де Люсия, Кристиан Камен, Стефани Кларк и Мика М. Мюррей (2009). «Роль действий в слуховом различении объектов». «Нейровизуал» 48(2): 475–485. doi : 10.1016/j.neuroimage.2009.06.041
- ^ Гийом Леметр, Оливье Уикс, Кармен Франинович, Йон Визель и Патрик Сусини (2009). «Стакан Flops: устройство для изучения эмоциональных реакций, возникающих в результате звуковых взаимодействий». В Proc. Конференция по звуковым и музыкальным вычислениям, Порту, Португалия. Доступно: [1] Архивировано 25 февраля 2012 г. на Wayback Machine.
- ^ Дэниел Хуг (2008). Джинн в бутылке: объектно-звуковые реконфигурации для интерактивных товаров . В: Труды Audiomostly 2008, 3-я конференция по взаимодействию со звуком (2008). Доступно: онлайн
- ^ Кармен Франинович, Дэниел Хуг и Йон Виселль (июнь 2007 г.). Sound Embodied: исследования дизайна звукового взаимодействия для повседневных объектов в условиях мастерской . В: Материалы 13-й Международной конференции по слуховому отображению, Монреаль, Канада, 26–29 июня 2007 г., стр. 334–341. Доступно: онлайн
- ^ Ричард Х. Лайон, (2003). «Качество звука продукта - от восприятия до дизайна». Звук и вибрация 37 (3): 18–22. Доступно: онлайн
- ^ См. Filmsound.org: Учебное пространство, посвященное искусству звукового дизайна фильмов.
- ^ См. раздел «О gamesound.org».
- ^ Ингер Экман и Михал Ринотт (2010). Использование голосовых эскизов для проектирования звуковых взаимодействий , Орхус, Дания: Архив проектирования интерактивных систем,Материалы 8-й конференции ACM по проектированию интерактивных систем, ISBN 978-1-4503-0103-9 . Доступно: онлайн .
- ^ Сандра Паулетто, Дэниел Хуг, Стивен Баррасс и Мэри Лакхерст (2009). Интеграция театральных стратегий в дизайн звукового взаимодействия . В: Proceedings of Audio Mostly 2009 – 4-я конференция по взаимодействию со звуком (2009), Глазго, 6 стр. Доступно: PDF-файл , заархивированный 27 августа 2011 г. на Wayback Machine и в Интернете.
- ↑ Давиде Рокессо, Пьетро Полотти и Стефано делле Моначе (28 декабря 2009 г.). «Проектирование непрерывного звукового взаимодействия». Международный журнал дизайна 3 (3). Доступно: онлайн и PDF.
- ^ Венди Э. Маккей и Энн Лор Файард (1999). Видео-мозговой штурм и прототипирование: методы совместного проектирования , Питтсбург, Пенсильвания: Конференция по человеческому фактору в вычислительных системах, расширенные тезисы CHI '99 по человеческому фактору в вычислительных системах, ISBN 1-58113-158-5 . Доступно: онлайн
- ^ Мишель Шион, (1994). Audio-Vision: звук на экране . Нью-Йорк: Издательство Колумбийского университета, ISBN 0-231-07898-6 , ISBN 0-231-07899-4 . Рецензия на книгу на сайте filmsound.org.
- ^ Дэниел Хуг, (2010). «Исследование повествовательных и перформативных стратегий звукового дизайна для интерактивных товаров». Конспект лекций по информатике , том 5954/2010: 12-40, дои : 10.1007/978-3-642-12439-6_2 . Доступно: онлайн. Архивировано 17 декабря 2012 г. на archive.today .
- ^ Пятый международный семинар по дизайну тактильного и аудиовзаимодействия ( HAID ) 16–17 сентября 2010 г. в Копенгагене, Дания. http://media.aau.dk/haid10/?page_id=46
- ^ Международная конференция по новым интерфейсам для музыкального выражения http://www.nime.org/
- ^ Джон Томпсон, Джоанн Кучера-Морин , Маркос Новак, Дэн Оверхолт, Лэнс Патнэм, Грэм Уэйкфилд и Уэсли Смит (2009). «The Allobrain: интерактивный, стереографический, 3D-звук, захватывающий виртуальный мир». Международный журнал человеко-компьютерных исследований 67 (11) (ноябрь 2009 г.): 934–946. дои : 10.1016/j.ijhcs.2009.05.005
- ^ Sonification - Определение http://sonification.de/son/definition
- ^ Тобиас Гроссхаузер и Томас Германн (2010). «Мультимодальное замкнутое взаимодействие человека и машины» Учеб. Семинар по интерактивной сонификации, Стокгольм, http://interactive-sonification.org/ISon2010/proceedings
- ^ Эффенберг, Альфред О. (2005). «Озвучка движения: влияние на восприятие и действие». IEEE Мультимедиа . 12 (2): 53–59. дои : 10.1109/MMUL.2005.31 . S2CID 5211383 .
- ^ Томас Германн и Энди Хант (2005). «Введение приглашенных редакторов: введение в интерактивную сонификацию». IEEE Мультимедиа 12(2): 20-24. два : 10.1109/MMUL.2005.26
Дальнейшее чтение [ править ]
- Франинович К. и Серафин С., ред. Звуковой дизайн взаимодействия . MIT Press, Кембридж, Массачусетс, 2013.
- Стефано Делле Моначе, Пьетро Полотти, Давиде Рокессо (2010). Набор инструментов для исследований в области дизайна звукового взаимодействия . В: Материалы 5-й конференции Audio Mostly Conference: Конференция по взаимодействию со звуком, 2010, Нью-Йорк (AM '10), ISBN 978-1-4503-0046-9 , doi : 10.1145/1859799.1859800 , цитата
- Эоин Бразилия и Микаэль Фернстрем (2009). Эмпирически обоснованный дизайн слухового дисплея . В: Материалы SMC 2009 - 6-я конференция по звуковым и музыкальным вычислениям, 23–25 июля 2009 г., Порту, Португалия. Доступно: онлайн .
- Кармен Франинович, Йон Виселль, Дэниел Хуг (2007). Sound Embodied: отчет о дизайне звукового взаимодействия в повседневных артефактах . В: Материалы 13-й Международной конференции по слуховому отображению, Монреаль, Канада, 26–29 июня 2007 г. Доступно: онлайн .
- Эрнест А. Эдмондс, Аластер Уикли, Линда Кэнди, Марк Фелл, Роджер Нотт и Сандра Паулетто (2005). «Студия как лаборатория: сочетание творческой практики и исследований в области цифровых технологий». Международный журнал человеко-машинных исследований 63 (4–5): 452–481. Доступно: онлайн .
- Эрнест Эдмондс, Эндрю Мартин и Сандра Паулетто (2004). Аудиовизуальные интерфейсы в цифровом искусстве . В: Материалы Международной конференции ACM SIGCHI 2004 г. по достижениям в области компьютерных развлекательных технологий (ACE '04), Сингапур, 3–5 июня 2004 г., стр. 331–336, дои : 10.1145/1067343.1067392 . Доступно: онлайн .
- Томас Германн и Энди Хант (2004). Важность взаимодействия в сонификации . В: Материалы десятого собрания ICAD Международной конференции по слуховому отображению, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн .
- Никлас Ребер и Майк Мазух (2004). Взаимодействие со звуком: парадигма взаимодействия для виртуальных слуховых миров . В: Материалы десятого собрания ICAD Международной конференции по слуховому отображению, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн .