✖


Jump to content

сонификация

Продолжительность: 4 минуты 47 секунд.
Видео данных о загрязнении воздуха из Пекина, переданное в виде музыкального произведения

Сонификация — это использование неречевого звука для передачи информации или восприятия данных. [1] Слуховое восприятие имеет преимущества во временном, пространственном, амплитудном и частотном разрешении, что открывает возможности в качестве альтернативы или дополнения к методам визуализации .

Например, скорость щелчков счетчика Гейгера передает уровень радиации в непосредственной близости от устройства.

Хотя многие эксперименты с ультразвуковой обработкой данных изучались на таких форумах, как Международное сообщество слухового дисплея (ICAD), ультразвуковая обработка сталкивается со многими проблемами при широком использовании для представления и анализа данных. Например, исследования показывают, что сложно, но важно обеспечить адекватный контекст для интерпретации ультразвуковых данных. [1] [2] Многие попытки ультразвуковой обработки кодируются с нуля из-за отсутствия гибких инструментов для ультразвуковых исследований и анализа данных. [3]

История

[ редактировать ]

Счетчик Гейгера , изобретенный в 1908 году, является одним из первых и наиболее успешных применений ультразвуковой обработки. Счетчик Гейгера имеет трубку с газом низкого давления; каждая обнаруженная частица создает импульс тока, когда она ионизирует газ, производя звуковой щелчок. Первоначальная версия была способна обнаруживать только альфа-частицы. В 1928 году Гейгер и Вальтер Мюллер (аспирант Гейгера) усовершенствовали счетчик, чтобы он мог обнаруживать больше типов ионизирующего излучения.

В 1913 году доктор Эдмунд Фурнье д'Альб из Бирмингемского университета изобрел оптофон , который использовал селеновые фотодатчики для обнаружения черного отпечатка и преобразования его в звуковой сигнал. [4] Слепой читатель мог поднести книгу к устройству и поднести аппарат к той области, которую он хотел прочитать. Оптофон воспроизводил набор нот: g c' d' e' g' b' c e . Каждая нота соответствовала положению в области чтения оптофона, и эта нота отключалась, если обнаруживались черные чернила. Таким образом, недостающие примечания указывали на места, где черные чернила находились на странице и их можно было использовать для чтения.

Поллак и Фикс опубликовали первые перцептивные эксперименты по передаче информации через слуховой дисплей в 1954 году. [5] Они экспериментировали с объединением таких параметров звука, как время, частота, громкость, продолжительность и пространственное расположение, и обнаружили, что они могут заставить испытуемых регистрировать изменения в нескольких измерениях одновременно. Эти эксперименты не вдавались в подробности, поскольку каждое измерение имело только два возможных значения.

В 1970 году лейбл Nonesuch Records выпустил новую электронную музыкальную композицию американского композитора Чарльза Доджа «The Earth's Magnetic Field». Он был выпущен в Центре электронной музыки Колумбии-Принстона . Как следует из названия, электронные звуки композиции были синтезированы на основе данных магнитного поля Земли. Таким образом, это вполне может быть первым озвучиванием научных данных для художественных, а не научных целей. [6]

Джон М. Чемберс , Макс Мэтьюз и Ф.Р. Мур из Bell Laboratories выполнили самую раннюю работу по построению слуховых графиков в своем техническом меморандуме «Аудиальная проверка данных» в 1974 году. [7] Они дополнили диаграмму рассеяния, используя звуки, которые различались по частоте, спектральному составу и размерам амплитудной модуляции, чтобы использовать их при классификации. Они не проводили никакой формальной оценки эффективности этих экспериментов. [8]

В 1976 году философ технологии Дон Айде писал: «Подобно тому, как наука, кажется, создает бесконечный набор визуальных образов практически для всех своих явлений, атомы и галактики знакомы нам от журнальных книг до научных журналов; так и» музыка» тоже может быть создана на основе тех же данных, которые создают визуализацию». [9] Похоже, это одно из самых ранних упоминаний озвучивания как творческой практики.

В начале 1982 года Сара Блай из Калифорнийского университета в Дэвисе выпустила две публикации с примерами своей работы по использованию звука, генерируемого компьютером, для представления данных. В то время область научной визуализации набирала обороты. Среди прочего, ее исследования и сопровождающие их примеры сравнивали свойства визуального и звукового представления, демонстрируя, что «звук предлагает улучшение и является альтернативой графическим инструментам». Ее работа предоставляет ранние экспериментальные данные, которые помогают подобрать подходящее представление данных к типу и цели. [10] [11]

Также в 1980-х годах пульсоксиметры широкое распространение получили . Пульсоксиметры могут измерять концентрацию кислорода в крови, излучая более высокие частоты для более высоких концентраций. Однако на практике эта особенность пульсоксиметров не может широко использоваться медицинскими работниками из-за риска использования слишком большого количества звуковых стимулов в медицинских учреждениях. [12]

В 1992 году Международное сообщество по слуховому отображению основал Грегори Крамер (ICAD) как форум для исследований в области слухового отображения , включая ультразвуковую обработку данных. С тех пор ICAD стал домом для исследователей из самых разных дисциплин, заинтересованных в использовании звука для передачи информации посредством конференций и рецензируемых материалов. [13]

В мае 2022 года НАСА сообщило об ультразвуковой обработке (преобразовании астрономических данных, связанных с волнами давления , в звук ) черной дыры в центре скопления галактик Персея . [14] [15]

Некоторые существующие приложения и проекты

[ редактировать ]

Методы сонификации

[ редактировать ]

Многие различные компоненты могут быть изменены, чтобы изменить восприятие звука пользователем и, в свою очередь, его восприятие основной отображаемой информации. Часто увеличение или уменьшение некоторого уровня этой информации обозначается увеличением или уменьшением высоты тона , амплитуды или темпа , но также может быть указано путем изменения других, менее часто используемых компонентов. Например, цену на фондовом рынке можно изобразить увеличением шага при росте цены акции и понижением шага при ее падении. Чтобы пользователь мог определить, что воспроизводится более одной акции, для разных акций можно использовать разные тембры или яркость или они могут воспроизводиться пользователю из разных точек пространства, например, через разные стороны наушников. .

Было проведено множество исследований с целью найти лучшие методы представления различных типов информации, но до сих пор не сформулирован окончательный набор методов, которые следует использовать. Поскольку считается, что область ультразвуковой обработки все еще находится в зачаточном состоянии, текущие исследования направлены на определение наилучшего набора звуковых компонентов, которые будут варьироваться в различных ситуациях.

Можно разделить несколько различных методов слухового рендеринга данных:

  • Акустическая ультразвуковая обработка [50]
  • Аудитация
  • Ультразвуковая обработка на основе модели
  • Сопоставление параметров
  • Потоковая ультразвуковая обработка [51] [52]

Альтернативным подходом к традиционной озвучке является «озвучивание путем замены», например, импульсная мелодическая аффективная обработка (PMAP). [53] [54] [55] В PMAP вместо озвучивания потока данных вычислительным протоколом являются сами музыкальные данные, например MIDI. Поток данных представляет немузыкальное состояние: в PMAP — аффективное состояние. Затем расчеты можно выполнять непосредственно на музыкальных данных, а результаты можно прослушивать с минимальной трансляцией.

См. также

[ редактировать ]

Ссылки

[ редактировать ]
  1. ^ Перейти обратно: а б Крамер, Грегори, изд. (1994). Слуховой дисплей: сонификация, аудификация и слуховые интерфейсы . Исследования Института Санта-Фе в области наук о сложности. Том. Материалы тома XVIII. Ридинг, Массачусетс: Аддисон-Уэсли. ISBN  978-0-201-62603-2 .
  2. ^ Смит, Дэниел Р.; Уокер, Брюс Н. (2005). «Влияние слуховых контекстных сигналов и обучения на выполнение задачи ультразвуковой оценки точечной оценки». Журнал прикладной когнитивной психологии . 19 (8): 1065–1087. дои : 10.1002/acp.1146 .
  3. ^ Флауэрс, Дж. Х. (2005), «Тринадцать лет размышлений над звуковыми графиками: обещания, подводные камни и потенциальные новые направления» (PDF) , в Бразилии, Эоин (ред.), Материалы 11-й Международной конференции по слуховому отображению , стр. 406–409
  4. ^ Фурнье д'Альб, Э.Э. (май 1914 г.), «О печатающем оптофоне», Труды Лондонского королевского общества.
  5. ^ Поллак И. и Фикс Л. (1954), «Информация об элементарных многомерных слуховых дисплеях», Журнал Акустического общества Америки , 26 (1): 136, Бибкод : 1954ASAJ...26Q.136P , doi : 10.1121 /1,1917759
  6. ^ Додж, К. (1970), Магнитное поле Земли. , том. Нет таких записей-H-71250
  7. ^ Чемберс, Дж. М.; Мэтьюз, М.В.; Мур, Франция (1974), Проверка слуховых данных (технический меморандум), AT&T Bell Laboratories, 74-1214-20
  8. ^ Фрайзингер, С.П. (2005), «Краткая история представления слуховых данных до 1980-х годов» (PDF) , в Бразилии, Эоин (редактор), Материалы 11-й Международной конференции по слуховому отображению , стр. 410–413.
  9. ^ Иде, Дон (04 октября 2007 г.). Слушание и голос: Феноменологии звука, второе издание . СУНИ Пресс. п. xvi. ISBN  978-0-7914-7256-9 .
  10. ^ Блай, С. (1982), Презентация звуковой и компьютерной информации , том. доктор философии Диссертация, Калифорнийский университет, Дэвис, стр. 1–127, номер документа : 10.2172/5221536.
  11. ^ Блай, С., «Представление информации в звуке», Материалы конференции 1982 года по человеческому фактору в вычислительных системах - CHI '82 , стр. 371–375, doi : 10.1145/800049.801814
  12. ^ Крэйвен, Р.М.; МакИндо, А.К. (1999), «Непрерывный слуховой мониторинг – сколько информации мы регистрируем?» (PDF) , Британский журнал анестезии , 83 (5): 747–749, doi : 10.1093/bja/83.5.747 , PMID   10690137 [ мертвая ссылка ]
  13. ^ Крамер, Г.; Уокер, Б.Н. (2005), «Здравая наука: отмечаем десять международных конференций по слуховому отображению», ACM Transactions on Applied Perception , 2 (4): 383–388, CiteSeerX   10.1.1.88.7945 , doi : 10.1145/1101530.1101531 , S2CID   1187647
  14. ^ Вацке, Меган; Портер, Молли; Мохон, Ли (4 мая 2022 г.). «Новые ультразвуковые исследования черной дыры НАСА с ремиксом» . НАСА . Проверено 11 мая 2022 г.
  15. ^ До свидания, Деннис (7 мая 2022 г.). «Услышите странные звуки пения черной дыры. В рамках попытки «озвучить» космос исследователи преобразовали волны давления, исходящие от черной дыры, в слышимое… нечто» . Нью-Йорк Таймс . Проверено 11 мая 2022 г.
  16. ^ Монтгомери, ET; Шмитт, Р.В. (1997), «Акустический высотомер свободного аппарата для измерения придонной турбулентности», Deep Sea Research Part I: Oceanographic Research Papers , 44 (6): 1077, Bibcode : 1997DSRI...44.1077M , doi : 10.1016/S0967-0637(97)87243-3
  17. ^ Квинке, Г. (1897). «Акустический термометр для высоких и низких температур» . Анналы физики . 299 (13): 66–71. Бибкод : 1897АнП...299...66Q . дои : 10.1002/andp.18972991311 . ISSN   0003-3804 .
  18. ^ Исмаилогуллари, Абдулла; Цимер, Тим (2019). «Часы Soundscape: композиции Soundscape, отображающие время суток». Международная конференция по слуховому дисплею . Том. 25. С. 91–95. дои : 10.21785/icad2019.034 . hdl : 1853/61510 . ISBN  978-0-9670904-6-7 .
  19. ^ LIGO Gravitational Wave Chirp , заархивировано из оригинала 22 декабря 2021 г. , получено 15 сентября 2021 г.
  20. ^ Хант, А.; Германн, Т.; Паулетто, С. (2004). «Взаимодействие с системами ультразвуковой обработки: замыкание цикла». Слушания. Восьмая международная конференция по визуализации информации, 2004 г. IV 2004 г. стр. 879–884. дои : 10.1109/IV.2004.1320244 . ISBN  0-7695-2177-0 . S2CID   9492137 .
  21. ^ Томас Германн и Энди Хант. Важность взаимодействия в сонификации . Материалы десятого собрания ICAD Международной конференции по слуховому отображению, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн.
  22. ^ Сандра Паулетто и Энди Хант. Набор инструментов для интерактивной сонификации . Материалы десятого собрания ICAD Международной конференции по слуховому отображению, Сидней, Австралия, 6–9 июля 2004 г. Доступно: онлайн .
  23. ^ Катер, Якоб Николас; Германн, Томас; Букшат, Янник; Крамер, Тилманн; Шад, Лотар Р.; Зёлльнер, Фрэнк Геррит (2017). «Полифоническая ультразвуковая обработка сигналов электрокардиографии для диагностики патологий сердца» . Научные отчеты . 7 : Артикул 44549. Бибкод : 2017NatSR...744549K . дои : 10.1038/srep44549 . ПМК   5357951 . ПМИД   28317848 .
  24. ^ Эдуорти, Джуди (2013). «Медицинская звуковая сигнализация: обзор» . J Am Med Inform доц . 20 (3): 584–589. дои : 10.1136/amiajnl-2012-001061 . ПМЦ   3628049 . ПМИД   23100127 .
  25. ^ Вердеман, Питер А.; Виллемс, Питер Вашингтон; Нордсманс, Херке Ян; Беркельбах ван дер Спренкен, Ян Виллем (2009). «Слуховая обратная связь во время безрамной операции под визуальным контролем на фантомной модели и первоначальный клинический опыт». Дж. Нейрохирургия . 110 (2): 257–262. дои : 10.3171/2008.3.17431 . ПМИД   18928352 .
  26. ^ Цимер, Тим; Блэк, Дэвид (2017). «Психоакустически мотивированная ультразвуковая обработка для хирургов». Международный журнал компьютерной радиологии и хирургии . 12 ((Приложение 1): 1): 265–266. arXiv : 1611.04138 . дои : 10.1007/s11548-017-1588-3 . ПМИД   28527024 . S2CID   51971992 .
  27. ^ Цимер, Тим; Блэк, Дэвид; Шультайс, Хольгер (2017). Психоакустическая ультразвуковая конструкция для навигации при хирургических вмешательствах . Материалы совещаний по акустике. Том. 30. с. 050005. дои : 10.1121/2.0000557 .
  28. ^ Цимер, Тим; Блэк, Дэвид (2017). «Психоакустическая ультразвуковая технология для наведения гусеничных медицинских инструментов». Журнал Акустического общества Америки . 141 (5): 3694. Бибкод : 2017ASAJ..141.3694Z . дои : 10.1121/1.4988051 .
  29. ^ Нагель, Ф; Стер, Франция; Дегара, Н; Балке, С; Уорролл, Д. (2014). «Быстрое и точное наведение — время реакции на навигационные звуки». Международная конференция по слуховому дисплею . hdl : 1853/52058 .
  30. ^ Флорес, Л. (1936). «Настоящий слепой полет». J Aeronaut Sci . 3 (5): 168–170. дои : 10.2514/8.176 .
  31. ^ Перейти обратно: а б с Цимер, Тим; Шультайс, Хольгер; Блэк, Дэвид; Кикинис, Рон (2018). «Психоакустическая интерактивная сонификация для ближней навигации». Acta Acustica объединилась с Acustica . 104 (6): 1075–1093. дои : 10.3813/AAA.919273 . S2CID   125466508 .
  32. ^ Перейти обратно: а б с Цимер, Тим; Шультайс, Хольгер (2018). «Психоакустический слуховой дисплей для навигации: система слуховой помощи для задач пространственной ориентации» . Журнал о мультимодальных пользовательских интерфейсах . 2018 (Специальный выпуск: Интерактивная сонификация): 205–218. дои : 10.1007/s12193-018-0282-2 . S2CID   53721138 . Проверено 24 января 2019 г.
  33. ^ Манноне, Мария (2018). «Узлы, музыка и ДНК» . Журнал творческих музыкальных систем . 2 (2). arXiv : 2003.10884 . дои : 10.5920/jcms.2018.02 . S2CID   64956325 .
  34. ^ «СПДФ – Сонификация» . jcms.org.uk/ . 13 ноября 2005 г. Архивировано из оригинала 13 ноября 2005 г. Проверено 15 сентября 2021 г.
  35. ^ Хинкфусс, Келли; Сандерсон, Пенелопа; Леб, Роберт Г.; Лили, Хелен Г.; Лю, Дэвид (2016). «Новые методы пульсоксиметрии для мониторинга насыщения кислородом новорожденных». Человеческий фактор . 58 (2): 344–359. дои : 10.1177/0018720815617406 . ПМИД   26715687 . S2CID   23156157 .
  36. ^ Сандерсон, Пенелопа М.; Уотсон, Маркус О.; Рассел, Джон (2005). «Дисплеи расширенного мониторинга пациентов: инструменты для непрерывного информирования» . Анестезия и анальгезия . 101 (1): 161–168. дои : 10.1213/01.ANE.0000154080.67496.AE . ПМИД   15976225 .
  37. ^ Шварц, Себастьян; Цимер, Тим (2019). «Психоакустическое звуковое оформление для пульсоксиметрии». Международная конференция по слуховому дисплею . Том. 25. С. 214–221. дои : 10.21785/icad2019.024 . hdl : 1853/61504 . ISBN  978-0-9670904-6-7 .
  38. ^ Шуэтт, Джонатан Х.; Винтон, Райли Дж.; Баттерман, Джаред М.; Уокер, Брюс Н. (2014). «Слуховые сводки погоды». Материалы 9-й конференции «В основном аудио: конференция по взаимодействию со звуком» . Утро '14. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 17:1–17:7. дои : 10.1145/2636879.2636898 . ISBN  978-1-4503-3032-9 . S2CID   5765787 .
  39. ^ Полли, Андреа (6–9 июля 2004 г.). АТМОСФЕРИКА/ПОГОДА: ПРОЕКТ МНОГОКАНАЛЬНОГО ОБЛУЧЕНИЯ ШТОРМА (PDF) . ICAD 04-десятое заседание Международной конференции по слуховому дисплею. Архивировано из оригинала (PDF) 11 июля 2021 г.
  40. ^ Ян, Цзяцзюнь; Германн, Томас (20–23 июня 2017 г.). ПАРАЛЛЕЛЬНЫЕ ВЫЧИСЛЕНИЯ ЗВУКОВОЙ ТРАЕКТОРИИ ЧАСТИЦ ДЛЯ ОБЕСПЕЧЕНИЯ ИНТЕРАКТИВНОСТИ В РЕАЛЬНОМ ВРЕМЕНИ (PDF) . 23-я Международная конференция по слуховому дисплею.
  41. ^ «Джастин Жоке» . justinjoque.com . Проверено 21 мая 2019 г.
  42. ^ Банф, Майкл; Бланц, Волкер (2013). «Зонификация изображений для слабовидящих с использованием многоуровневого подхода». Материалы 4-й Международной конференции по дополненному человеку . Нью-Йорк, Нью-Йорк, США: ACM Press. стр. 162–169. дои : 10.1145/2459236.2459264 . ISBN  978-1-4503-1904-1 . S2CID   7505236 .
  43. ^ Банф, Майкл; Микалай, Рубен; Вацке, Барис; Бланц, Волкер (июнь 2016 г.). «PictureSensation – мобильное приложение, которое поможет слепым исследовать визуальный мир посредством прикосновения и звука» . Журнал инженерии реабилитации и вспомогательных технологий . 3 : 205566831667458. doi : 10.1177/2055668316674582 . ISSN   2055-6683 . ПМК   6453065 . ПМИД   31186914 .
  44. ^ КУРАТ. «Игры и тренинги по малоинвазивной хирургии» . Проект КУРАТ . Бременский университет . Проверено 15 июля 2020 г.
  45. ^ Винклер, Хелена; Шаде, Ева Эмели Софи; Крусилп, Джатаван; Ахмади, Фида. «Наклон – уровень духа с помощью звука» . Тилтификация . Бременский университет . Проверено 21 апреля 2021 г.
  46. ^ Зильберман, С. (6 февраля 2012 г.). «В сознании синестета». ПЛОС ОДИН.
  47. ↑ Вайденфельд, Дж., 28 сентября 2013 г. «10 крутых способов создания музыки с помощью технологий». Список услуг.
  48. ^ Бирн, М., 14 февраля 2012 г. «С изображениями для ваших ушей Sonified выигрывает в дополненной реальности с индивидуальной синестезией». Вице/материнская плата
  49. ^ «Прайссквок» . ценыquawk.com . 15 января 2014 г.
  50. ^ Баррасс С. (2012) Цифровое изготовление акустических ультразвуков, Журнал Общества аудиоинженеров, сентябрь 2012 г., онлайн
  51. ^ Баррасс, С. и Бест, Г. (2008). Потоковые диаграммы сонификации. Материалы 14-й Международной конференции по слуховому отображению, IRCAM Париж, 24–27 июня 2008 г., онлайн.
  52. ^ Баррасс С. (2009) Разработка практики и теории потоковой сонификации . Скан: Журнал медиаискусства и культуры , Университет Маккуори .
  53. ^ Кирк, Алексис; Миранда, Эдуардо (6 мая 2014 г.). «Импульсная мелодичная аффективная обработка: музыкальные структуры для повышения прозрачности эмоциональных вычислений». Моделирование . 90 (5): 606. дои : 10.1177/0037549714531060 . hdl : 10026.1/6621 . S2CID   15555997 .
  54. ^ «К гармоническому расширению импульсной мелодической аффективной обработки - дальнейшие музыкальные структуры для повышения прозрачности в эмоциональных вычислениях» (PDF) . 11 ноября 2014 г. Проверено 5 июня 2017 г.
  55. ^ «Пример гибридного компьютера для нетрадиционных виртуальных вычислений» . 01.06.2015 . Проверено 5 июня 2017 г.
[ редактировать ]
Викискладе есть медиафайлы, связанные с сонификацией .
Retrieved from "https://en.wikipedia.org/w/index.php?title=Sonification&oldid=1238182285"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 892b5f9243fc240f5105a3bef349f315__1722599820
URL1:https://arc.ask3.ru/arc/aa/89/15/892b5f9243fc240f5105a3bef349f315.html
Заголовок, (Title) документа по адресу, URL1:
Sonification - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)