3D реконструкция звука

3D-реконструкция звука — это применение методов реконструкции к 3D-локализации звука технологии . Эти методы реконструкции трехмерного звука используются для воссоздания звуков, соответствующих естественной среде, и обеспечения пространственных сигналов источника звука. Они также видят применение в создании 3D-визуализации звукового поля, чтобы включить физические аспекты звуковых волн, включая направление, давление и интенсивность . Эта технология используется в сфере развлечений для воспроизведения живого выступления через динамики компьютера. Эта технология также используется в военных целях для определения местоположения источников звука . Реконструкция звуковых полей также применима к медицинской визуализации для измерения точек ультразвука. ^{[ 1 ]}

Техники

Для воспроизведения надежного и естественного звука из трехмерной аудиозаписи реверберации используются методы локализации звука и реконструкции . Эти методы обрабатывают звук для воспроизведения пространственных сигналов.

Местоположение источника звука определяется посредством трехмерной локализации звука с использованием нескольких микрофонных решеток, методов бинаурального слуха и HRTF (передаточная функция, связанная с головой) .
После определения направления используются другие методы обработки сигнала для измерения импульсной характеристики в течение длительного времени для определения компонентов интенсивности в разных направлениях. Имея как данные, так и комбинируя интенсивность звука с направлением, определяется трехмерное звуковое поле и реконструируются физические качества, которые создают результирующие изменения интенсивности.

В результате этого двухэтапного процесса восстановленное трехмерное звуковое поле содержит информацию не только о локализации источника звука, но и о физических аспектах окружающей среды исходного источника сигнала. В этом его отличие от результатов процесса локализации звука.

После того, как звук реконструирован и пространственные сигналы доступны, их необходимо доставить заказчику. В этот раздел включены различные способы сделать это.

Комната для прослушивания

При использовании метода комнаты для прослушивания слушатель получает звук либо через наушники, либо через громкоговорители. Наушники предоставляют достаточно источников звука, чтобы слушатель мог ощутить направленный трехмерный звук. Что касается громкоговорителей, то их расположение и количество влияют на глубину воспроизведения. Существуют различные способы выбора расположения динамиков. Простая модель состоит из пяти динамиков, расположенных в порядке, рекомендованном ITU-R : по центру, 30° влево, 110° влево, 30° вправо и 110° вправо. Эта установка используется с несколькими трехмерными звуковыми системами и методами реконструкции. ^{[ 2 ]} В качестве альтернативы для сигнала источника звука можно использовать передаточную функцию, связанную с головой, для панорамирования его свертки к каждому из громкоговорителей в зависимости от их направления и местоположения. Это позволяет рассчитывать энергию сигнала для каждого динамика путем оценки звука в нескольких контрольных точках в комнате для прослушивания. ^{[ 3 ]}

Реконструкция реверберации

Реконструкция реверберации включает измерение звука с помощью четырехточечного микрофона для измерения его реальных задержек в разных местах. Каждый микрофон измеряет импульсную характеристику растянутого во времени импульсного сигнала для различных временных интервалов с различными источниками звука. Полученные данные применяются к трехмерной звуковой системе с 5 динамиками, как и в технике комнаты для прослушивания. Система также объединяет передаточную функцию, связанную с головой, с импульсной характеристикой сигнала, записанного микрофонами, и энергия регулируется в соответствии с исходным временным интервалом звукового сигнала, а дополнительная задержка к звуку добавляется , чтобы соответствовать временному интервалу. импульсной реакции. Свертка и задержки применяются ко всем данным источника звука, взятым и суммированным для получения результирующего сигнала.

Этот метод также улучшает направленность, естественность и четкость реконструированного звука по сравнению с оригиналом. Недостаток этого метода заключается в том, что предположение об одном источнике звука (в то время как реальные реверберации включают в себя различные звуки с перекрытием) в сочетании с добавлением всех различных значений не улучшает восприятие слушателями размера комнаты, восприятие расстояния ухудшается. не улучшилось. ^{[ 3 ]}

Лазерные проекции

Поскольку звуковые волны вызывают изменения плотности воздуха, они впоследствии вызывают изменения звукового давления. Они измеряются, а затем обрабатываются с использованием томографической обработки сигналов для восстановления звукового поля. Эти измерения можно проводить с помощью проекций, что устраняет необходимость использования нескольких микрофонов для определения отдельных импульсных характеристик. В этих проекторах используется лазерный доплеровский виброметр для измерения показателя преломления среды на пути лазера. ^{[ 1 ]} Эти измерения обрабатываются с помощью томографической реконструкции для воспроизведения трехмерного звукового поля, а затем обратная проекция свертки для его визуализации используется .

Акустическая голография ближнего поля

В ближнепольной акустической голографии преломление света измеряется в двумерной области среды (это двумерное звуковое поле представляет собой поперечное сечение трехмерного звукового поля) для создания голограммы . Затем на основе анализа температуры воды оценивают волновое число среды. Рассчитываются несколько двумерных звуковых полей, а также можно восстановить трехмерное звуковое поле.

Этот метод применим в первую очередь к ультразвуку и для снижения звукового давления, часто в воде и при медицинской визуализации. Метод работает в предположении, что волновое число среды постоянно. Если волновое число меняется во всей среде, этот метод не может так же точно восстановить трехмерное звуковое поле. ^{[ 4 ]}

См. также

Ссылки

^ Перейти обратно: ^а ^б Оикава; Гото; Икеда; Такидзава; Ямасаки (2005). «Измерения звукового поля на основе реконструкции по лазерным проекциям». Слушания. (ICASSP '05). Международная конференция IEEE по акустике, речи и обработке сигналов, 2005 г. Том. 4. стр. iv/661–iv/664. дои : 10.1109/ICASSP.2005.1416095 . ISBN 978-0-7803-8874-1 . S2CID 15044296 .
^ Ким; Джи; Парк; Юн; Цой (2004). «Реализация 3D-звуковой системы в реальном времени с использованием DSP». 60-я конференция IEEE по автомобильным технологиям, 2004 г. VTC2004-осень. 2004 . Том. 7. С. 4798–480. дои : 10.1109/VETECF.2004.1405005 . ISBN 978-0-7803-8521-4 . S2CID 9906064 .
^ Перейти обратно: ^а ^б Танно; Сайджи; Хуан (2013). «Новая 3D-звуковая система с пятью динамиками и методом реверберационной реконструкции». Международная совместная конференция 2013 г. по информационной науке, технологиям и Ubi-Media Computing (ICAST 2013 и UMEDIA 2013) . стр. 174–179. дои : 10.1109/ICAwST.2013.6765429 . ISBN 978-1-4799-2364-9 . S2CID 11582154 .
^ Обучи; Мизутани; Вакацуки; Нишимия; Масуяма (2009). «Реконструкция трехмерного звукового поля по двумерному звуковому полю с использованием оптической компьютерной томографии и ближнепольной акустической голографии». Японский журнал прикладной физики . 48 (7): 07. Бибкод : 2009JaJAP..48gGC03O . дои : 10.1143/JJAP.48.07GC03 . S2CID 119815337 .

[Oikawa-1] Перейти обратно: ^а ^б Оикава; Гото; Икеда; Такидзава; Ямасаки (2005). «Измерения звукового поля на основе реконструкции по лазерным проекциям». Слушания. (ICASSP '05). Международная конференция IEEE по акустике, речи и обработке сигналов, 2005 г. Том. 4. стр. iv/661–iv/664. дои : 10.1109/ICASSP.2005.1416095 . ISBN 978-0-7803-8874-1 . S2CID 15044296 .

[Kim-2] Ким; Джи; Парк; Юн; Цой (2004). «Реализация 3D-звуковой системы в реальном времени с использованием DSP». 60-я конференция IEEE по автомобильным технологиям, 2004 г. VTC2004-осень. 2004 . Том. 7. С. 4798–480. дои : 10.1109/VETECF.2004.1405005 . ISBN 978-0-7803-8521-4 . S2CID 9906064 .

[Tanno-3] Перейти обратно: ^а ^б Танно; Сайджи; Хуан (2013). «Новая 3D-звуковая система с пятью динамиками и методом реверберационной реконструкции». Международная совместная конференция 2013 г. по информационной науке, технологиям и Ubi-Media Computing (ICAST 2013 и UMEDIA 2013) . стр. 174–179. дои : 10.1109/ICAwST.2013.6765429 . ISBN 978-1-4799-2364-9 . S2CID 11582154 .

[Ohbuchi-4] Обучи; Мизутани; Вакацуки; Нишимия; Масуяма (2009). «Реконструкция трехмерного звукового поля по двумерному звуковому полю с использованием оптической компьютерной томографии и ближнепольной акустической голографии». Японский журнал прикладной физики . 48 (7): 07. Бибкод : 2009JaJAP..48gGC03O . дои : 10.1143/JJAP.48.07GC03 . S2CID 119815337 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]