3D-синтез звука

3D- звук чаще всего определяют как ежедневное восприятие звуков человеком. Звуки доходят до ушей со всех сторон и с разных расстояний, что способствует созданию трехмерного звукового образа, который слышит человек. Ученые и инженеры, работающие с 3D-звуком, работают над точным синтезом сложных звуков реального мира.

Цель

Благодаря присутствию 3D-звука в повседневной жизни и широкому использованию локализации 3D-звука , применение синтеза 3D-звука стало популярным в таких областях, как игры, домашние кинотеатры и системы помощи людям. Целью синтеза 3D-звука является интерпретация информации, полученной из 3D-звука, таким образом, чтобы данные можно было изучать и применять.

Приложения

Применение синтеза 3D-звука — это ощущение присутствия в виртуальной среде за счет создания более реалистичной среды и ощущений в играх, системах телеконференций и системах телеансамбля. 3D-звук также можно использовать для помощи людям с сенсорными нарушениями, например, людям с нарушениями зрения , и заменять другую сенсорную обратную связь.

Трехмерный звук может включать в себя местоположение источника в трехмерном пространстве, а также характеристики трехмерного звукового излучения источника звука. ^[1]

Постановка задачи и основы

Тремя основными проблемами синтеза трехмерного звука являются реверсирование вперед-назад, внутричерепные звуки и измерения HRTF .

Перевороты вперед-назад — это звуки, которые слышны непосредственно перед объектом, когда он расположен сзади, и наоборот. Эту проблему можно уменьшить путем точного учета движений головы субъекта и реакции ушной раковины. Если эти два параметра пропущены во время расчета HRTF, возникнет обратная проблема. Другим решением является ранняя эхо-реакция, которая усиливает различия в звуках с разных направлений и усиливает эффекты ушной раковины , чтобы уменьшить скорость разворота вперед-назад. ^[2]^[3]

Внутричерепно слышимые звуки – это внешние звуки, которые кажутся слышимыми внутри головы человека. Эту проблему можно решить, добавив сигналы реверберации .

Измерения HRTF — это возникающие звуковые шумы и проблемы с линейностью. Используя несколько первичных слуховых сигналов с субъектом, имеющим навыки локализации , в большинстве случаев можно создать эффективную HRTF.

Методы

Три основных метода, используемых в синтезе 3D-звука, — это функция передачи, связанная с головой , рендеринг звука и синтез 3D-звука с указанием местоположения динамика.

Передаточная функция, связанная с головой

Передаточная функция, связанная с головой ( HRTF ), представляет собой линейную функцию, основанную на положении источника звука и учитывающую другую информацию, которую люди используют для локализации звуков, такую как межушная разница во времени , тень головы , реакция ушной раковины, эхо плеча, движение головы, раннее эхо. реакция, реверберация и видение.

Система пытается смоделировать акустическую систему человека, используя набор микрофонов для записи звуков в человеческих ушах, что позволяет более точно синтезировать трехмерные звуки. HRTF получается путем сравнения этих записей с оригинальными звуками. Затем HRTF используется для разработки пар фильтров с конечной импульсной характеристикой ( FIR ) для определенных звуковых позиций, при этом каждый звук имеет два фильтра для левого и правого. Чтобы поместить звук в определенную позицию в трехмерном пространстве, к входящему звуку применяется набор КИХ-фильтров, соответствующих этому положению, в результате чего получается пространственный звук . ^[4] Вычисления, необходимые для свертки звукового сигнала из определенной точки пространства, обычно велики, поэтому обычно требуется много работы, чтобы уменьшить сложность. Одна из таких работ основана на объединении анализа главных компонентов (PCA) и усечения сбалансированной модели (BMT). PCA — это широко используемый метод интеллектуального анализа и сжатия данных , который использовался в синтезе 3D-звука до появления BMT для уменьшения избыточности. BMT применяется для снижения сложности вычислений.

Звуковой рендеринг

Метод рендеринга звука предполагает создание звукового мира путем прикрепления характерного звука к каждому объекту сцены для синтеза его в виде трехмерного звука. Источники звука могут быть получены как методом выборки , так и искусственными методами . В методе есть два различных прохода. Первый проход вычисляет пути распространения от каждого объекта к микрофону, и результат собирается для геометрических преобразований источника звука. Преобразование первого шага контролируется как задержкой, так и затуханием . Второй проход создает окончательную звуковую дорожку звуковых объектов после создания, модуляции и суммирования. ^[5]

Метод рендеринга, более простой метод, чем генерация HRTF, использует сходство между световыми и звуковыми волнами , поскольку звуки в пространстве распространяются во всех направлениях. Звуковые волны отражаются и преломляются так же, как свет. Конечный услышанный звук является составной частью сигналов, передаваемых по многолучевому пути.

Процедура обработки состоит из четырех этапов. Первый шаг включает в себя создание характерного звука в каждом объекте. Второй шаг — когда звук создается и прикрепляется к движущимся объектам. Третий шаг — вычислить извилины , связанные с эффектом реверберации. Рендеринг звука приближается к этому, используя длину волны звука, аналогичную объекту, поэтому он рассеивается в своих отражениях, обеспечивая эффект сглаживания звука. Последний шаг — применение вычисленных сверток к источникам звука на втором этапе. Эти шаги позволяют использовать упрощенный алгоритм звукового сопровождения без особого изменения.

Синтезирование 3D-звука с учетом расположения динамиков

Этот метод предполагает стратегическое размещение восьми динамиков для имитации пространственного звука вместо прикрепления сэмплированного звука к объектам. ^[6] Первый шаг состоит в захвате звука с помощью кубической микрофонной решетки в исходном звуковом поле. Затем звук улавливается с помощью кубической матрицы громкоговорителей в воспроизводимом звуковом поле. Слушатель, находящийся в системе громкоговорителей, почувствует, что звук движется над его головой, когда звук движется над решеткой микрофонов. ^[6]

Синтез волнового поля — это метод пространственного рендеринга звука , который синтезирует волновые фронты с использованием принципа Гюйгенса-Френеля . Сначала исходный звук записывается массивами микрофонов, а затем массивы громкоговорителей используются для воспроизведения звука в зоне прослушивания. Массивы размещаются по границам своей зоны, где также размещаются микрофоны и громкоговорители. Этот метод позволяет нескольким слушателям перемещаться в зоне прослушивания и при этом слышать один и тот же звук со всех сторон, чего не могут достичь методы бинаурального подавления и подавления перекрестных помех . Обычно системы воспроизведения звука, использующие синтез волнового поля, размещают громкоговорители вдоль линии или вокруг слушателя в двухмерном пространстве.

Ссылки

^ Цимер, Тим (2020). Синтез звукового поля психоакустической музыки . Современные исследования в области систематического музыковедения. Том. 7. Чам: Спрингер. п. 287. дои : 10.1007/978-3-030-23033-3 . ISBN 978-3-030-23033-3 . S2CID 201136171 .
^ Берджесс; Дэвид А. (1992). «Методы недорогого пространственного звука». Материалы 5-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса . стр. 53–59. CiteSeerX 10.1.1.464.4403 . дои : 10.1145/142621.142628 . ISBN 978-0897915496 . S2CID 7413673 .
^ Чжан, Мин; Тан, Ка-Чье; МГЭр (1998). «Усовершенствованный алгоритм синтеза трехмерного звука». ИКСП '98. 1998 г. Четвертая международная конференция по обработке сигналов (кат. № 98TH8344) . Том. 2. С. 1408–1411 т.2. дои : 10.1109/ICOSP.1998.770884 . ISBN 978-0-7803-4325-2 . S2CID 57484436 .
^ Тоннесен, Синди; Стейнмец, Джо. «Синтез 3D звука» .
^ Такала; Тапио; Джеймс, Хан (1992). «Рендеринг звука». Материалы 19-й ежегодной конференции «Компьютерная графика и интерактивные технологии» . Том. 26. С. 211–220. дои : 10.1145/133994.134063 . ISBN 978-0897914796 . S2CID 6252100 .
^ Jump up to: ^а ^б ^с М. Наоэ; Т. Кимура; Ю. Ямаката; М. Кацумото (2008). «Оценка производительности системы воспроизведения трехмерного звукового поля с использованием нескольких громкоговорителей и синтеза волнового поля». 2008 Второй международный симпозиум по универсальной коммуникации . стр. 36–41. дои : 10.1109/ISUC.2008.35 . ISBN 978-0-7695-3433-6 . S2CID 16506730 .

[musicsfs-1] Цимер, Тим (2020). Синтез звукового поля психоакустической музыки . Современные исследования в области систематического музыковедения. Том. 7. Чам: Спрингер. п. 287. дои : 10.1007/978-3-030-23033-3 . ISBN 978-3-030-23033-3 . S2CID 201136171 .

[2] Берджесс; Дэвид А. (1992). «Методы недорогого пространственного звука». Материалы 5-го ежегодного симпозиума ACM по программному обеспечению и технологиям пользовательского интерфейса . стр. 53–59. CiteSeerX 10.1.1.464.4403 . дои : 10.1145/142621.142628 . ISBN 978-0897915496 . S2CID 7413673 .

[3] Чжан, Мин; Тан, Ка-Чье; МГЭр (1998). «Усовершенствованный алгоритм синтеза трехмерного звука». ИКСП '98. 1998 г. Четвертая международная конференция по обработке сигналов (кат. № 98TH8344) . Том. 2. С. 1408–1411 т.2. дои : 10.1109/ICOSP.1998.770884 . ISBN 978-0-7803-4325-2 . S2CID 57484436 .

[4] Тоннесен, Синди; Стейнмец, Джо. «Синтез 3D звука» .

[5] Такала; Тапио; Джеймс, Хан (1992). «Рендеринг звука». Материалы 19-й ежегодной конференции «Компьютерная графика и интерактивные технологии» . Том. 26. С. 211–220. дои : 10.1145/133994.134063 . ISBN 978-0897914796 . S2CID 6252100 .

[auto-6] Jump up to: ^а ^б ^с М. Наоэ; Т. Кимура; Ю. Ямаката; М. Кацумото (2008). «Оценка производительности системы воспроизведения трехмерного звукового поля с использованием нескольких громкоговорителей и синтеза волнового поля». 2008 Второй международный симпозиум по универсальной коммуникации . стр. 36–41. дои : 10.1109/ISUC.2008.35 . ISBN 978-0-7695-3433-6 . S2CID 16506730 .

[1]

[2]

[3]

[4]

[5]

[6]