Частотно-временной анализ музыкальных сигналов

Частотно-временной анализ музыкальных сигналов является одним из применений частотно-временного анализа . Музыкальный звук может быть более сложным, чем звук человеческого голоса, и занимать более широкую полосу частот. Музыкальные сигналы — это сигналы, изменяющиеся во времени; хотя классического преобразования Фурье недостаточно для их анализа, частотно-временной анализ является эффективным инструментом для такого использования. Частотно-временной анализ является продолжением классического подхода Фурье. Кратковременное преобразование Фурье (STFT), преобразование Габора (GT) и функция распределения Вигнера (WDF) — это известные частотно-временные методы, полезные для анализа музыкальных сигналов, таких как ноты, сыгранные на фортепиано, флейте или гитаре.

Знание музыкального сигнала

Музыка — это тип звука, который имеет некоторые стабильные частоты в определенный период времени. Музыку можно создавать несколькими способами. Например, звук фортепиано получается при ударе по струнам , а звук скрипки — при смычке . Все музыкальные звуки имеют свою основную частоту и обертоны. Основная частота — это самая низкая частота в гармоническом ряду. В периодическом сигнале основная частота обратна длине периода. Обертоны — это целые числа, кратные основной частоте.

Стол. 1 основная частота и обертон
Частота	Заказ
f = 440 Гц	Н = 1	Основная частота	1-я гармоника
f = 880 Гц	Н = 2	1-й обертон	2-я гармоника
f = 1320 Гц	Н = 3	2-й обертон	3-я гармоника
f = 1760 Гц	Н = 4	3-й обертон	4-я гармоника

В теории музыки высота представляет собой воспринимаемую основную частоту звука. Однако фактическая основная частота может отличаться от воспринимаемой основной частоты из-за обертонов.

Кратковременное преобразование Фурье

Непрерывное STFT

Кратковременное преобразование Фурье является основным типом частотно-временного анализа. Если существует непрерывный сигнал x ( t ), мы можем вычислить кратковременное преобразование Фурье с помощью

\mathbf {STFT} \left\{x(t)\right\}\equiv X(t,f)=\int _{-\infty }^{\infty }x(\tau )w(t-\tau )e^{-j2\pi f\tau }\,d\tau

где w ( t ) — оконная функция . Когда w ( t ) является прямоугольной функцией, преобразование называется Rec-STFT. Когда w ( t ) является функцией Гаусса, преобразование называется преобразованием Габора .

Дискретный STFT

Однако обычно музыкальный сигнал, который мы имеем, не является непрерывным. Он дискретизируется с частотой дискретизации. Следовательно, мы не можем использовать эту формулу для вычисления преобразования Фурье Rec-кратковременного действия. Изменяем исходную форму на

X(n\,\Delta t,m\,\Delta f)=\sum _{p=n-Q}^{n+Q}x(p\,\Delta t)e^{-j2\pi pm\,\Delta t\,\Delta f}\,\Delta t

Позволять $t=n\,\Delta t$ , $f=m\,\Delta f$ , $\tau =p\,\Delta t$ и $B=Q\,\Delta t$ . Существуют некоторые ограничения дискретного кратковременного преобразования Фурье:

$\Delta t\,\Delta f={\frac {1}{N}},$ где N — целое число.
$N\geq 2Q+1$
$\Delta <{\frac {1}{2f_{\max }}}$ , где $f_{\max }$ это самая высокая частота сигнала.

Пример STFT

На рисунке 1 показана форма сигнала аудиофайла «» с частотой дискретизации 44100 Гц. На рисунке 2 показан частотно-временной график результатов кратковременного преобразования Фурье (в частности, преобразования Габора ) аудиофайла. На этом графике горизонтальные линии с частотами не выше 230 Гц представляют основные частоты, а горизонтальные линии с частотами выше 230 Гц представляют собой гармонические составляющие. Обратите внимание, что с момента t = 0 до 0,5 секунды исполняется аккорд, состоящий из трех нот (CEG). Затем хорда изменилась на CEA при t = 0,5, а затем снова изменилась на DFA при t = 1.

Спектрограмма

На рисунке 3 показана спектрограмма аудиофайла, показанного на рисунке 1. Спектрограмма представляет собой квадрат STFT, изменяющееся во времени спектральное представление. Спектрограмму сигнала s ( t ) можно оценить путем вычисления квадрата величины STFT сигнала s ( t ), как показано ниже:

\mathbf {spectrogram} (t,f)=\left|\mathbf {STFT} (t,f)\right|^{2}

Хотя спектрограмма чрезвычайно полезна, у нее все же есть один недостаток. Он отображает частоты в единой шкале. Однако музыкальные шкалы основаны на логарифмической шкале частот. Поэтому нам следует описывать частоту в логарифмическом масштабе, связанную со слухом человека.

Функция распределения Вигнера

Функция распределения Вигнера также может использоваться для анализа музыкальных сигналов. Преимуществом функции распределения Вигнера является высокая наглядность вывода; однако он требует больших вычислительных затрат и имеет проблему перекрестных условий, поэтому он более подходит для одновременного анализа сигналов без более чем одной частоты.

Формула

Функция распределения Вигнера $W_{x}(t,f)$ является:

\mathbf {W} _{x}(t,f)=\int _{-\infty }^{\infty }x(t+\tau /2)x^{*}(t-\tau /2)e^{-j2\pi \tau \,f}\,d\tau ,

где x ( t ) является сигналом, а x *( t ) является сопряженным сигналом.

См. также

Источники

Джоан Серра, Эмилия Гомес, Перфекто Эррера и Ксавье Серра , «Двоичное сходство цветности и локальное выравнивание, применяемое для идентификации кавер-песен», август 2008 г.
Уильям Дж. Пилемейер, Грегори Х. Уэйкфилд и Мэри Х. Симони, «Частотно-временной анализ музыкальных сигналов», сентябрь 1996 г.
Джереми Ф. Альм и Джеймс С. Уокер, «Частотно-временной анализ музыкальных инструментов», 2002 г.
Моника Дорфлер, «Что может сделать частотно-временной анализ с музыкальными сигналами», апрель 2004 г.
ЭнШо Цау, Намгук Чо и К.-С. Джей Куо , «Фундаментальная оценка частоты музыкальных сигналов с модифицированным преобразованием Гильберта – Хуанга », Международная конференция IEEE по мультимедиа и выставке, 2009.