Теорема Винера – Хинчина

В прикладной математике теорема Винера-Хинчина или теорема Винера-Хинчина , также известная как теорема Винера-Хинчина-Эйнштейна или теорема Хинчина-Колмогорова , утверждает, что автокорреляционная функция стационарного в широком смысле случайного процесса имеет спектральное разложение. определяется спектральной плотностью мощности этого процесса. ^{[ 1 ]}^{[ 2 ]}^{[ 3 ]}^{[ 4 ]}^{[ 5 ]}^{[ 6 ]}^{[ 7 ]}

История

Норберт Винер доказал эту теорему для случая детерминированной функции в 1930 году; ^{[ 8 ]} Позже Александр Хинчин сформулировал аналогичный результат для стационарных случайных процессов и опубликовал этот вероятностный аналог в 1934 году. ^{[ 9 ]}^{[ 10 ]} Альберт Эйнштейн объяснил эту идею без доказательств в краткой двухстраничной записке в 1914 году. ^{[ 11 ]}^{[ 12 ]}

Непрерывный процесс

Для непрерывного времени теорема Винера – Хинчина гласит, что если $x$ представляет собой стационарный в широком смысле случайный процесс которого , автокорреляционная функция (иногда называемая автоковариацией ) определяется в терминах статистического ожидаемого значения , $r_{xx}(\tau )=\mathbb {E} {\big [}x(t)^{*}\cdot x(t-\tau ){\big ]}$ существует и конечен при каждом лаге $\tau$ , то существует монотонная функция $F(f)$ в частотной области $-\infty <f<\infty$ или, что то же самое, неотрицательная мера Радона $\mu$ в частотной области, такой, что

r_{xx}(\tau )=\int _{-\infty }^{\infty }e^{2\pi i\tau f}\mu (df)=\int _{-\infty }^{\infty }e^{2\pi i\tau f}dF(f),

где интеграл представляет собой интеграл Римана – Стилтьеса . ^{[ 1 ]}^{[ 13 ]} Звездочка обозначает комплексно-сопряженное число и может быть опущена, если случайный процесс имеет действительное значение. Это своего рода спектральное разложение автокорреляционной функции. F называется функцией спектрального распределения мощности и представляет собой статистическую функцию распределения. Иногда его называют интегральным спектром.

Преобразование Фурье $x(t)$ вообще не существует, поскольку стохастические случайные функции вообще не являются ни интегрируемыми с квадратом , ни абсолютно интегрируемыми . И это не $r_{xx}$ предполагается абсолютно интегрируемым, поэтому ему также не требуется преобразование Фурье.

Однако если мера $\mu (df)=dF(f)$ , абсолютно непрерывен например, если процесс чисто индетерминированный, то $F$ дифференцируемо почти всюду и можно написать $\mu (df)=S(f)df$ . В этом случае можно определить $S(f)$ , спектральная плотность мощности $x(t)$ , взяв усредненную производную от $F$ . Поскольку левые и правые производные $F$ существуют повсюду, т. е. мы можем положить $S(f)={\frac {1}{2}}\left(\lim _{\varepsilon \downarrow 0}{\frac {1}{\varepsilon }}{\big (}F(f+\varepsilon )-F(f){\big )}+\lim _{\varepsilon \uparrow 0}{\frac {1}{\varepsilon }}{\big (}F(f+\varepsilon )-F(f){\big )}\right)$ повсюду, ^{[ 14 ]} (получая, что F является интегралом от его усредненной производной ^{[ 15 ]}), и теорема упрощается до

r_{xx}(\tau )=\int _{-\infty }^{\infty }e^{2\pi i\tau f}\,S(f)df.

Если теперь предположить, что r и S удовлетворяют необходимым условиям для справедливости обращения Фурье, теорема Винера-Хинчина принимает простую форму, говоря, что r и S являются парой преобразований Фурье, и

S(f)=\int _{-\infty }^{\infty }r_{xx}(\tau )e^{-2\pi if\tau }\,d\tau .

Дискретный процесс

Для случая дискретного времени спектральная плотность мощности функции с дискретными значениями $x_{n}$ является

S(\omega )={\frac {1}{2\pi }}\sum _{k=-\infty }^{\infty }r_{xx}(k)e^{-i\omega k}

где $\omega =2\pi f$ угловая частота, $i$ используется для обозначения мнимой единицы (в технике иногда буква $j$ вместо этого используется) и $r_{xx}(k)$ — дискретная автокорреляционная функция $x_{n}$ , определенный в детерминированной или стохастической формулировке.

Предоставил $r_{xx}$ абсолютно суммируема, т.е.

\sum _{k=-\infty }^{\infty }|r_{xx}(k)|<+\infty

тогда результат теоремы можно записать в виде

r_{xx}(\tau )=\int _{-\pi }^{\pi }e^{i\tau \omega }S(\omega )d\omega

Будучи последовательностью дискретного времени, спектральная плотность является периодической в частотной области. По этой причине область определения функции $S$ обычно ограничивается $[-\pi ,\pi ]$ (обратите внимание, интервал открыт с одной стороны).

Приложение

Теорема полезна для анализа линейных стационарных систем (LTI-систем), когда входные и выходные данные не интегрируются с квадратом, поэтому их преобразования Фурье не существуют. Следствием этого является то, что преобразование Фурье автокорреляционной функции выхода системы LTI равно произведению преобразования Фурье автокорреляционной функции входа системы на квадрат величины преобразования Фурье импульсной характеристики системы. . ^{[ 16 ]} Это работает даже тогда, когда преобразования Фурье входных и выходных сигналов не существуют, поскольку эти сигналы не интегрируются с квадратом, поэтому входы и выходы системы не могут быть напрямую связаны с преобразованием Фурье импульсной характеристики.

Поскольку преобразование Фурье автокорреляционной функции сигнала представляет собой спектр мощности сигнала, это следствие эквивалентно утверждению, что спектр мощности выходного сигнала равен спектру мощности входного сигнала, умноженному на функцию передачи энергии .

Это следствие используется в параметрическом методе оценки спектра мощности.

Расхождения в терминологии

Во многих учебниках и в большей части технической литературы молчаливо предполагается, что обращение Фурье автокорреляционной функции и спектральной плотности мощности справедливо, а теорема Винера-Хинчина формулируется очень просто, как если бы она говорила, что преобразование Фурье автокорреляционной функции была равна спектральной плотности мощности , игнорируя все вопросы сходимости ^{[ 17 ]} (аналогично статье Эйнштейна ^{[ 11 ]}). Но теорема (как указано здесь) была применена Норбертом Винером и Александром Хинчиным к выборочным функциям (сигналам) стационарных случайных процессов в широком смысле , сигналам, преобразования Фурье которых не существуют. Вклад Винера заключался в том, чтобы разобраться в спектральном разложении автокорреляционной функции выборочной функции стационарного случайного процесса в широком смысле, даже когда интегралы для преобразования Фурье и инверсии Фурье не имеют смысла.

Еще больше усложняет проблему то, что дискретное преобразование Фурье всегда существует для цифровых последовательностей конечной длины, а это означает, что теорему можно слепо применять для расчета автокорреляции числовых последовательностей. Как упоминалось ранее, связь этих дискретных выборочных данных с математической моделью часто вводит в заблуждение, и связанные с этим ошибки могут проявляться в виде расхождений при изменении длины последовательности.

Некоторые авторы ссылаются на $R$ как функция автоковариации. Затем они приступают к его нормализации путем деления на $R(0)$ , чтобы получить то, что они называют автокорреляционной функцией.

Ссылки

^ Перейти обратно: ^а ^б К. Чатфилд (1989). Анализ временных рядов. Введение (четвертое изд.). Чепмен и Холл, Лондон. стр. 94–95. ISBN 0-412-31820-2 .
^ Норберт Винер (1964). Временной ряд . MIT Press, Кембридж, Массачусетс. п. 42.
^ Ханнан, Э.Дж., «Стационарный временной ряд», в: Джон Итвелл, Мюррей Милгейт и Питер Ньюман, редакторы, The New Palgrave: A Dictionary of Economics. Временные ряды и статистика , Macmillan, Лондон, 1990, с. 271.
^ Деннис Уорд Рикер (2003). Обработка эхо-сигнала . Спрингер. ISBN 1-4020-7395-Х .
^ Леон В. Коуч II (2001). Цифровые и аналоговые системы связи (шестое изд.). Прентис Холл, Нью-Джерси. стр. 406–409. ISBN 0-13-522583-3 .
^ Кшиштоф Иневский (2007). Беспроводные технологии: схемы, системы и устройства . ЦРК Пресс. ISBN 978-0-8493-7996-3 .
^ Джозеф В. Гудман (1985). Статистическая оптика . Уайли-Интерсайенс. ISBN 0-471-01502-4 .
^ Винер, Норберт (1930). «Обобщенный гармонический анализ» . Акта Математика . 55 : 117–258. дои : 10.1007/bf02546511 .
^ Округ Колумбия Чампени (1987). «Спектры мощности и теоремы Винера». Справочник теорем Фурье . Издательство Кембриджского университета. п. 102 . ISBN 9780521265034 . Основная теория Винера «обобщенного гармонического анализа» никоим образом не является вероятностной, и теоремы применимы к отдельным четко определенным функциям, а не к ансамблям функций [...] Дальнейшее развитие этих идей происходит в работе А. И. Хинчина (1894 г.). –1959) о стационарных случайных процессах (или случайных процессах) [...] в контекстах, в которых не важно различать два подхода, теорию часто называют теорией Винера-Хинчина.
^ Хинчин, Александр (1934). «Корреляционная теория стационарных случайных процессов». Математические летописи . 109 (1): 604–615. дои : 10.1007/BF01449156 . S2CID 122842868 .
^ Перейти обратно: ^а ^б Эйнштейн, Альберт (1914). «Метод определения статистических значений наблюдений за величинами, подверженными нерегулярным колебаниям» . Научный архив . 37 : 254–256. Бибкод : 1914ArS....37..254E .
^ Джерисон, Дэвид; Певец Исадор Мануэль; Струк, Дэниел В. (1997). Наследие Норберта Винера: Столетний симпозиум (Материалы симпозиумов по чистой математике) . Американское математическое общество. п. 95. ИСБН 0-8218-0415-4 .
^ Ханнан, Э.Дж. (1990). «Стационарный временной ряд» . В Итуэлле, Джон; Милгейт, Мюррей; Ньюман, Питер (ред.). Нью-Пэлгрейв: Экономический словарь. Временные ряды и статистика . Лондон: Макмиллан. п. 271. ИСБН 9781349208654 .
^ Чатфилд, К. (1989). Анализ временных рядов. Введение (Четвертое изд.). Лондон: Чепмен и Холл. п. 96. ИСБН 0-412-31820-2 .
^ Чампени, округ Колумбия (1987). Справочник теорем Фурье . Кембриджский университет. Нажимать. стр. 20–22. ISBN 9780521366885 .
^ Шломо Энгельберг (2007). Случайные сигналы и шум: математическое введение . ЦРК Пресс. п. 130. ИСБН 978-0-8493-7554-5 .
^ К. Чатфилд (1989). Анализ временных рядов. Введение (четвертое изд.). Чепмен и Холл, Лондон. п. 98. ИСБН 0-412-31820-2 .

Дальнейшее чтение

Брокуэлл, Питер А.; Дэвис, Ричард Дж. (2002). Введение во временные ряды и прогнозирование (второе изд.). Нью-Йорк: Springer-Verlag. ISBN 038721657X .
Чатфилд, К. (1989). Анализ временных рядов. Введение (Четвертое изд.). Лондон: Чепмен и Холл. ISBN 0412318202 .
Фуллер, Уэйн (1996). Введение в статистические временные ряды . Серия Уайли по вероятности и статистике (второе изд.). Нью-Йорк: Уайли. ISBN 0471552399 .
Винер, Норберт (1949). «Экстраполяция, интерполяция и сглаживание стационарных временных рядов» (Документ). Кембридж, Массачусетс: Technology Press и Университет Джонса Хопкинса. Нажимать. (секретный документ, написанный для военного ведомства в 1943 году).
Яглом, А.М. (1962). Введение в теорию стационарных случайных функций . Энглвуд Клиффс, Нью-Джерси: Прентис-Холл.

[C._Chatfield_1989_94–95-1] Перейти обратно: ^а ^б К. Чатфилд (1989). Анализ временных рядов. Введение (четвертое изд.). Чепмен и Холл, Лондон. стр. 94–95. ISBN 0-412-31820-2 .

[2] Норберт Винер (1964). Временной ряд . MIT Press, Кембридж, Массачусетс. п. 42.

[3] Ханнан, Э.Дж., «Стационарный временной ряд», в: Джон Итвелл, Мюррей Милгейт и Питер Ньюман, редакторы, The New Palgrave: A Dictionary of Economics. Временные ряды и статистика , Macmillan, Лондон, 1990, с. 271.

[4] Деннис Уорд Рикер (2003). Обработка эхо-сигнала . Спрингер. ISBN 1-4020-7395-Х .

[5] Леон В. Коуч II (2001). Цифровые и аналоговые системы связи (шестое изд.). Прентис Холл, Нью-Джерси. стр. 406–409. ISBN 0-13-522583-3 .

[6] Кшиштоф Иневский (2007). Беспроводные технологии: схемы, системы и устройства . ЦРК Пресс. ISBN 978-0-8493-7996-3 .

[7] Джозеф В. Гудман (1985). Статистическая оптика . Уайли-Интерсайенс. ISBN 0-471-01502-4 .

[8] Винер, Норберт (1930). «Обобщенный гармонический анализ» . Акта Математика . 55 : 117–258. дои : 10.1007/bf02546511 .

[Champeney-9] Округ Колумбия Чампени (1987). «Спектры мощности и теоремы Винера». Справочник теорем Фурье . Издательство Кембриджского университета. п. 102 . ISBN 9780521265034 . Основная теория Винера «обобщенного гармонического анализа» никоим образом не является вероятностной, и теоремы применимы к отдельным четко определенным функциям, а не к ансамблям функций [...] Дальнейшее развитие этих идей происходит в работе А. И. Хинчина (1894 г.). –1959) о стационарных случайных процессах (или случайных процессах) [...] в контекстах, в которых не важно различать два подхода, теорию часто называют теорией Винера-Хинчина.

[10] Хинчин, Александр (1934). «Корреляционная теория стационарных случайных процессов». Математические летописи . 109 (1): 604–615. дои : 10.1007/BF01449156 . S2CID 122842868 .

[Einstein1914-11] Перейти обратно: ^а ^б Эйнштейн, Альберт (1914). «Метод определения статистических значений наблюдений за величинами, подверженными нерегулярным колебаниям» . Научный архив . 37 : 254–256. Бибкод : 1914ArS....37..254E .

[12] Джерисон, Дэвид; Певец Исадор Мануэль; Струк, Дэниел В. (1997). Наследие Норберта Винера: Столетний симпозиум (Материалы симпозиумов по чистой математике) . Американское математическое общество. п. 95. ИСБН 0-8218-0415-4 .

[13] Ханнан, Э.Дж. (1990). «Стационарный временной ряд» . В Итуэлле, Джон; Милгейт, Мюррей; Ньюман, Питер (ред.). Нью-Пэлгрейв: Экономический словарь. Временные ряды и статистика . Лондон: Макмиллан. п. 271. ИСБН 9781349208654 .

[14] Чатфилд, К. (1989). Анализ временных рядов. Введение (Четвертое изд.). Лондон: Чепмен и Холл. п. 96. ИСБН 0-412-31820-2 .

[15] Чампени, округ Колумбия (1987). Справочник теорем Фурье . Кембриджский университет. Нажимать. стр. 20–22. ISBN 9780521366885 .

[16] Шломо Энгельберг (2007). Случайные сигналы и шум: математическое введение . ЦРК Пресс. п. 130. ИСБН 978-0-8493-7554-5 .

[17] К. Чатфилд (1989). Анализ временных рядов. Введение (четвертое изд.). Чепмен и Холл, Лондон. п. 98. ИСБН 0-412-31820-2 .

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]

[ 16 ]

[ 17 ]