Спектральный анализ методом наименьших квадратов

Результат сопоставления набора точек данных квадратичной функцией

Спектральный анализ наименьших квадратов ( LSSA ) — это метод оценки частотного спектра , основанный на к выборкам данных методом наименьших квадратов подгонке синусоид , аналогичный анализу Фурье . Анализ Фурье, наиболее используемый спектральный метод в науке, обычно усиливает долгопериодический шум в длинных записях и записях с пропусками; LSSA смягчает такие проблемы. В отличие от анализа Фурье, для использования LSSA данные не обязательно должны быть расположены на одинаковом расстоянии друг от друга.

Разработан в 1969 году. и 1971 г., LSSA также известен как метод Ваничека и метод Гаусса-Ваничека в честь Петра Ваничека . и как метод Ломба или периодограмма Ломб-Скаргла , основано на упрощениях, впервые предложенных Николасом Р. Ломбом а затем Джеффри Д. Скаргл.

Историческая справка

Тесная связь между анализом Фурье , периодограммой и аппроксимацией синусоиды методом наименьших квадратов известна уже давно. Однако большинство разработок ограничиваются полными наборами данных с равноотстоящими друг от друга выборками. В 1963 году Фрик Дж. М. Барнинг из Математического центра в Амстердаме обработал неравномерно распределенные данные с помощью аналогичных методов: включая как анализ периодограммы, эквивалентный тому, что сейчас называется методом Ломба, так и аппроксимацию методом наименьших квадратов выбранных частот синусоид, определенных на основе таких периодограмм, - и связанных с процедурой, известной сегодня как поиск совпадения с аппроксимацией после обратного преобразования. или поиск ортогонального соответствия.

Петр Ваничек , канадский геофизик и геодезист из Университета Нью-Брансуика , предложил в 1969 году также подход сопоставления-преследования для одинаково и неравномерно расположенных данных, который он назвал «последовательным спектральным анализом», а результат - «периодограммой наименьших квадратов». Он обобщил этот метод для учета любых систематических компонентов, выходящих за рамки простого среднего значения, таких как «предсказанная линейная (квадратичная, экспоненциальная, ...) вековая тенденция неизвестной величины», и применил его к множеству образцов в 1971 году.

Строго метод наименьших квадратов Ваничека был затем упрощен в 1976 году Николасом Р. Ломбом из Сиднейского университета , который указал на его тесную связь с анализом периодограммы . Впоследствии определение периодограммы неравноотстоящих данных было изменено и проанализировано Джеффри Д. Скарглом из Исследовательского центра Эймса НАСА . который показал, что с небольшими изменениями она становится идентичной формуле наименьших квадратов Ломба для подбора отдельных частот синусоиды.

Скаргл заявляет, что его статья «не представляет новую технику обнаружения, а вместо этого изучает надежность и эффективность обнаружения с помощью наиболее часто используемого метода, периодограммы, в случае, когда время наблюдения распределено неравномерно », и далее указывает на Подбор синусоиды методом наименьших квадратов по сравнению с анализом периодограммы, что его статья «по-видимому, впервые устанавливает, что (с предложенными модификациями) эти два метода в точности эквивалентны».

Нажимать обобщает развитие следующим образом:

Совершенно другой метод спектрального анализа данных с неравномерной выборкой, который смягчает эти трудности и обладает некоторыми другими очень желательными свойствами, был разработан Ломбом, частично основанный на более ранних работах Барнинга и Ваничека и дополнительно разработанный Скарглом.

В 1989 году Майкл Дж. Коренберг из Королевского университета в Кингстоне, Онтарио, разработал метод «быстрого ортогонального поиска», позволяющий более быстро находить почти оптимальное разложение спектров или решать другие проблемы. аналогично методу, который позже стал известен как поиск ортогонального соответствия.

Разработка LSSA и вариантов

Метод Ваничека

В линейной регрессии предполагается, что наблюдения ( красный ) являются результатом случайных отклонений ( зеленый ) от основного отношения ( синий ) между зависимой переменной ( y ) и независимой переменной ( x ). Затем при нормированной подгонке, например, по критерию наименьших квадратов , точки данных ( красная ) представлены линией нормативного наилучшего соответствия ( синяя ), от которой всегда остаются «остатки» ( зеленая ).

В методе Ваничека дискретный набор данных аппроксимируется взвешенной суммой синусоид постепенно определяемых частот с использованием стандартной линейной регрессии или аппроксимации методом наименьших квадратов . Частоты выбираются с использованием метода, аналогичного методу Барнинга, но идущего дальше в оптимизации выбора каждой последующей новой частоты путем выбора частоты, которая минимизирует остаток после аппроксимации методом наименьших квадратов (эквивалент метода аппроксимации, теперь известного как поиск соответствия с предварительными дооснащение ). Количество синусоидов должно быть меньше или равно количеству выборок данных (с учетом синусов и косинусов той же частоты, что и отдельные синусоиды).

Вектор данных Φ представлен как взвешенная сумма синусоидальных базисных функций, сведенных в таблицу в матрице A путем оценки каждой функции в шагах расчета с весовым вектором x :

$\phi \approx {\textbf {A}}x$,

где вектор весов x выбирается так, чтобы минимизировать сумму квадратов ошибок аппроксимации Φ . Решение для x представляет собой замкнутую форму с использованием стандартной линейной регрессии :

$x=({\textbf {A}}^{\mathrm {T} }{\textbf {A}})^{-1}{\textbf {A}}^{\mathrm {T} }\phi .$

Здесь матрица A может быть основана на любом наборе функций, взаимно независимых (не обязательно ортогональных) при вычислении в шагах расчета; Функции, используемые для спектрального анализа, обычно представляют собой синусы и косинусы, равномерно распределенные по интересующему диапазону частот. Если мы выберем слишком много частот в слишком узком диапазоне частот, функции будут недостаточно независимыми, матрица будет плохо обусловленной, а результирующий спектр будет бессмысленным.

Когда базисные функции в A ортогональны (то есть не коррелированы, то есть столбцы имеют нулевое попарное скалярное произведение ), матрица A ^Т А – диагональ; когда все столбцы имеют одинаковую степень (сумму квадратов элементов), тогда эта матрица представляет собой единичную матрицу, умноженную на константу, поэтому инверсия тривиальна. Последнее имеет место, когда времена выборки расположены одинаково, а синусоиды выбраны как синусы и косинусы, одинаково разнесенные попарно в частотном интервале от 0 до полупериода на выборку (с интервалом 1/N циклов на выборку, исключая синусоидальные фазы в 0). и максимальную частоту, где они тождественно равны нулю). Этот случай известен как дискретное преобразование Фурье , слегка переписанное с точки зрения измерений и коэффициентов.

$x={\textbf {A}}^{\mathrm {T} }\phi$ — Случай ДПФ для N равноотстоящих отсчетов и частот в пределах скалярного коэффициента.

Метод Ломб

Спектр мощности (квадрат величины) двух синусоидальных базисных функций , рассчитанный периодограммы методом

Попытка снизить вычислительную нагрузку метода Ваничека в 1976 году. (больше не проблема), Ломб предложил использовать приведенное выше упрощение в целом, за исключением парных корреляций между синусоидальными и косинусоидными основаниями одной и той же частоты, поскольку корреляции между парами синусоидов часто невелики, по крайней мере, когда они не плотно прижаты друг к другу. разнесены. Эта формулировка по существу аналогична традиционной периодограмме , но адаптирована для использования с неравномерно расположенными выборками. Вектор x является достаточно хорошей оценкой основного спектра, но поскольку мы игнорируем любые корреляции, A x больше не является хорошим приближением к сигналу, и метод больше не является методом наименьших квадратов, хотя в литературе продолжают называться таковым.

Вместо того, чтобы просто брать скалярные произведения данных с синусоидальными и косинусоидальными сигналами напрямую, Скаргл модифицировал стандартную формулу периодограммы, чтобы найти временную задержку. $\tau$ во-первых, так, чтобы эта пара синусоид была взаимно ортогональна в шагах расчета $t_{j}$ а также с поправкой на потенциально неравные степени этих двух базисных функций, чтобы получить лучшую оценку мощности на частоте. Эта процедура сделала его модифицированный метод периодограммы точно эквивалентным методу Ломба. Задержка времени $\tau$ по определению равен

$\tan {2\omega \tau }={\frac {\sum _{j}\sin 2\omega t_{j}}{\sum _{j}\cos 2\omega t_{j}}}.$

Тогда периодограмма на частоте $\omega$ оценивается как:

$P_{x}(\omega )={\frac {1}{2}}\left({\frac {\left[\sum _{j}X_{j}\cos \omega (t_{j}-\tau )\right]^{2}}{\sum _{j}\cos ^{2}\omega (t_{j}-\tau )}}+{\frac {\left[\sum _{j}X_{j}\sin \omega (t_{j}-\tau )\right]^{2}}{\sum _{j}\sin ^{2}\omega (t_{j}-\tau )}}\right)$,

которая, как сообщает Скаргл, имеет то же статистическое распределение, что и периодограмма в случае равномерной выборки.

На любой индивидуальной частоте $\omega$, этот метод дает ту же мощность, что и аппроксимация синусоиды этой частоты и формы методом наименьших квадратов:

$\phi (t)=A\sin \omega t+B\cos \omega t.$

На практике всегда трудно судить, является ли данный пик Ломба значимым или нет, особенно когда природа шума неизвестна, поэтому, например, спектральный пик ложной тревоги при анализе периодограммы Ломба зашумленного периодического сигнала может быть результатом шум в данных о турбулентности. Методы Фурье также могут сообщать о ложных спектральных пиках при анализе исправленных или отредактированных иным образом данных.

Обобщенная периодограмма Ломба – Скаргла

Стандартная периодограмма Ломба – Скаргла действительна только для модели с нулевым средним. Обычно это аппроксимируется путем вычитания среднего значения данных перед расчетом периодограммы. Однако это неточное предположение, когда среднее значение модели (подогнанные синусоиды) не равно нулю. Обобщенная . периодограмма Ломба – Скаргла устраняет это предположение и явно определяет среднее значение В этом случае устанавливается функция

$\phi (t)=A\sin \omega t+B\cos \omega t+C.$

Обобщенная периодограмма Ломба – Скаргла также упоминается в литературе как периодограмма с плавающим средним .

Метод «быстрого ортогонального поиска» Коренберга.

Майкл Коренберг из Королевского университета в Кингстоне, Онтарио , разработал метод выбора разреженного набора компонентов из чрезмерно полного набора (например, синусоидальных компонентов для спектрального анализа), названный быстрым ортогональным поиском (FOS). Математически FOS использует слегка модифицированное разложение Холецкого в процессе уменьшения среднеквадратических ошибок (MSER), реализованное как инверсия разреженной матрицы . Как и другие методы LSSA, FOS позволяет избежать основного недостатка дискретного анализа Фурье, поэтому он может точно идентифицировать встроенные периодичности и превосходно работать с неравномерно расположенными данными. Метод быстрого ортогонального поиска применялся и для других задач, таких как идентификация нелинейных систем .

Метод хи-квадрата Палмера

Палмер разработал метод поиска функции, наиболее подходящей для любого выбранного количества гармоник, что дает больше свободы в поиске несинусоидальных гармонических функций. Это быстрый ( основанный на БПФ ) метод взвешенного анализа наименьших квадратов для произвольно расположенных данных с неравномерными стандартными ошибками. Доступен исходный код, реализующий эту технику. Поскольку данные часто не отбираются в дискретные промежутки времени с одинаковым интервалом, этот метод «создает» данные путем редкого заполнения массива временных рядов в моменты выборки. Все промежуточные точки сетки получают нулевой статистический вес, что эквивалентно наличию бесконечных полос ошибок время от времени между выборками.

Приложения

Бета-распределение для разных значений его параметров

Самая полезная функция LSSA — это возможность спектрального анализа неполных записей без необходимости манипулировать данными или изобретать несуществующие данные.

Величины LSSA в спектре отражают вклад частоты или периода в дисперсию временного ряда . выходного сигнала Как правило, определенные таким образом спектральные величины обеспечивают прямой режим уровня значимости . Альтернативно, спектральные величины в спектре Ваничека также могут быть выражены в дБ . Обратите внимание, что спектральные величины в спектре Ваничека следуют β-распределению .

Обратное преобразование LSSA Ваничека возможно, в чем легче всего убедиться, записав прямое преобразование в виде матрицы; обратная матрица (когда матрица не является сингулярной) или псевдообратная будет тогда обратным преобразованием; обратное будет точно соответствовать исходным данным, если выбранные синусоиды взаимно независимы в точках выборки и их количество равно количеству точек данных. Для метода периодограмм такой обратной процедуры не известно.

Выполнение

LSSA может быть реализован менее чем на одной странице кода MATLAB . По сути:

«Чтобы вычислить спектр методом наименьших квадратов, мы должны вычислить m спектральных значений… что включает в себя выполнение аппроксимации методом наименьших квадратов m раз, каждый раз, чтобы получить [спектральную мощность] для другой частоты»

Т.е. для каждой частоты в желаемом наборе частот функции синуса и косинуса оцениваются в моменты времени, соответствующие выборкам данных, и скалярные произведения данных вектора с векторами синусоиды берутся и соответствующим образом нормализуются; следуя методу, известному как периодограмма Ломба/Скаргла, временной сдвиг рассчитывается для каждой частоты, чтобы ортогонализировать компоненты синуса и косинуса перед скалярным произведением; наконец, мощность вычисляется на основе этих двух амплитудных компонентов. Этот же процесс реализует дискретное преобразование Фурье , когда данные равномерно распределены во времени, а выбранные частоты соответствуют целым числам циклов в конечной записи данных.

Этот метод обрабатывает каждую синусоидальную составляющую независимо или вне контекста, даже если они могут не быть ортогональными точкам данных; это оригинальный метод Ваничека. Кроме того, можно выполнить полную одновременную или контекстную аппроксимацию методом наименьших квадратов, решив матричное уравнение и разделив общую дисперсию данных между указанными частотами синусоиды. Такое матричное решение методом наименьших квадратов изначально доступно в MATLAB как оператор обратной косой черты .

Кроме того, одновременный или контекстный метод, в отличие от независимой или внеконтекстной версии (а также версии периодограммы, предложенной Ломбом), не может соответствовать большему количеству компонентов (синусов и косинусов), чем имеется выборок данных, поэтому что:

«...серьезные последствия также могут возникнуть, если выбранные частоты приведут к тому, что некоторые компоненты Фурье (триггерные функции) станут почти линейно зависимыми друг от друга, тем самым создавая плохо обусловленное или почти сингулярное N. Чтобы избежать такой плохой обусловленности, становится необходимо либо выбрать другой набор частот для оценки (например, равноотстоящие частоты), либо просто пренебречь корреляциями в N (т. е. недиагональными блоками) и оценить обратное преобразование наименьших квадратов отдельно для отдельных частот... "

С другой стороны, метод периодограммы Ломба может использовать сколь угодно большое количество или плотность частотных компонентов, как в стандартной периодограмме ; то есть частотная область может быть подвергнута передискретизации с произвольным коэффициентом. Однако, как упоминалось выше, следует иметь в виду, что упрощение Ломба и отклонение от критерия наименьших квадратов открыли в его методике серьезные источники ошибок, приводящие даже к ложным спектральным пикам.

В анализе Фурье, таком как преобразование Фурье и дискретное преобразование Фурье , все синусоиды, соответствующие данным, взаимно ортогональны, поэтому нет различия между простым внеконтекстным проецированием на основе скалярного произведения на базисные функции и внутренним проецированием. контекстная одновременная аппроксимация по методу наименьших квадратов; то есть не требуется никакого обращения матрицы для разделения дисперсии между ортогональными синусоидами разных частот по методу наименьших квадратов. В прошлом метод Фурье был для многих предпочтительным методом благодаря эффективной в обработке реализации быстрого преобразования Фурье , когда доступны полные записи данных с равноотстоящими отсчетами, и они также использовали семейство методов Фурье для анализа записей с пробелами, что, однако требовалось манипулировать и даже изобретать несуществующие данные только для того, чтобы иметь возможность запустить алгоритм на основе Фурье.

См. также

• Неравномерное дискретное преобразование Фурье
• Ортогональные функции
• СигСпец
• Синусоидальная модель
• Спектральная плотность
• Оценка спектральной плотности для конкурирующих альтернатив

Внешние ссылки

• Бесплатная загрузка пакета LSSA , FORTRAN, метод спектрального анализа методом наименьших квадратов Ваничека, из Университета Нью-Брансуика .
• Бесплатная загрузка пакета LSWAVE , MATLAB, включает в себя метод спектрального анализа Ваничека, разработанный Национальной геодезической службой США .