Адаптивный фильтр ядра
В обработке сигналов адаптивный фильтр ядра — это тип нелинейного адаптивного фильтра. [1] Адаптивный фильтр — это фильтр, который адаптирует свою передаточную функцию к изменениям свойств сигнала с течением времени путем минимизации функции ошибок или потерь , которая характеризует, насколько далеко фильтр отклоняется от идеального поведения. Процесс адаптации основан на обучении на основе последовательности образцов сигнала и, таким образом, представляет собой онлайн-алгоритм . Нелинейный адаптивный фильтр — это фильтр, в котором передаточная функция нелинейна.
Адаптивные фильтры ядра реализуют нелинейную передаточную функцию с использованием методов ядра . [1] В этих методах сигнал отображается в многомерное линейное пространство признаков , а нелинейная функция аппроксимируется как сумма по ядрам, областью определения которых является пространство признаков. Если это сделано в воспроизводящем ядерном гильбертовом пространстве , метод ядра может быть универсальным аппроксиматором нелинейной функции. Преимущество методов ядра состоит в том, что они имеют выпуклые функции потерь, не имеют локальных минимумов и являются лишь умеренно сложными в реализации.
Поскольку многомерное пространство признаков линейно, адаптивные фильтры ядра можно рассматривать как обобщение линейных адаптивных фильтров. Как и в случае с линейными адаптивными фильтрами, существует два общих подхода к адаптации фильтра: фильтр наименьших квадратов (LMS). [2] и рекурсивный фильтр наименьших квадратов (RLS). [3]
Самоорганизующиеся адаптивные фильтры ядра, которые используют итерацию для достижения минимизации ошибок выпуклого LMS, решают некоторые статистические и практические проблемы нелинейных моделей, которые не возникают в линейном случае. [4] Регуляризация является особенно важной функцией для нелинейных моделей, а также часто используется в линейных адаптивных фильтрах для уменьшения статистических неопределенностей. Однако поскольку нелинейные фильтры обычно имеют гораздо более высокую потенциальную структурную сложность (или пространство признаков большей размерности) по сравнению с фактически необходимым подпространством, определенная регуляризация должна иметь дело с недоопределенной моделью. Vapink Хотя некоторые конкретные формы регуляризации параметров, такие как предписанные SRM и SVM , в некоторой степени решают проблему размерности статистически, остаются дополнительные статистические и практические проблемы для действительно адаптивных нелинейных фильтров. Адаптивные фильтры часто используются для отслеживания поведения изменяющейся во времени системы или систем, которые невозможно полностью смоделировать на основе имеющихся данных и структуры, поэтому в моделях может потребоваться адаптация не только параметров, но и структуры.
Когда структурные параметры ядер извлекаются непосредственно из обрабатываемых данных (как в описанном выше подходе «Опорный вектор»), появляются удобные возможности для аналитически надежных методов самоорганизации ядер, доступных фильтру. Линеаризованное пространство признаков, создаваемое ядрами, позволяет линейно проецировать новые выборки на текущую структуру модели, где новизну новых данных можно легко отличить от ошибок, вызванных шумом, которые не должны приводить к изменению структуры модели. Аналитические метрики для анализа структуры можно использовать для экономного увеличения сложности модели, когда это необходимо, или для оптимального сокращения существующей структуры при достижении пределов ресурсов процессора. Обновления структуры также актуальны, когда обнаружены изменения в системе, и долговременная память модели должна быть обновлена, как и в случае с фильтром Калмана в линейных фильтрах.
Итеративный градиентный спуск, который обычно используется в адаптивных фильтрах, также приобрел популярность в автономном машинном обучении на основе опорных векторов в пакетном режиме из-за его вычислительной эффективности при обработке больших наборов данных. Сообщается о производительности обработки как временных рядов, так и пакетной обработки данных. [5] иметь возможность легко обрабатывать более 100 000 обучающих примеров, используя всего 10 КБ ОЗУ. Такие большие размеры данных затрудняют первоначальные формулировки машин опорных векторов и других методов ядра, которые, например, основывались на оптимизации с ограничениями с использованием методов линейного или квадратичного программирования.
Ссылки
[ редактировать ]- ^ Перейти обратно: а б Вэйфэн Лю; Джозеф К. Принс; Саймон Хайкин (март 2010 г.). Адаптивная фильтрация ядра: подробное введение (PDF) . Уайли. стр. 100-1 12–20. ISBN 978-0-470-44753-6 .
- ^ Лю, Вэйфэн; Похарел, ПП; Принсипи, Джей Си (01 февраля 2008 г.). «Алгоритм наименьших квадратов ядра». Транзакции IEEE по обработке сигналов . 56 (2): 543–554. Бибкод : 2008ITSP...56..543L . дои : 10.1109/TSP.2007.907881 . ISSN 1053-587X . S2CID 206797001 .
- ^ Энгель, Ю.; Маннор, С.; Меир, Р. (1 августа 2004 г.). «Ядро рекурсивного алгоритма наименьших квадратов». Транзакции IEEE по обработке сигналов . 52 (8): 2275–2285. Бибкод : 2004ITSP...52.2275E . дои : 10.1109/TSP.2004.830985 . ISSN 1053-587X . S2CID 10220028 .
- ^ Пьер Дрезе (2001). Методы ядра и их применение к системам идентификации и обработки сигналов (Диссертация).
- ^ Пьер Дрезе; Роберт Ф. Харрисон. «Метод онлайн-поддержки векторного обучения» . Шеффилдский университет.