AVT Алгоритм статистической фильтрации

Алгоритм статистической фильтрации AVT — это подход к улучшению качества необработанных данных, собранных из различных источников. Это наиболее эффективно в случаях, когда присутствует внутриполосный шум. В этих случаях AVT лучше фильтрует данные, чем полосовой фильтр или любая цифровая фильтрация, основанная на изменении.

Обычная фильтрация полезна, когда сигнал/данные имеют частоту, отличную от шума, и сигнал/данные разделяются/фильтруются посредством частотной дискриминации шума. Фильтрация частотной дискриминации выполняется с использованием фильтрации нижних частот, верхних частот и полосовой фильтрации, которая относится к критериям относительной частотной фильтрации, целевым для такой конфигурации. Эти фильтры создаются с использованием пассивных и активных компонентов и иногда реализуются с использованием программных алгоритмов, основанных на быстром преобразовании Фурье (БПФ).

Фильтрация AVT реализована программно, и ее внутренняя работа основана на статистическом анализе необработанных данных.

Когда частота сигнала/(частота распространения полезных данных) совпадает с частотой шума/(частота распространения зашумленных данных), мы имеем внутриполосный шум. В этих ситуациях фильтрация частотной дискриминации не работает, поскольку шум и полезный сигнал неразличимы, и здесь превосходит AVT. Для достижения фильтрации в таких условиях существует несколько методов/алгоритмов, которые кратко описаны ниже.

Алгоритм усреднения

1. Соберите n образцов данных
2. Рассчитать среднее значение собранных данных
3. Представление/запись результата как фактических данных

Медианный алгоритм

1. Соберите n образцов данных
2. Отсортируйте данные в порядке возрастания или убывания. Обратите внимание, что порядок не имеет значения
3. Выберите данные, которые оказались в позиции n /2, и представьте/запишите их как окончательный результат, представляющий выборку данных.

AVT algorithm

Внутренняя работа АВТ

Алгоритм AVT означает преобразование Антоняна Вардана, и его реализация описана ниже.

1. Соберите n образцов данных
2. Рассчитайте стандартное отклонение и среднее значение
3. Отбросьте любые данные, которые больше или меньше среднего ± одно стандартное отклонение.
4. Рассчитать среднее значение оставшихся данных
5. Представление/запись результата как фактического значения, представляющего выборку данных.

Этот алгоритм основан на амплитудной дискриминации и может легко отклонять любой шум, который не похож на реальный сигнал, а в противном случае статистически отличается от 1 стандартного отклонения сигнала. Обратите внимание, что этот тип фильтрации можно использовать в ситуациях, когда фактический шум окружающей среды заранее неизвестен. Обратите внимание, что в приведенных выше шагах предпочтительнее использовать медиану, чем среднее значение. Первоначально алгоритм AVT использовал среднее значение для сравнения его с результатами медианы в окне данных.

Сравнение алгоритмов фильтрации

Использование системы со значением сигнала 1 и добавленным шумом на уровнях 0,1% и 1% упростит количественную оценку производительности алгоритма. Р Скрипт используется для создания псевдослучайного шума, добавляемого к сигналу, и анализа результатов фильтрации с использованием нескольких алгоритмов. См. раздел «Уменьшение внутриполосного шума с помощью алгоритма AVT». статья для подробностей. Эти графики показывают, что алгоритм AVT обеспечивает лучшие результаты по сравнению с алгоритмами медианы и усреднения при использовании размера выборки данных 32, 64 и 128 значений. Обратите внимание, что этот график был создан путем анализа массива случайных данных из 10000 значений. Пример этих данных графически представлен ниже.
Из этого графика видно, что AVT превосходит другие алгоритмы фильтрации, предоставляя на 5–10 % более точные данные при анализе тех же наборов данных. Учитывая случайный характер шума, использованного в этом численном эксперименте, который граничит с наихудшим случаем, когда фактический уровень сигнала ниже окружающего шума, повышение точности обработки данных с помощью алгоритма AVT является значительным.

Варианты алгоритма AVT

Каскадный АВТ

В некоторых ситуациях лучшие результаты можно получить путем каскадирования нескольких этапов AVT-фильтрации. Это позволит получить единственное постоянное значение, которое можно использовать для оборудования с известными стабильными характеристиками, такого как термометры, термисторы и другие медленно действующие датчики.

Реверс АВТ

1. Соберите n образцов данных
2. Рассчитайте стандартное отклонение и среднее значение
3. Отбросьте любые данные, находящиеся в пределах одного стандартного отклонения ± среднего диапазона.
4. Рассчитать среднее значение оставшихся данных
5. Представление/запись результата как фактических данных

Это полезно для обнаружения мелких сигналов, близких к уровню фонового шума.

Обнаружение измененного/модифицированного изображения Юпитера с помощью фильтра изображения AVT

Возможные применения и использование

• Используйте для фильтрации данных, близких к уровню шума или ниже его.
• Используется при обнаружении планет для фильтрации необработанных данных с Кеплера (космического корабля).
• Отфильтруйте шум от источников звука, где все другие методы фильтрации ( фильтр нижних частот , фильтр верхних частот , полосовой фильтр , цифровой фильтр ) не работают.
• Предварительная обработка научных данных для анализа данных ( Гладкость ) перед построением графика ( см. График (графика) )
• Используется в SETI ( Поиск внеземного разума ) для обнаружения/отличения внеземных сигналов от космического фона.
• Используйте AVT в качестве алгоритма фильтрации изображений для обнаружения измененных изображений. Это изображение Юпитера, созданное с помощью этой программы, обнаруживающей изменения в исходном изображении, которое было изменено, чтобы сделать его визуально привлекательным с помощью фильтров.

  

Другая версия этого сравнения — обратный фильтр AVT, примененный к тому же исходному изображению Юпитера, где мы видим только ту измененную часть как шум, который был устранен алгоритмом AVT.

• Используйте AVT в качестве алгоритма фильтрации изображений, чтобы оценить плотность данных из изображений. На снимке туманности Столпы творения показана плотность данных на отфильтрованных изображениях Хаббла и Уэбба. Обратите внимание, что на изображении слева есть большие участки недостающих данных, отмеченные более простыми цветовыми узорами.

Основы создания: разница в плотности данных изображения обнаружена с помощью AVT, сравнивающего Уэбба и Хаббла

Ссылки

1. Джозеф, Фавис; Балинадоа, К.; Паоло Дар Сантос, Джеральд; Эсканилья, Рио; Дарелл К. Агуда, Джон; Рамона А. Алькантара, Массачусетс; Белен М. Робле, Мариэла; Ф. Бузер, Джомалин (5 мая 2020 г.). «Проектирование и внедрение системы мониторинга скорости воды на основе статистики гидроэнергетики и преобразования Антоняна Вардана (AVT)». 13-я Международная инженерно-исследовательская конференция (13-я Эврика 2019) . Том. 2233. с. 050003. дои : 10.1063/5.0002323 .
2. Виниций, Сене; Маурисио, Тосин; Дж., Мачадо; А., Бальбино (апрель 2019 г.). «Открытая база данных для точного обнаружения намерений верхних конечностей с использованием электромиографии и надежных машин экстремального обучения» . Датчики . 19 (8): 1864. Бибкод : 2019Senso..19.1864C . дои : 10.3390/s19081864 . ПМК   6515272 . ПМИД   31003524 .
3. Хорнсен, Винисиус; Бальбино, Александр (10 августа 2018 г.), «Использование улучшения репрезентативности сигнала сЭМГ для обеспечения надежности классификации движений верхних конечностей» , Biomedical Signal Processing and Control , 46 : 182–191, doi : 10.1016/j.bspc.2018.07.014 , ISSN   1746-8094 , S2CID   52071917
4. Хорн Сене, Виниций; Рушел дос Сантос, Рафаэль; Бальбино, Александр (18 июля 2018 г.). 2018 40-я ежегодная международная конференция Общества инженерии в медицине и биологии IEEE (EMBC) . Гонолулу, Гавайи, США: IEEE. стр. 5224–5227. дои : 10.1109/EMBC.2018.8513468 . ISBN  978-1-5386-3646-6 .
5. Алгоритм фильтрации изображений AVT в Python