✖


Jump to content

Обнаружение аномалий

Для более широкого освещения этой темы см. Outlier .
Часть серии о
Машинное обучение
и интеллектуальный анализ данных
Парадигмы
Проблемы
Кластеризация
Уменьшение размерности
Структурированное предсказание
Обнаружение аномалий
Искусственная нейронная сеть
Обучение с подкреплением
Обучение с людьми
Диагностика модели
Математические основы
Площадки машинного обучения
Похожие статьи

В данных анализе обнаружение аномалий (также называемое обнаружением выбросов , а иногда и обнаружением новизны ) обычно понимается как идентификация редких элементов, событий или наблюдений, которые значительно отклоняются от большинства данных и не соответствуют четко определенному стандарту. представление о нормальном поведении. [1] Подобные примеры могут вызвать подозрения в том, что они созданы другим механизмом. [2] или кажутся несовместимыми с остальной частью этого набора данных. [3]

Обнаружение аномалий находит применение во многих областях, включая кибербезопасность , медицину , машинное зрение , статистику , нейробиологию , правоохранительную деятельность и финансовое мошенничество , и это лишь некоторые из них. Первоначально аномалии искались на предмет явного отклонения или исключения из данных, чтобы облегчить статистический анализ, например, для расчета среднего или стандартного отклонения. Их также удалили для улучшения прогнозов из таких моделей, как линейная регрессия, а в последнее время их удаление повышает производительность алгоритмов машинного обучения. Однако во многих приложениях интерес представляют сами аномалии, которые являются наиболее желательными наблюдениями во всем наборе данных, которые необходимо идентифицировать и отделить от шума или нерелевантных выбросов.

Существуют три широкие категории методов обнаружения аномалий. [1] Методы контролируемого обнаружения аномалий требуют набора данных, помеченных как «нормальные» и «ненормальные», и включают обучение классификатора. Однако этот подход редко используется при обнаружении аномалий из-за общей недоступности размеченных данных и присущей классам несбалансированной природы. Методы полуконтролируемого обнаружения аномалий предполагают, что некоторая часть данных помечена. Это может быть любая комбинация нормальных или аномальных данных, но чаще всего методы создают модель, представляющую нормальное поведение, из данного нормального набора обучающих данных, а затем проверяют вероятность того, что моделью будет сгенерирован тестовый экземпляр. Методы неконтролируемого обнаружения аномалий предполагают, что данные не имеют меток, и на сегодняшний день они используются наиболее часто из-за их более широкого и актуального применения.

Определение [ править ]

В сообществах статистиков и информатиков было предпринято множество попыток определить аномалию. К наиболее распространенным из них относятся следующие, и их можно разделить на три группы: неоднозначные, специфичные для метода с заранее определенными пороговыми значениями, обычно выбираемыми эмпирическим путем, и формально определенные:

Плохо определено [ править ]

  • Выброс — это наблюдение, которое настолько сильно отличается от других наблюдений, что вызывает подозрения, что оно было вызвано другим механизмом. [2]
  • Аномалии — это экземпляры или наборы данных, которые встречаются в наборе данных очень редко и характеристики которых значительно отличаются от большинства данных.
  • Выброс — это наблюдение (или подмножество наблюдений), которое кажется несовместимым с остальной частью этого набора данных. [3]
  • Аномалия — это точка или совокупность точек, относительно удаленная от других точек в многомерном пространстве объектов.
  • Аномалии — это закономерности в данных, которые не соответствуют четко определенному понятию нормального поведения. [1]

Конкретный [ править ]

  • Пусть T — это наблюдения одномерного распределения Гаусса, а O — точка из T. Тогда z-показатель для O больше заранее выбранного порога тогда и только тогда, когда O является выбросом.

в многомерном контексте Определение аномалий

В эпоху больших данных все больше внимания уделяется методологиям, способным справиться со сложностью и масштабом данных, выходя за рамки традиционных подходов к определению и обнаружению аномалий таким образом, чтобы это было одновременно эффективно и действенно для современных процессов принятия решений, основанных на данных. [4]

  • Аномалии в многомерных пространствах сложнее идентифицировать из-за разреженности данных и относительного расстояния между точками, которые становятся менее значимыми. [4]
  • Традиционные пороговые методы становятся менее эффективными по мере увеличения размерности, часто требуя более сложных методов многомерного анализа. [4]
  • Обнаружение аномалий большой размерности часто требует тщательного рассмотрения выбора признаков, чтобы уменьшить размерность и повысить чувствительность к истинным аномалиям. [4]

История [ править ]

Обнаружение вторжений [ править ]

Концепция обнаружения вторжений, важнейшего компонента обнаружения аномалий, со временем значительно изменилась. Первоначально это был ручной процесс, в ходе которого системные администраторы отслеживали необычные действия, такие как доступ к учетной записи пользователя, находящегося в отпуске, или непредвиденная активность принтера. Этот подход не поддавался масштабированию и вскоре был заменен анализом журналов аудита и системных журналов на наличие признаков вредоносного поведения. [5]

К концу 1970-х и началу 1980-х годов анализ этих журналов в основном использовался ретроспективно для расследования инцидентов, поскольку объем данных делал его непрактичным для мониторинга в реальном времени. Доступность цифрового хранилища в конечном итоге привела к тому, что журналы аудита стали анализироваться онлайн, а для анализа данных были разработаны специализированные программы. Однако эти программы обычно запускались в непиковые часы из-за их вычислительной интенсивности. [5]

В 1990-е годы появились системы обнаружения вторжений в режиме реального времени, способные анализировать данные аудита по мере их создания, что позволяет немедленно обнаруживать атаки и реагировать на них. Это ознаменовало значительный сдвиг в сторону превентивного обнаружения вторжений. [5]

Поскольку эта область продолжает развиваться, акцент сместился на создание решений, которые можно эффективно внедрить в больших и сложных сетевых средах, адаптируясь к постоянно растущему разнообразию угроз безопасности и динамическому характеру современных вычислительных инфраструктур. [5]

Приложения [ править ]

Обнаружение аномалий применимо в очень большом количестве и разнообразии областей и является важной областью машинного обучения без учителя. Таким образом, он имеет приложения в области кибербезопасности, обнаружения вторжений , обнаружения мошенничества , обнаружения неисправностей, мониторинга состояния системы, обнаружения событий в сенсорных сетях, обнаружения нарушений экосистемы, обнаружения дефектов в изображениях с использованием машинного зрения , медицинской диагностики и правоохранительной деятельности. [6]

Обнаружение вторжений [ править ]

Обнаружение аномалий было предложено для систем обнаружения вторжений (IDS) Дороти Деннинг в 1986 году. [7] Обнаружение аномалий для IDS обычно осуществляется с помощью пороговых значений и статистики, но также может быть выполнено с помощью мягких вычислений и индуктивного обучения. [8] Типы функций, предложенных в 1999 году, включали профили пользователей, рабочих станций, сетей, удаленных хостов, групп пользователей и программ, основанные на частотах, средних значениях, дисперсиях, ковариациях и стандартных отклонениях. [9] Аналогом обнаружения аномалий при обнаружении вторжений является обнаружение злоупотреблений .

Обнаружение мошенничества в сфере финансовых технологий [ править ]

Обнаружение аномалий жизненно важно в сфере финансовых технологий для предотвращения мошенничества . [10] [11]

Предварительная обработка [ править ]

Предварительная обработка данных для устранения аномалий может стать важным шагом в анализе данных и выполняется по ряду причин. Статистические данные, такие как среднее и стандартное отклонение, становятся более точными после удаления аномалий, а также можно улучшить визуализацию данных. При контролируемом обучении удаление аномальных данных из набора данных часто приводит к статистически значимому увеличению точности. [12] [13]

Видеонаблюдение [ править ]

Обнаружение аномалий становится все более важным в сфере видеонаблюдения для повышения безопасности и безопасности. [14] [15] С появлением технологий глубокого обучения методы, использующие сверточные нейронные сети (CNN) и простые рекуррентные единицы (SRU), показали значительные перспективы в выявлении необычных действий или поведения в видеоданных. [14] Эти модели могут обрабатывать и анализировать обширные видеопотоки в режиме реального времени, распознавая закономерности, которые отклоняются от нормы и могут указывать на потенциальные угрозы безопасности или нарушения безопасности. [14]

ИТ-инфраструктура [ править ]

В управлении ИТ-инфраструктурой обнаружение аномалий имеет решающее значение для обеспечения бесперебойной работы и надежности услуг. [16] Такие методы, как библиотека ИТ-инфраструктуры (ITIL) и платформы мониторинга, используются для отслеживания и управления производительностью системы и пользовательским опытом. [16] Обнаружение аномалий может помочь выявить и предотвратить потенциальное снижение производительности или сбои системы, тем самым поддерживая производительность и эффективность бизнес-процессов. [16]

Системы Интернета вещей [ править ]

Обнаружение аномалий имеет решающее значение для безопасности и эффективности систем Интернета вещей (IoT). [17] Это помогает выявлять системные сбои и нарушения безопасности в сложных сетях устройств IoT. [17] Эти методы должны управлять данными в реальном времени, различными типами устройств и эффективно масштабироваться. Гарбе и др. [18] представили многоэтапную систему обнаружения аномалий, которая совершенствует традиционные методы за счет включения пространственной кластеризации, кластеризации на основе плотности и хеширования с учетом местоположения. Этот индивидуальный подход предназначен для лучшей обработки огромного и разнообразного характера данных Интернета вещей, тем самым повышая безопасность и эксплуатационную надежность в интеллектуальной инфраструктуре и промышленных системах Интернета вещей. [18]

Нефтяная промышленность [ править ]

Обнаружение аномалий имеет решающее значение в нефтяной промышленности для мониторинга критически важного оборудования. [19] Марти и др. использовали новый алгоритм сегментации для анализа данных датчиков для обнаружения аномалий в реальном времени. [19] Такой подход помогает оперативно выявлять и устранять любые отклонения в показаниях датчиков, обеспечивая надежность и безопасность нефтяных операций. [19]

Мониторинг нефте- и газопроводов [ править ]

В нефтегазовом секторе обнаружение аномалий имеет решающее значение не только для технического обслуживания и безопасности, но и для защиты окружающей среды. [20] Альджамель и др. предложить усовершенствованную модель на основе машинного обучения для обнаружения небольших утечек в нефте- и газопроводах — задача, которую традиционные методы могут упустить. [20]

Методы [ править ]

В литературе предложено множество методов обнаружения аномалий. [1] [21] Производительность методов обычно зависит от наборов данных. Например, некоторые из них могут подходить для обнаружения локальных выбросов, тогда как другие являются глобальными, и методы имеют мало систематических преимуществ перед другими при сравнении многих наборов данных. [22] [23] Почти все алгоритмы также требуют установки неинтуитивных параметров, критически важных для производительности и обычно неизвестных перед применением. Некоторые из популярных методов упомянуты ниже и разбиты на категории:

Статистический [ править ]

Без параметров [ править ]

Параметрический [ править ]

Плотность [ править ]

Нейронные сети [ править ]

  • Репликаторные нейронные сети , [36] автоэнкодеры , вариационные автоэнкодеры, [37] с длинной кратковременной памятью нейронные сети [38]
  • Байесовские сети [36]
  • Скрытые марковские модели (HMM) [36]
  • Определитель минимальной ковариации [39] [40]
  • Глубокое обучение [14]
    • Сверточные нейронные сети (CNN): CNN продемонстрировали исключительную производительность в области неконтролируемого обучения для обнаружения аномалий, особенно при анализе изображений и видеоданных. [14] Их способность автоматически и иерархически изучать пространственную иерархию объектов от шаблонов низкого до высокого уровня делает их особенно подходящими для обнаружения визуальных аномалий. Например, CNN можно обучить на наборах данных изображений выявлять нетипичные закономерности, указывающие на дефекты или ненормальные условия в сценариях промышленного контроля качества. [41]
    • Простые рекуррентные единицы (SRU). В данных временных рядов SRU, тип рекуррентной нейронной сети, эффективно используются для обнаружения аномалий путем фиксации временных зависимостей и аномалий последовательности. [14] В отличие от традиционных RNN, SRU спроектированы так, чтобы быть более быстрыми и более распараллеливаемыми, предлагая лучшее соответствие для обнаружения аномалий в реальном времени в сложных системах, таких как динамичные финансовые рынки или прогнозируемое техническое обслуживание оборудования, где быстрое выявление временных нарушений имеет решающее значение. [42]

На основе кластеров [ править ]

Наборы [ править ]

Другие [ править ]

Обнаружение аномалий в динамических сетях [ править ]

Динамические сети, например, представляющие финансовые системы, взаимодействие в социальных сетях и транспортную инфраструктуру, подвержены постоянным изменениям, что делает обнаружение аномалий в них сложной задачей. В отличие от статических графов, динамические сети отражают развивающиеся отношения и состояния, требующие адаптивных методов обнаружения аномалий.

Виды аномалий в динамических сетях [ править ]

  1. Аномалии сообщества
  2. Аномалии сжатия
  3. Аномалии разложения
  4. Аномалии расстояний
  5. Аномалии вероятностной модели

Объяснимое обнаружение аномалий [ править ]

Многие из рассмотренных выше методов дают только прогнозирование оценки аномалии, что часто можно объяснить пользователям как точку, находящуюся в области низкой плотности данных (или относительно низкой плотности по сравнению с плотностью соседей). В объяснимом искусственном интеллекте пользователи требуют методов с более высокой объяснимостью. Некоторые методы позволяют дать более подробные пояснения:

  • Степень выброса подпространства (SOD) [31] идентифицирует атрибуты, в которых выборка является нормальной, и атрибуты, по которым выборка отклоняется от ожидаемой.
  • Вероятности корреляционных выбросов (COP) [32] вычислить вектор ошибок того, как точка выборки отклоняется от ожидаемого местоположения, что можно интерпретировать как контрфактическое объяснение: образец был бы нормальным, если бы его переместили в это место.

Программное обеспечение [ править ]

  • ELKI — это набор инструментов для интеллектуального анализа данных Java с открытым исходным кодом, который содержит несколько алгоритмов обнаружения аномалий, а также ускорение индексов для них.
  • PyOD — это библиотека Python с открытым исходным кодом, разработанная специально для обнаружения аномалий. [51]
  • scikit-learn — это библиотека Python с открытым исходным кодом, которая содержит некоторые алгоритмы для неконтролируемого обнаружения аномалий.
  • Wolfram Mathematica предоставляет функциональные возможности для неконтролируемого обнаружения аномалий в нескольких типах данных. [52]

Наборы данных [ править ]

См. также [ править ]

Ссылки [ править ]

  1. ↑ Перейти обратно: Перейти обратно: а б с д Чандола, В.; Банерджи, А.; Кумар, В. (2009). «Обнаружение аномалий: опрос». Обзоры вычислительной техники ACM . 41 (3): 1–58. дои : 10.1145/1541880.1541882 . S2CID   207172599 .
  2. ↑ Перейти обратно: Перейти обратно: а б Хокинс, Дуглас М. (1980). Идентификация выбросов . Спрингер. ISBN  978-0-412-21900-9 . OCLC   6912274 .
  3. ↑ Перейти обратно: Перейти обратно: а б Барнетт, Вик; Льюис, Льюис (1978). Выбросы в статистических данных . Уайли. ISBN  978-0-471-99599-9 . OCLC   1150938591 .
  4. ↑ Перейти обратно: Перейти обратно: а б с д Тудуму, Шрикант; Бранч, Филип; Джин, Цзюн; Сингх, Джагдатт (Джек) (2 июля 2020 г.). «Комплексный обзор методов обнаружения аномалий в больших объемах данных» . Журнал больших данных . 7 (1): 42. дои : 10.1186/s40537-020-00320-x . hdl : 10536/DRO/DU:30158643 . ISSN   2196-1115 .
  5. ↑ Перейти обратно: Перейти обратно: а б с д Кеммерер, РА; Винья, Г. (апрель 2002 г.). «Обнаружение вторжений: краткая история и обзор» . Компьютер . 35 (4): супл27–супл30. дои : 10.1109/mc.2002.1012428 . ISSN   0018-9162 .
  6. ^ Аггарвал, Чару (2017). Анализ выбросов . Издательская компания Springer, Incorporated. ISBN  978-3319475776 .
  7. ^ Деннинг, Делавэр (1987). «Модель обнаружения вторжений» (PDF) . Транзакции IEEE по разработке программного обеспечения . SE-13 (2): 222–232. CiteSeerX   10.1.1.102.5127 . дои : 10.1109/TSE.1987.232894 . S2CID   10028835 . Архивировано (PDF) из оригинала 22 июня 2015 г.
  8. ^ Тенг, HS; Чен, К.; Лу, Южная Каролина (1990). «Адаптивное обнаружение аномалий в реальном времени с использованием индуктивно генерируемых последовательных шаблонов». Слушания. Симпозиум компьютерного общества IEEE 1990 г. по исследованиям в области безопасности и конфиденциальности (PDF) . стр. 278–284. дои : 10.1109/RISP.1990.63857 . ISBN  978-0-8186-2060-7 . S2CID   35632142 .
  9. ^ Джонс, Анита К.; Силкен, Роберт С. (2000). «Обнаружение вторжений в компьютерные системы: исследование» . Технический отчет по информатике . Департамент компьютерных наук Университета Вирджинии: 1–25}.
  10. ^ Стоянович, Бранка; Божич, Йосип; Хофер-Шмитц, Катарина; Нарганг, Кай; Вебер, Андреас; Бадии, Атта; Сундарам, Махешкумар; Джордан, Эллиот; Руневич, Джоэл (январь 2021 г.). «Следуйте по следу: машинное обучение для обнаружения мошенничества в финтех-приложениях» . Датчики . 21 (5): 1594. Бибкод : 2021Senso..21.1594S . дои : 10.3390/s21051594 . ISSN   1424-8220 . ПМЦ   7956727 . PMID   33668773 .
  11. ^ Ахмед, Мохиуддин; Махмуд, Абдун Насер; Ислам, доктор Рафикуль (февраль 2016 г.). «Обзор методов обнаружения аномалий в финансовой сфере» . Компьютерные системы будущего поколения . 55 : 278–288. дои : 10.1016/j.future.2015.01.001 . ISSN   0167-739X . S2CID   204982937 .
  12. ^ Томек, Иван (1976). «Эксперимент с отредактированным правилом ближайшего соседа». Транзакции IEEE по системам, человеку и кибернетике . 6 (6): 448–452. дои : 10.1109/TSMC.1976.4309523 .
  13. ^ Смит, MR; Мартинес, Т. (2011). «Повышение точности классификации за счет выявления и удаления экземпляров, которые следует ошибочно классифицировать» (PDF) . Международная совместная конференция по нейронным сетям 2011 года . п. 2690. CiteSeerX   10.1.1.221.1371 . дои : 10.1109/IJCNN.2011.6033571 . ISBN  978-1-4244-9635-8 . S2CID   5809822 .
  14. ↑ Перейти обратно: Перейти обратно: а б с д и ж Касим, Марьям; Верду, Елена (01.06.2023). «Система обнаружения видеоаномалий с использованием глубоких сверточных и рекуррентных моделей» . Результаты по инженерному делу . 18 : 101026. doi : 10.1016/j.rineng.2023.101026 . ISSN   2590-1230 . S2CID   257728239 .
  15. ^ Чжан, Тан; Чоудери, Ааканша; Бахл, Парамвир (Виктор); Джеймисон, Кайл; Банерджи, Суман (07 сентября 2015 г.). «Проектирование и внедрение беспроводной системы видеонаблюдения» . Материалы 21-й ежегодной международной конференции по мобильным вычислениям и сетям . МобиКом '15. Нью-Йорк, штат Нью-Йорк, США: Ассоциация вычислительной техники. стр. 426–438. дои : 10.1145/2789168.2790123 . ISBN  978-1-4503-3619-2 . S2CID   12310150 .
  16. ↑ Перейти обратно: Перейти обратно: а б с Гоу, Ричард; Рабхи, Фетхи А.; Венугопал, Шрикумар (2018). «Обнаружение аномалий в сложных прикладных системах реального мира» . Транзакции IEEE по управлению сетями и услугами . 15 : 83–96. дои : 10.1109/TNSM.2017.2771403 . hdl : 1959.4/unsworks_73660 . S2CID   3883483 . Проверено 8 ноября 2023 г.
  17. ↑ Перейти обратно: Перейти обратно: а б Чаттерджи, Аян; Ахмед, Бестун С. (август 2022 г.). «Методы и приложения обнаружения аномалий Интернета вещей: обзор» . Интернет вещей . 19 : 100568. arXiv : 2207.09092 . дои : 10.1016/j.iot.2022.100568 . ISSN   2542-6605 . S2CID   250644468 .
  18. ↑ Перейти обратно: Перейти обратно: а б Гарг, Сахил; Каур, Кулджит; Батра, Шалини; Каддум, Жорж; Кумар, Нирадж; Букерш, Аззедин (01 марта 2020 г.). «Многоэтапная схема обнаружения аномалий для повышения безопасности в приложениях с поддержкой Интернета вещей» . Компьютерные системы будущего поколения . 104 : 105–118. дои : 10.1016/j.future.2019.09.038 . ISSN   0167-739X . S2CID   204077191 .
  19. ↑ Перейти обратно: Перейти обратно: а б с Марти, Луис; Санчес-Пи, Наят; Молина, Хосе Мануэль; Гарсия, Ана Кристина Бичарра (февраль 2015 г.). «Обнаружение аномалий на основе данных датчиков в приложениях нефтяной промышленности» . Датчики . 15 (2): 2774–2797. Бибкод : 2015Senso..15.2774M . дои : 10.3390/s150202774 . ISSN   1424-8220 . ПМЦ   4367333 . ПМИД   25633599 .
  20. ↑ Перейти обратно: Перейти обратно: а б Алджамиль, Сумайх С.; Аломари, Дорие М.; Алисмаил, Шата; Хавахер, Фатима; Альхудхайр, Альджавара А.; Альджубран, Фатима; Алзаннан, Разан М. (август 2022 г.). «Модель обнаружения аномалий для нефтегазопроводов с использованием машинного обучения» . Вычисление . 10 (8): 138. doi : 10.3390/computation10080138 . ISSN   2079-3197 .
  21. ^ Зимек, Артур ; Фильцмозер, Питер (2018). «Туда и обратно: обнаружение выбросов между статистическими рассуждениями и алгоритмами интеллектуального анализа данных» (PDF) . Междисциплинарные обзоры Wiley: интеллектуальный анализ данных и обнаружение знаний . 8 (6): e1280. дои : 10.1002/widm.1280 . ISSN   1942-4787 . S2CID   53305944 . Архивировано из оригинала (PDF) 14 ноября 2021 г. Проверено 9 декабря 2019 г.
  22. ^ Кампос, Гильерме О.; Зимек, Артур ; Сандер, Йорг; Кампелло, Рикардо Дж.Г.Б.; Миценкова, Барбора; Шуберт, Эрих; Согласен, Ира; Хоул, Майкл Э. (2016). «Об оценке неконтролируемого обнаружения выбросов: меры, наборы данных и эмпирическое исследование». Интеллектуальный анализ данных и обнаружение знаний . 30 (4): 891. doi : 10.1007/s10618-015-0444-8 . ISSN   1384-5810 . S2CID   1952214 .
  23. ^ Репозиторий эталонных данных по обнаружению аномалий Мюнхенского университета Людвига-Максимилиана ; Зеркало. Архивировано 31 марта 2022 г. в Wayback Machine в Университете Сан-Паулу .
  24. ^ Кнорр, Э.М.; Нг, РТ; Туцаков, В. (2000). «Выбросы на основе расстояния: алгоритмы и приложения». Журнал VLDB — международный журнал по очень большим базам данных . 8 (3–4): 237–253. CiteSeerX   10.1.1.43.1842 . дои : 10.1007/s007780050006 . S2CID   11707259 .
  25. ^ Рамасвами, С.; Растоги, Р.; Шим, К. (2000). Эффективные алгоритмы обнаружения выбросов из больших наборов данных . Материалы международной конференции ACM SIGMOD 2000 г. по управлению данными - SIGMOD '00. п. 427. дои : 10.1145/342009.335437 . ISBN  1-58113-217-4 .
  26. ^ Анджиулли, Ф.; Пиццути, К. (2002). Быстрое обнаружение выбросов в пространствах большой размерности . Принципы интеллектуального анализа данных и обнаружения знаний. Конспекты лекций по информатике. Том. 2431. с. 15. дои : 10.1007/3-540-45681-3_2 . ISBN  978-3-540-44037-6 .
  27. ^ Брюниг, ММ; Кригель, Х.-П. ; Нг, РТ; Сандер, Дж. (2000). LOF: Идентификация локальных выбросов на основе плотности (PDF) . Материалы Международной конференции ACM SIGMOD 2000 года по управлению данными . СИГМОД . стр. 93–104. дои : 10.1145/335191.335388 . ISBN  1-58113-217-4 .
  28. ^ Лю, Фэй Тони; Тинг, Кай Мин; Чжоу, Чжи-Хуа (декабрь 2008 г.). «Лес изоляции». 2008 г. Восьмая международная конференция IEEE по интеллектуальному анализу данных . стр. 413–422. дои : 10.1109/ICDM.2008.17 . ISBN  9780769535029 . S2CID   6505449 .
  29. ^ Лю, Фэй Тони; Тинг, Кай Мин; Чжоу, Чжи-Хуа (март 2012 г.). «Обнаружение аномалий на основе изоляции» . Транзакции ACM по извлечению знаний из данных . 6 (1): 1–39. дои : 10.1145/2133360.2133363 . S2CID   207193045 .
  30. ^ Шуберт, Э.; Зимек, А. ; Кригель, Х.-П. (2012). «Переосмысление обнаружения локальных выбросов: обобщенный взгляд на местность с приложениями для обнаружения пространственных, видео и сетевых выбросов». Интеллектуальный анализ данных и обнаружение знаний . 28 : 190–237. дои : 10.1007/s10618-012-0300-z . S2CID   19036098 .
  31. ↑ Перейти обратно: Перейти обратно: а б Кригель, HP ; Крегер, П.; Шуберт, Э.; Зимек, А. (2009). Обнаружение выбросов в осепараллельных подпространствах многомерных данных . Достижения в области обнаружения знаний и интеллектуального анализа данных. Конспекты лекций по информатике. Том. 5476. с. 831. дои : 10.1007/978-3-642-01307-2_86 . ISBN  978-3-642-01306-5 .
  32. ↑ Перейти обратно: Перейти обратно: а б Кригель, HP ; Крогер, П.; Шуберт, Э.; Зимек, А. (2012). Обнаружение выбросов в произвольно ориентированных подпространствах . 2012 IEEE 12-я Международная конференция по интеллектуальному анализу данных. п. 379. дои : 10.1109/ICDM.2012.21 . ISBN  978-1-4673-4649-8 .
  33. ^ Фанаи-Т, Х.; Гама, Дж. (2016). «Тензорное обнаружение аномалий: междисциплинарное исследование» . Системы, основанные на знаниях . 98 : 130–147. дои : 10.1016/j.knosys.2016.01.027 . S2CID   16368060 .
  34. ^ Зимек, А. ; Шуберт, Э.; Кригель, Х.-П. (2012). «Опрос по неконтролируемому обнаружению выбросов в многомерных числовых данных». Статистический анализ и интеллектуальный анализ данных . 5 (5): 363–387. дои : 10.1002/sam.11161 . S2CID   6724536 .
  35. ^ Шёлкопф, Б .; Платт, Дж. К.; Шоу-Тейлор, Дж.; Смола, Эй Джей; Уильямсон, Р.К. (2001). «Оценка поддержки многомерного распределения». Нейронные вычисления . 13 (7): 1443–71. CiteSeerX   10.1.1.4.4106 . дои : 10.1162/089976601750264965 . ПМИД   11440593 . S2CID   2110475 .
  36. ↑ Перейти обратно: Перейти обратно: а б с Хокинс, Саймон; Он, Хунсин; Уильямс, Грэм; Бакстер, Рохан (2002). «Обнаружение выбросов с использованием нейронных сетей-репликаторов». Хранилище данных и обнаружение знаний . Конспекты лекций по информатике. Том. 2454. стр. 170–180. CiteSeerX   10.1.1.12.3366 . дои : 10.1007/3-540-46145-0_17 . ISBN  978-3-540-44123-6 . S2CID   6436930 .
  37. ^ Ан, Дж.; Чо, С. (2015). «Обнаружение аномалий на основе вариационного автоэнкодера с использованием вероятности реконструкции» (PDF) . Специальная лекция по IE . 2 (1): 1–18. СНУДМ-ТР-2015-03.
  38. ^ Малхотра, Панкадж; Виг, Лавкеш; Шрофф, Гаутман; Агарвал, Пунит (22–24 апреля 2015 г.). Сети долговременной краткосрочной памяти для обнаружения аномалий во временных рядах . ESANN 2015: 23-й Европейский симпозиум по искусственным нейронным сетям, вычислительному интеллекту и машинному обучению. стр. 89–94. ISBN  978-2-87587-015-5 .
  39. ^ Хьюберт, Миа ; Дебрюйн, Мишель; Руссиу, Питер Дж. (2018). «Определитель минимальной ковариации и расширения» . ПРОВОДА Вычислительная статистика . 10 (3). arXiv : 1709.07045 . дои : 10.1002/wics.1421 . ISSN   1939-5108 . S2CID   67227041 .
  40. ^ Хьюберт, Миа ; Дебрюйн, Мишель (2010). «Определитель минимальной ковариации» . ПРОВОДА Вычислительная статистика . 2 (1): 36–43. дои : 10.1002/wics.61 . ISSN   1939-0068 . S2CID   123086172 .
  41. ^ Альзубайди, Лейт; Чжан, Цзинлань; Хумаиди, Амджад Дж.; Аль-Дуджайли, Аяд; Дуань, Е; Аль-Шамма, Омран; Сантамария, Дж.; Фадель, Мохаммед А.; Аль-Амиди, Мутана; Фархан, Лэйт (31 марта 2021 г.). «Обзор глубокого обучения: концепции, архитектуры CNN, проблемы, приложения, будущие направления» . Журнал больших данных . 8 (1): 53. дои : 10.1186/s40537-021-00444-8 . ISSN   2196-1115 . ПМК   8010506 . ПМИД   33816053 .
  42. ^ Белай, Мохаммед Аялев; Блэксет, Синдре Стенен; Рашид, Адиль; Сальво Росси, Пьерлуиджи (январь 2023 г.). «Неконтролируемое обнаружение аномалий для многомерных временных рядов на основе Интернета вещей: существующие решения, анализ производительности и будущие направления» . Датчики . 23 (5): 2844. Бибкод : 2023Senso..23.2844B . дои : 10.3390/s23052844 . ISSN   1424-8220 . ПМЦ   10007300 . ПМИД   36905048 .
  43. ^ Он, З.; Сюй, Х.; Дэн, С. (2003). «Обнаружение локальных выбросов на основе кластеров». Буквы для распознавания образов . 24 (9–10): 1641–1650. Бибкод : 2003PaReL..24.1641H . CiteSeerX   10.1.1.20.4242 . дои : 10.1016/S0167-8655(03)00003-5 .
  44. ^ Кампелло, RJGB; Мулави, Д.; Зимек, А. ; Сандер, Дж. (2015). «Оценки иерархической плотности для кластеризации данных, визуализации и обнаружения выбросов». Транзакции ACM по извлечению знаний из данных . 10 (1): 5:1–51. дои : 10.1145/2733381 . S2CID   2887636 .
  45. ^ Лазаревич А.; Кумар, В. (2005). «Объединение функций для обнаружения выбросов». Материалы одиннадцатой международной конференции ACM SIGKDD по обнаружению знаний в области интеллектуального анализа данных . стр. 157–166. CiteSeerX   10.1.1.399.425 . дои : 10.1145/1081870.1081891 . ISBN  978-1-59593-135-1 . S2CID   2054204 .
  46. ^ Нгуен, Х.В.; Анг, ХХ; Гопалкришнан, В. (2010). Анализ выбросов с помощью ансамбля гетерогенных детекторов на случайных подпространствах . Системы баз данных для продвинутых приложений. Конспекты лекций по информатике. Том. 5981. с. 368. дои : 10.1007/978-3-642-12026-8_29 . ISBN  978-3-642-12025-1 .
  47. ^ Кригель, HP ; Крегер, П.; Шуберт, Э.; Зимек, А. (2011). Интерпретация и унификация выбросов . Материалы Международной конференции SIAM 2011 по интеллектуальному анализу данных. стр. 13–24. CiteSeerX   10.1.1.232.2719 . дои : 10.1137/1.9781611972818.2 . ISBN  978-0-89871-992-5 .
  48. ^ Шуберт, Э.; Войдановский Р.; Зимек, А. ; Кригель, HP (2012). Об оценке рейтингов выбросов и оценок выбросов . Материалы Международной конференции SIAM 2012 по интеллектуальному анализу данных. стр. 1047–1058. дои : 10.1137/1.9781611972825.90 . ISBN  978-1-61197-232-0 .
  49. ^ Зимек, А. ; Кампелло, RJGB; Сандер, младший (2014). «Ансамбли для неконтролируемого обнаружения выбросов». Информационный бюллетень об исследованиях ACM SIGKDD . 15 :11–22. дои : 10.1145/2594473.2594476 . S2CID   8065347 .
  50. ^ Зимек, А. ; Кампелло, RJGB; Сандер, младший (2014). Возмущение данных для ансамблей обнаружения выбросов . Материалы 26-й Международной конференции по управлению научными и статистическими базами данных – SSDBM '14. п. 1. дои : 10.1145/2618243.2618257 . ISBN  978-1-4503-2722-0 .
  51. ^ Чжао, Юэ; Насрулла, Зейн; Ли, Чжэн (2019). «Pyod: набор инструментов Python для масштабируемого обнаружения выбросов» (PDF) . Журнал исследований машинного обучения . 20 . arXiv : 1901.01588 .
  52. ^ «Найти аномалии» . Документация по математике .
Retrieved from "https://en.wikipedia.org/w/index.php?title=Anomaly_detection&oldid=1228831264"
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 3f5f701791c11e49a7d376554189092e__1718270940
URL1:https://arc.ask3.ru/arc/aa/3f/2e/3f5f701791c11e49a7d376554189092e.html
Заголовок, (Title) документа по адресу, URL1:
Anomaly detection - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)