Сложная обработка событий

Обработка событий – это метод отслеживания и анализа (обработки) потоков информации (данных) о происходящих событиях (событиях), ^[1] и получение по ним заключения. Комплексная обработка событий ( CEP ) состоит из набора концепций и методов, разработанных в начале 1990-х годов для обработки событий в реальном времени и извлечения информации из потоков событий по мере их поступления. Целью комплексной обработки событий является выявление значимых событий (таких как возможности или угрозы). ^[2] в ситуациях реального времени и реагировать на них как можно быстрее.

Эти события могут происходить на различных уровнях организации в виде потенциальных клиентов, заказов или звонков в службу поддержки клиентов . Или это могут быть новости, ^[3] текстовые сообщения , в социальных сетях публикации , новости фондового рынка , отчеты о дорожном движении , прогнозы погоды или другие виды данных. ^[1] Событие также можно определить как «изменение состояния», когда измерение превышает заранее определенный порог времени, температуры или другого значения.

Аналитики предполагают, что CEP предоставит организациям новый способ анализа закономерностей в режиме реального времени и поможет бизнесу лучше взаимодействовать с отделами ИТ и обслуживания. ^[4] С тех пор CEP стала технологией, позволяющей использовать многие системы, которые используются для принятия немедленных мер в ответ на входящие потоки событий. В настоящее время (2018 г.) можно найти приложения во многих секторах бизнеса, включая торговые системы на фондовом рынке, мобильные устройства , интернет-операции, обнаружение мошенничества , транспортную отрасль и сбор правительственной разведки .

Огромный объем доступной информации о событиях иногда называют облаком событий. ^[1]

Концептуальное описание

Среди тысяч входящих событий система мониторинга может, например, получить из одного источника следующие три:

звон церковных колоколов.
появление мужчины в смокинге с женщиной в струящемся белом платье.
рис летит по воздуху.

По этим событиям система мониторинга может сделать вывод о сложном событии : свадьбе. CEP как метод помогает обнаруживать сложные события путем анализа и корреляции других событий: ^[5] колокольчики, мужчина и женщина в свадебных нарядах и рис, летящий по воздуху.

CEP опирается на ряд методов, ^[6] включая:

событий Обнаружение шаблонов
событий Абстракция
Фильтрация событий
Агрегация и преобразование событий
Моделирование иерархий событий
Обнаружение связей (таких как причинно-следственная связь , членство или время ) между событиями
Абстрагирование управляемых событиями процессов,

Коммерческие приложения CEP существуют в различных отраслях и включают обнаружение мошенничества с кредитными картами , мониторинг деловой активности и мониторинг безопасности. ^[7]

История

Область CEP уходит корнями в моделирование дискретных событий , область активных баз данных и некоторые языки программирования. Активности в отрасли предшествовала волна исследовательских проектов в 1990-х годах. В соответствии с ^[8] Первым проектом, который проложил путь к общему языку CEP и модели исполнения, был проект Rapide в Стэнфордском университете под руководством Дэвида Лакхэма . Параллельно действовали еще два исследовательских проекта: «Инфосферы» в Калифорнийском технологическом институте под руководством К. Мани Чанди и «Апама» в Кембриджском университете под руководством Джона Бейтса. Коммерческие продукты зависели от концепций, разработанных в этих и некоторых более поздних исследовательских проектах. Усилия сообщества начались с серии симпозиумов по обработке событий, организованных Техническим обществом обработки событий , а затем с серии конференций ACM DEBS. Одной из усилий сообщества была разработка манифеста обработки событий. ^[9]

Связанные понятия

CEP используется в продуктах оперативного интеллекта (OI) для обеспечения понимания бизнес-операций путем анализа запросов на основе живых каналов и данных о событиях. OI собирает данные в режиме реального времени и сопоставляет их с историческими данными, чтобы обеспечить понимание и анализ. Несколько источников данных могут быть объединены для создания общей оперативной картины, использующей текущую информацию.

В управлении сетями , системами , приложениями и услугами люди обычно обращаются к корреляции событий . Являясь механизмами CEP, механизмы корреляции событий ( корреляторы событий ) анализируют массу событий, определяют наиболее значимые из них и инициируют действия. Однако большинство из них не производят новых предполагаемых событий. Вместо этого они связывают события высокого уровня с событиями низкого уровня. ^[10]

Механизмы вывода , например, механизмы рассуждения на основе правил , обычно производят выведенную информацию с помощью искусственного интеллекта . Однако они обычно не производят новую информацию в форме сложных (то есть предполагаемых) событий.

Пример

Более системный пример CEP включает в себя автомобиль, некоторые датчики и различные события и реакции. Представьте, что в автомобиле есть несколько датчиков: один измеряет давление в шинах, другой измеряет скорость и третий определяет, садится ли кто-то на сиденье или покидает его.

В первой ситуации автомобиль движется, и давление в одной из шин меняется с 45 фунтов на квадратный дюйм до 41 фунт на квадратный дюйм в течение 15 минут. Когда давление в шине снижается, генерируется серия событий, содержащих данные о давлении в шине. Кроме того, генерируется серия событий, содержащих скорость автомобиля. Процессор событий автомобиля может обнаружить ситуацию, когда потеря давления в шинах в течение относительно длительного периода времени приводит к созданию события «lossOfTirePressure». Это новое событие может запустить процесс реакции, чтобы отметить потерю давления в журнале технического обслуживания автомобиля и предупредить водителя через портал автомобиля о том, что давление в шинах снизилось.

Во второй ситуации автомобиль движется и давление в одной из шин падает с 45 фунтов на квадратный дюйм до 20 фунтов на квадратный дюйм за 5 секунд. Обнаружена другая ситуация — возможно, потому, что потеря давления произошла в течение более короткого периода времени, или, возможно, потому, что разница в значениях между каждым событием превышала заранее определенный предел. Другая ситуация приводит к созданию нового события «blowOutTire». Это новое событие запускает другой процесс реакции, который немедленно предупреждает водителя и запускает процедуры бортового компьютера, которые помогают водителю остановить автомобиль, не теряя управления из-за заноса.

Кроме того, события, представляющие обнаруженные ситуации, также можно комбинировать с другими событиями для обнаружения более сложных ситуаций. Например, в финальной ситуации автомобиль движется нормально, но у него лопнуло колесо, в результате чего автомобиль вылетел с дороги и врезался в дерево, а водителя выбросило из автомобиля. Быстро обнаруживается ряд различных ситуаций. Комбинация «blowOutTire», «zeroSpeed» и «driverLeftSeat» в течение очень короткого периода времени приводит к обнаружению новой ситуации: «occupantThrownAccident». Несмотря на то, что не существует прямого измерения, которое могло бы окончательно определить, что водителя выбросило или произошла авария, комбинация событий позволяет обнаружить ситуацию и создать новое событие, обозначающее обнаруженную ситуацию. В этом суть сложного (или составного) события. Это сложно, потому что невозможно непосредственно определить ситуацию; нужно сделать вывод или сделать вывод, что ситуация возникла на основе комбинации других событий.

Интеграция с управлением бизнес-процессами

Естественным подходом для CEP было управление бизнес-процессами (BPM). ^[11] BPM фокусируется на сквозных бизнес-процессах, чтобы постоянно оптимизировать и согласовывать свою операционную среду.

Однако оптимизация бизнеса не зависит исключительно от его отдельных сквозных процессов. Казалось бы, несопоставимые процессы могут существенно влиять друг на друга. Рассмотрим этот сценарий:В аэрокосмической отрасли хорошей практикой является мониторинг поломок транспортных средств для выявления тенденций (определения потенциальных недостатков в производственных процессах, материалах и т. д.). Другой отдельный процесс отслеживает жизненные циклы текущих эксплуатируемых транспортных средств и при необходимости выводит их из эксплуатации. Одним из вариантов использования CEP является объединение этих отдельных процессов, чтобы в случае начального процесса (мониторинг поломок) обнаружения неисправности, связанной с усталостью металла (значительное событие), можно было создать действие для использования второго процесса (жизненный цикл ) для отзыва транспортных средств, в которых использовалась та же партия металла, которая была признана неисправной в первоначальном процессе.

Интеграция CEP и BPM должна существовать на двух уровнях: как на уровне осведомленности бизнеса (пользователи должны понимать потенциальные целостные преимущества их отдельных процессов), так и на технологическом уровне (необходим метод, с помощью которого CEP может взаимодействовать с внедрение BPM). Недавний обзор современного состояния интеграции CEP с BPM, который часто называют управлением бизнес-процессами, управляемым событиями, см. ^[12]

Роль CEP, ориентированная на вычисления, возможно, пересекается с технологией бизнес-правил.

Например, центры обслуживания клиентов используют CEP для анализа потока посещений и управления качеством обслуживания клиентов. Программное обеспечение CEP может учитывать информацию в реальном времени о миллионах событий (кликов или других взаимодействий) в секунду в приложениях бизнес-аналитики и других приложениях поддержки принятия решений . Эти « рекомендательные приложения » помогают агентам предоставлять персонализированное обслуживание, основанное на опыте каждого клиента. Приложение CEP может собирать данные о том, что в настоящее время делают клиенты по телефону или как они недавно взаимодействовали с компанией по другим различным каналам, в том числе в филиалах или в Интернете с помощью функций самообслуживания, обмена мгновенными сообщениями и электронной почты. Затем приложение анализирует общее качество обслуживания клиентов и рекомендует сценарии или следующие шаги, которые помогут агенту по телефону и, как мы надеемся, сделают клиента счастливым. ^[13]

Интеграция с базами данных временных рядов

База данных временных рядов — это программная система, оптимизированная для обработки данных, организованных по времени. Временные ряды — это конечные или бесконечные последовательности элементов данных, где каждый элемент имеет связанную с ним временную метку, а последовательность временных меток не убывает. Элементы временного ряда часто называют тиками. Временные метки не обязательно должны быть возрастающими (просто неубывающими), поскольку на практике временное разрешение некоторых систем, таких как источники финансовых данных, может быть довольно низким (миллисекунды, микросекунды или даже наносекунды), поэтому последовательные события могут иметь одинаковые временные метки.

Данные временных рядов обеспечивают исторический контекст анализа, обычно связанного со сложной обработкой событий. Это может применяться к любой вертикальной отрасли, такой как финансы. ^[14] и совместно с другими технологиями, такими как BPM.

Идеальным случаем для анализа CEP является просмотр исторических временных рядов и потоковых данных в реальном времени как единого временного континуума. То, что произошло вчера, на прошлой неделе или в прошлом месяце, является просто продолжением того, что происходит сегодня и того, что может произойти в будущем. Примером может служить сравнение текущих рыночных объемов с историческими объемами, ценами и волатильностью для логики исполнения сделок. Или необходимость действовать в соответствии с реальными рыночными ценами может включать в себя сравнения с эталонными показателями, которые включают движения секторов и индексов, чьи внутридневные и исторические тенденции определяют волатильность и сглаживают выбросы.

Интернет вещей и умные киберфизические системы

Обработка сложных событий является ключевым фактором в настройках Интернета вещей (IoT), а интеллектуальных киберфизических систем также (CPS). Обработка плотных и неоднородных потоков от различных датчиков и сопоставление шаблонов с этими потоками является типичной задачей в таких случаях. ^[15] Большинство этих методов основаны на том факте, что представление состояния системы Интернета вещей и ее изменений более эффективно в форме потока данных, а не в виде статической материализованной модели. Рассуждения над такими потоковыми моделями фундаментально отличаются от традиционных методов рассуждения и обычно требуют сочетания преобразований модели и CEP. ^[16]

См. также

Корреляция событий
Архитектура, управляемая событиями (EDA) — это шаблон архитектуры программного обеспечения, способствующий созданию, обнаружению, потреблению событий и реагированию на них.
SEDA — поэтапная, управляемая событиями архитектура, разбивает сложную, управляемую событиями архитектуру на этапы.
Техническое общество обработки событий (EPTS) — сообщество, представляющее интересы по обработке событий.
Обработка потока событий (ESP) — это родственная технология, которая фокусируется на обработке потоков связанных данных.
Язык кинетических правил — (KRL) — это язык правил «событие-условие-действие» со встроенным сложным языком выражения событий.
Оперативная разведка . И CEP, и ESP являются технологиями, лежащими в основе оперативной разведки.
Сопоставление с образцом
Бизнес-аналитика в реальном времени. Бизнес-аналитика — это применение знаний, полученных из систем CEP.
Вычисления в реальном времени . Системы CEP обычно представляют собой системы реального времени.
Предприятие в реальном времени

Продавцы и продукты

Apama от Software AG — отслеживает быстро движущиеся потоки событий, обнаруживает и анализирует важные закономерности и принимает меры в соответствии с правилами. ^[17]
Azure Stream Analytics
слюни фьюжн
Esper для Java и C# (GPLv2). Комплексная обработка событий
Фидзай - Пульс
Microsoft StreamInsight Microsoft CEP Engine Реализация ^[18]
openPDC — Набор приложений для обработки потоковых данных временных рядов в режиме реального времени.
Oracle Event Processing — для создания приложений для фильтрации, корреляции и обработки событий в реальном времени.
SAP ESP — платформа быстрой разработки и развертывания с низкой задержкой, позволяющая обрабатывать несколько потоков данных в режиме реального времени. ^[19]
SQLstream Платформа потоковой обработки SQLstream, s-Server, представляет собой платформу реляционных потоковых вычислений для анализа больших объемов данных служб, датчиков, машин и файлов журналов в режиме реального времени.
TIBCO BusinessEvents & Streambase — платформа CEP и высокопроизводительная обработка потоков событий с малой задержкой
Бизнес-мероприятия WebSphere
Apache Flink Платформа распределенной обработки потоков с открытым исходным кодом и CEP API ^[20] для Java и Scala.
Apache Storm Бесплатная распределенная система вычислений в реальном времени с открытым исходным кодом. Storm обрабатывает неограниченные потоки данных в режиме реального времени.

Ссылки

^ Jump up to: ^а ^б ^с Лакхэм, Дэвид К. (2012). Обработка событий для бизнеса: организация предприятия в режиме реального времени . Хобокен, Нью-Джерси: John Wiley & Sons, Inc., с. 3. ISBN 978-0-470-53485-4 .
^ Бейтс, Джон (15 июня 2011 г.), Джон Бейтс из Progress объясняет, как работает сложная обработка событий и как она может упростить использование алгоритмов для поиска и использования торговых возможностей , Fix Global Trading , получено 14 мая 2012 г.
^ Кросман, Пенни (18 мая 2009 г.), Алери, Ravenpack для подачи новостей в торговые алгоритмы , Уолл-стрит и технологии ^{[ постоянная мертвая ссылка ]}
^ Маккей, Лорен (13 августа 2009 г.), Forrester приветствует сложную обработку событий , Destination CRM
^ Д. Лакхэм, «Сила событий: введение в сложную обработку событий в распределенных корпоративных системах», Аддисон-Уэсли, 2002.
^ О. Эцион и П. Ниблетт, «Обработка событий в действии», Manning Publications, 2010.
^ Подробная информация о коммерческих продуктах и вариантах использования.
^ Ливит, Нил (апрель 2009 г.), Обработка сложных событий, готовая к росту , Компьютер, том. 42, нет. 4, стр. 17–20 Вашингтон.
^ Чанди, Мани К.; Эцион, Офер; Аммон, Райнер фон (22 декабря 2017 г.). Чанди, К. Мани; Эцион, Офер; Аммон, Райнер фон (ред.). «10201 Резюме и манифест – обработка событий» . Drops-Idn/V2/Document/10.4230/Dagsemproc.10201.1 . Материалы семинара Дагштуля. 10201 . Замок Дагштуль - Центр компьютерных наук Лейбница, Германия: 1–60. doi : 10.4230/DagSemProc.10201.1 – через сервер онлайн-публикаций Dagstuhl Research.
^ Дж. П. Мартин-Флатин, Г. Якобсон и Л. Льюис, «Корреляция событий в интегрированном управлении: извлеченные уроки и перспективы», Журнал сетевого и системного управления, Vol. 17, № 4, декабрь 2007 г.
^ К. Яниш, М. Мацнер и О. Мюллер: «План событийно-ориентированного управления деловой активностью», Конспекты лекций по информатике, 2011, том 6896/2011, 17-28, дои : 10.1007/978-3-642-23059-2_4
^ Дж. Крумейх, Б. Вайс, Д. Верт и П. Лоос: «Событийно-ориентированное управление бизнес-процессами: где мы сейчас?: Комплексный синтез и анализ литературы», Business Process Management Journal, 2014, Том 20, 615-633, два : 10.1108/BPMJ-07-2013-0092
^ Кобелус, Джеймс (сентябрь 2008 г.), Really Happy in Real Time , Destination CRM
^ «Временные ряды в финансах» . cs.nyu.edu .
^ «Балог, Давид, Рат, Варро, Ворош: Распределенный и гетерогенный мониторинг на основе событий в интеллектуальных киберфизических системах, на 1-м семинаре по мониторингу и тестированию киберфизических систем, Вена, Австрия. 2016» .
^ И. Давид, И. Рат, Д. Варро: Основы преобразований потоковых моделей посредством сложной обработки событий, Международный журнал по программному обеспечению и системному моделированию, стр. 1–28, 2016. дои : 10.1007/s10270-016-0533-1
^ Обзор аналитики в реальном времени Apama. Архивировано 25 октября 2015 г. на Wayback Machine . Softwareag.com. Проверено 18 сентября 2013 г.
^ «Майкрософт СтримИнсайт» . technet.microsoft.com . 28 июля 2016 г.
^ «SAP ESP — Сообщество разработчиков» . Архивировано из оригинала 05 января 2015 г. Проверено 17 июля 2014 г.
^ «Документация Apache Flink 1.2: FlinkCEP — сложная обработка событий для Flink» . ci.apache.org .

[LuckhamD-1] Jump up to: ^а ^б ^с Лакхэм, Дэвид К. (2012). Обработка событий для бизнеса: организация предприятия в режиме реального времени . Хобокен, Нью-Джерси: John Wiley & Sons, Inc., с. 3. ISBN 978-0-470-53485-4 .

[Bates-2] Бейтс, Джон (15 июня 2011 г.), Джон Бейтс из Progress объясняет, как работает сложная обработка событий и как она может упростить использование алгоритмов для поиска и использования торговых возможностей , Fix Global Trading , получено 14 мая 2012 г.

[3] Кросман, Пенни (18 мая 2009 г.), Алери, Ravenpack для подачи новостей в торговые алгоритмы , Уолл-стрит и технологии ^{[ постоянная мертвая ссылка ]}

[4] Маккей, Лорен (13 августа 2009 г.), Forrester приветствует сложную обработку событий , Destination CRM

[5] Д. Лакхэм, «Сила событий: введение в сложную обработку событий в распределенных корпоративных системах», Аддисон-Уэсли, 2002.

[6] О. Эцион и П. Ниблетт, «Обработка событий в действии», Manning Publications, 2010.

[7] Подробная информация о коммерческих продуктах и вариантах использования.

[8] Ливит, Нил (апрель 2009 г.), Обработка сложных событий, готовая к росту , Компьютер, том. 42, нет. 4, стр. 17–20 Вашингтон.

[9] Чанди, Мани К.; Эцион, Офер; Аммон, Райнер фон (22 декабря 2017 г.). Чанди, К. Мани; Эцион, Офер; Аммон, Райнер фон (ред.). «10201 Резюме и манифест – обработка событий» . Drops-Idn/V2/Document/10.4230/Dagsemproc.10201.1 . Материалы семинара Дагштуля. 10201 . Замок Дагштуль - Центр компьютерных наук Лейбница, Германия: 1–60. doi : 10.4230/DagSemProc.10201.1 – через сервер онлайн-публикаций Dagstuhl Research.

[10] Дж. П. Мартин-Флатин, Г. Якобсон и Л. Льюис, «Корреляция событий в интегрированном управлении: извлеченные уроки и перспективы», Журнал сетевого и системного управления, Vol. 17, № 4, декабрь 2007 г.

[11] К. Яниш, М. Мацнер и О. Мюллер: «План событийно-ориентированного управления деловой активностью», Конспекты лекций по информатике, 2011, том 6896/2011, 17-28, дои : 10.1007/978-3-642-23059-2_4

[12] Дж. Крумейх, Б. Вайс, Д. Верт и П. Лоос: «Событийно-ориентированное управление бизнес-процессами: где мы сейчас?: Комплексный синтез и анализ литературы», Business Process Management Journal, 2014, Том 20, 615-633, два : 10.1108/BPMJ-07-2013-0092

[13] Кобелус, Джеймс (сентябрь 2008 г.), Really Happy in Real Time , Destination CRM

[14] «Временные ряды в финансах» . cs.nyu.edu .

[15] «Балог, Давид, Рат, Варро, Ворош: Распределенный и гетерогенный мониторинг на основе событий в интеллектуальных киберфизических системах, на 1-м семинаре по мониторингу и тестированию киберфизических систем, Вена, Австрия. 2016» .

[16] И. Давид, И. Рат, Д. Варро: Основы преобразований потоковых моделей посредством сложной обработки событий, Международный журнал по программному обеспечению и системному моделированию, стр. 1–28, 2016. дои : 10.1007/s10270-016-0533-1

[17] Обзор аналитики в реальном времени Apama. Архивировано 25 октября 2015 г. на Wayback Machine . Softwareag.com. Проверено 18 сентября 2013 г.

[18] «Майкрософт СтримИнсайт» . technet.microsoft.com . 28 июля 2016 г.

[19] «SAP ESP — Сообщество разработчиков» . Архивировано из оригинала 05 января 2015 г. Проверено 17 июля 2014 г.

[20] «Документация Apache Flink 1.2: FlinkCEP — сложная обработка событий для Flink» . ci.apache.org .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]