Непрерывная аналитика

Непрерывная аналитика — это процесс обработки данных , который отказывается от ETL и сложных конвейеров пакетной обработки данных в пользу облачных парадигм и парадигм микросервисов . Непрерывная обработка данных обеспечивает взаимодействие в реальном времени и немедленную аналитику с меньшими ресурсами.

Определенный

Аналитика — это применение математики и статистики к большим данным. Ученые, работающие с данными, пишут аналитические программы для поиска решений бизнес-задач, таких как прогнозирование спроса или установление оптимальной цены. Непрерывный подход использует несколько механизмов без сохранения состояния, которые одновременно обогащают, агрегируют, делают выводы и обрабатывают данные. Специалисты по данным, информационные панели и клиентские приложения имеют доступ к одним и тем же необработанным данным или производным данным в реальном времени с надлежащей безопасностью на основе идентификации, маскированием данных и управлением версиями в режиме реального времени.

Традиционно специалисты по обработке данных не входили в состав команд ИТ- разработчиков, как обычные Java -программисты. Это связано с тем, что их навыки выделяют их в своем собственном отделе, обычно не связанном с ИТ, то есть математикой, статистикой и наукой о данных. Поэтому логично заключить, что их подход к написанию программного кода не обладает той же эффективностью, что и традиционная команда программистов. В частности, традиционное программирование приняло подход непрерывной доставки к написанию кода и гибкую методологию . При этом выпуск программного обеспечения осуществляется по непрерывному циклу, называемому итерациями .

Таким образом, непрерывная аналитика — это расширение модели разработки программного обеспечения непрерывной доставки для больших данных группы разработчиков аналитики . Цель специалиста по непрерывной аналитике состоит в том, чтобы найти способы включить написание аналитического кода и установку программного обеспечения для работы с большими данными в гибкую модель разработки с автоматическим запуском модульных и функциональных тестов и созданием системы среды с помощью автоматизированных инструментов.

Чтобы сделать эту работу, нужно заставить специалистов по данным писать свой код в том же репозитории кода , который используют обычные программисты, чтобы программное обеспечение могло извлекать его оттуда и запускать в процессе сборки. Это также означает сохранение конфигурации кластера больших данных (набора виртуальных машин ) в каком-то репозитории. Это упрощает отправку аналитического кода, программного обеспечения и объектов для обработки больших данных таким же автоматизированным способом, как и процесс непрерывной интеграции.

Внешние ссылки

• Непрерывная аналитика
• Модель развития