Гибридная транзакционная/аналитическая обработка
Гибридная транзакционная/аналитическая обработка ( HTAP ) — это термин, введенный Gartner Inc. , исследовательской и консультационной компанией в области информационных технологий, в ее исследовательском отчете в начале 2014 года. Гибридная транзакционная/аналитическая обработка будет способствовать созданию возможностей для драматических бизнес-инноваций . [1] По определению Gartner:
Гибридная обработка транзакций/аналитики (HTAP) — это новая архитектура приложений, которая «ломает стену» между обработкой транзакций и аналитикой. Это позволяет принимать более обоснованные решения «в режиме реального времени». [2] [1]
В более поздних отчетах Gartner начал называть HTAP «расширенными транзакциями». [3] Другая аналитическая фирма Forrester Research называет ту же концепцию «транслитической». [4] в то время как 451 Group называет это «гибридной оперативной и аналитической обработкой» или HOAP. [5]
Фон
[ редактировать ]В 1960-х годах использование компьютеров в бизнес-секторе началось с расчетов заработной платы, а затем включало задачи в таких областях, как бухгалтерский учет и выставление счетов. В это время пользователи вводили данные, а система обрабатывала их позже . Дальнейшее развитие мгновенной обработки данных или онлайн-обработки транзакций (OLTP) привело к широкому использованию OLTP в информационных системах государственного и делового сектора. [6]
Онлайн-аналитическая обработка (OLAP) охватывает аналитическую обработку, связанную с созданием, синтезом и управлением данными. Поскольку спрос на данные среди предприятий растет, [ нужна ссылка ] OLAP также эволюционировал. Для удовлетворения потребностей приложений обе технологии зависят от собственных систем и различных архитектур. [7] [6] Из-за сложности информационной архитектуры и инфраструктуры систем OLTP и OLAP анализ данных задерживается. [7] [ нужна цитата для проверки ]
Преимущества и проблемы ПАУ
[ редактировать ]Существуют различные интерпретации HTAP, помимо первоначального определения Gartner; «развивающаяся архитектура». Эти интерпретации предлагают разные преимущества, одно из которых — функциональность базы данных. Последние достижения в области исследований, аппаратного обеспечения, возможностей OLTP и OLAP, технологий баз данных в памяти и облачных технологий, [8] масштабируемое управление транзакциями и продукты позволяют обработке транзакций и аналитике (HTAP) работать в одной и той же базе данных. [7] [9] [6]
Однако последние отчеты Gartner указывают на более широкие преимущества, чем может предложить единая унифицированная база данных. Традиционные архитектуры приложений разделяют транзакционные и аналитические системы. Цифровой бизнес и необходимость реагировать на деловые моменты означают, что использование анализа «постфактум» уже неадекватно. Деловые моменты — это временные возможности, которые необходимо использовать в реальном времени. Если организация не способна распознать и/или быстро отреагировать на деловой момент, приняв быстрые и хорошо обоснованные решения, то это сделает какая-то другая организация, что приведет к упущенной возможности (или новой угрозе для бизнеса). HTAP позволяет выполнять расширенный анализ данных транзакций в режиме реального времени, предоставляя архитектуру, которая позволяет пользователям более эффективно реагировать на бизнес-моменты. [10]
Основные технические проблемы базы данных HTAP заключаются в том, как обеспечить эффективность как операционных (множество небольших транзакций с высокой долей обновлений), так и аналитических рабочих нагрузок (большие и сложные запросы, проходящие через большое количество строк) в одной и той же системе базы данных, а также как предотвратить влияние аналитических запросов на оперативную рабочую нагрузку. Этот вид оперативной нагрузки также обычно называют оперативной аналитической обработкой .
HTAP решает проблему аналитической задержки несколькими способами, включая устранение необходимости в нескольких копиях одних и тех же данных и необходимости выгрузки данных из операционных баз данных в хранилища данных через процессы ETL . [7] [9]
Большинство приложений HTAP поддерживаются технологиями обработки в памяти, которые могут обрабатывать большие объемы транзакций и предлагают такие функции, как прогнозирование и моделирование. Новые технологии HTAP используют масштабируемую обработку транзакций и не требуют хранения всей базы данных в памяти. HTAP потенциально может изменить способ ведения бизнеса организациями, предлагая возможности немедленного принятия бизнес-решений на основе оперативной и сложной аналитики больших объемов данных. Лидеры правительства и бизнеса могут быть проинформированы в режиме реального времени о проблемах, результатах и тенденциях, которые требуют действий, например, в области общественной безопасности, управления рисками и обнаружения мошенничества. [7] [11]
Некоторые проблемы для HTAP включают ограниченный отраслевой опыт и навыки, а также неопределенные лучшие практики. [7]
В 2020 году команда PingCAP опубликовала первую в отрасли статью, описывающую практическую реализацию распределенной базы данных гибридной транзакционной/аналитической обработки (HTAP): TiDB : база данных HTAP на базе Raft. [12]
Ссылки
[ редактировать ]- ^ Перейти обратно: а б «Гибридная транзакция/аналитическая обработка откроют возможности для радикальных бизнес-инноваций» . Гартнер . 28 января 2014 года . Проверено 4 октября 2021 г.
- ^ «Рыночное руководство по технологиям вычислений в памяти с поддержкой HTAP» . www.gartner.com . Проверено 15 апреля 2017 г.
- ^ «Цикл ажиотажа в области управления данными, 2019» . Гартнер .
- ^ «Форрестер» . Форрестер .
- ^ https://mariadb.com/wp-content/uploads/2020/09/enterprises-turn-to-hoap-for-oltp-workloads_analyst-report_1088.pdf [ только URL-адрес PDF ]
- ^ Перейти обратно: а б с Бог, Аня. Бенчмаркинг транзакционных и аналитических систем обработки: создание эталонного теста для смешанной рабочей нагрузки и его применение Springer-Verlage Berlin Heidelberg. 2014 год
- ^ Перейти обратно: а б с д и ж Пеццини, Массимо; Фейнберг, Дональд; Рейнер, Найджел; Эджлали, Роксана. «Гибридная транзакция/аналитическая обработка откроют возможности для радикальных бизнес-инноваций». Гартнер. 28 января 2014 г.
- ^ «Azure Analytics: ясность в одно мгновение» . azure.microsoft.com . 19 мая 2020 г. Проверено 20 июня 2020 г.
- ^ Перейти обратно: а б Вулпе, Тоби. «SQL и NoSQL? Хорошо, но как сюда вписывается гибридная база данных?» ЗДНет. 12 мая 2014 г.
- ^ «Как реализовать инновации в цифровом бизнесе с помощью гибридных транзакций/аналитической обработки» . www.gartner.com . Проверено 15 апреля 2017 г.
- ^ Баер, Тони. «Быстрые данные выходят на скоростную полосу больших данных». ЗДНет. 16 апреля 2012 г.
- ^ «TiDB: база данных HTAP на базе Raft» (PDF) . Труды Фонда VLDB . 13 (12): 3072. дои : 10.14778/3415478.3415535 . ISSN 2150-8097 . S2CID 221666363 .