Обозреватель данных Azure
 | Эта статья может чрезмерно полагаться на источники, слишком тесно связанные с предметом , что потенциально препятствует тому, чтобы статья была проверяемой и нейтральной . ( Апрель 2020 г. ) |
 | |
| Разработчик(и) | Майкрософт |
|---|---|
| Первоначальный выпуск | 2018 |
| Платформа | Microsoft Azure |
| Тип | Облачное хранилище |
| Лицензия | Собственный |
| Веб-сайт | документы |
Azure Data Explorer — это полностью управляемый [1] больших данных для анализа облачная платформа [2] [3] и служба исследования данных , [4] разработанный Microsoft , [5] [6] который принимает структурированные , полуструктурированные (например, JSON ) и неструктурированные данные (например, свободный текст). [7] [8] [9] [10] Затем служба сохраняет эти данные и отвечает на специальные аналитические запросы с задержкой в несколько секунд. Это база данных полнотекстового индексирования и поиска, включая временных рядов. возможности анализа [6] [7] а также оценка регулярных выражений и анализ текста. [11]
Он предлагается как платформа как услуга (PaaS) как часть платформы Microsoft Azure . Продукт был анонсирован Microsoft в 2018 году.
История
[ редактировать ]Разработка продукта началась в 2014 году как массовый инкубационный проект в израильском центре исследований и разработок Microsoft. [12] с внутренним кодовым названием «Кусто» [9] [7] (назван в честь Жака Кусто , как отсылка к «исследованию океана данных»). Целью проекта было удовлетворение потребностей служб Azure в быстром и масштабируемом анализе журналов и телеметрии.
В 2016 году он стал серверной службой обработки больших данных и аналитики для Application Insights Analytics. [13]
Продукт был анонсирован как продукт Public Preview на конференции Microsoft Ignite 2018. [14] и был объявлен как общедоступный на конференции Microsoft Ignite в феврале 2019 года. [15]
В марте 2021 года стал общедоступным Kusto EngineV3, механизм хранения данных и запросов нового поколения Azure Data Explorer. Он был разработан для обеспечения беспрецедентной производительности при приеме и запросе телеметрии, журналов и данных временных рядов. [16]
Функции
[ редактировать ]Azure Data Explorer предлагает оптимизированный язык запросов и возможности визуализации. [17] своих данных с помощью SQL -подобного языка под названием KQL (Kusto Query Language). [18] [19] [20] ). [7] [8]
Azure Data Explorer может принимать 200 МБ в секунду на узел. [14] Методы приема данных — это конвейеры и соединители для общих служб, таких как Azure Event Grid или Azure Event Hub. [21] или программный прием с использованием SDK .
Визуализация данных может быть достигнута с помощью встроенной информационной панели или таких инструментов, как Power BI. [21] [22] или Графана . [23] [24]
Дизайн
[ редактировать ]Azure Data Explorer — это распределенная база данных, работающая в кластере вычислительных узлов в Microsoft Azure . Он основан на системах управления реляционными базами данных (СУРБД) и поддерживает такие объекты, как базы данных, таблицы , функции и столбцы. Он поддерживает сложные операторы аналитических запросов, такие как вычисляемые столбцы, поиск и фильтрация по строкам, группирование по агрегатам и соединения . [25]
Служба ядра предоставляет реляционную модель данных : на верхнем уровне ( кластере ) находится набор баз данных, каждая база данных содержит набор таблиц и хранимых функций. Каждая таблица определяет схему (упорядоченный список типизированных полей).
В Azure Data Explorer, в отличие от типичных систем управления реляционными базами данных (СУБД) , нет ограничений, таких как уникальность ключа, первичный и внешний ключ . [26] Необходимые отношения устанавливаются во время запроса. [27] Данные в Azure Data Explorer обычно соответствуют следующему шаблону: [28] Создание базы данных, прием данных, запрос к базе данных.
Ссылки
[ редактировать ]- ^ Серра, Джеймс (14 марта 2019 г.). «Обозреватель данных Azure» . Блог Джеймса Серры . Проверено 9 апреля 2020 г.
- ^ «Microsoft представляет Azure Data Lake Storage, Azure Data Explorer» . еНЕДЕЛЯ . Проверено 10 апреля 2020 г.
- ^ Могенис, Макс. «Что такое обозреватель данных Azure?» . blog.pragmaticworks.com . Проверено 21 марта 2020 г.
- ^ «Создание кластера и базы данных Azure Data Explorer в Azure» . www.c-sharpcorner.com . Проверено 9 апреля 2020 г.
- ^ Маки, Курт (20 сентября 2019 г.). «Скоро появятся обновленные инструменты для Office 365 и Microsoft Azure — Redmondmag.com» . Редмондмаг . Проверено 10 апреля 2020 г.
- ^ Jump up to: а б «Сравнение Microsoft Azure Data Explorer и базы данных SQL Microsoft Azure» . db-engines.com . Проверено 9 апреля 2020 г.
- ^ Jump up to: а б с д Махаджан, Гаури (27 февраля 2020 г.). «Azure Data Explorer для начинающих» . SQL Shack — статьи об аудите баз данных, производительности серверов, восстановлении данных и многом другом . Проверено 9 апреля 2020 г.
- ^ Jump up to: а б «Что такое Azure Data Explorer» . docs.microsoft.com . Проверено 6 декабря 2019 г.
- ^ Jump up to: а б Махаджан, Гаури (27 февраля 2020 г.). «Azure Data Explorer для начинающих» . SQL Shack — статьи об аудите баз данных, производительности серверов, восстановлении данных и многом другом . Проверено 21 марта 2020 г.
- ^ Лай, Алекс (14 января 2019 г.). «Что такое Azure Data Explorer и язык запросов Kusto (KQL)?» . Адатис . Проверено 10 апреля 2020 г.
- ^ «Azure Data Explorer — цифровая торговая площадка» . www.digitalmarketplace.service.gov.uk . Проверено 21 марта 2020 г.
- ^ «Майкрософт НИОКР» . www.microsoftrnd.co.il . Проверено 6 декабря 2019 г.
- ^ орспод. «Знакомство с аналитикой Application Insights» . devblogs.microsoft.com . Проверено 6 декабря 2019 г.
- ^ Jump up to: а б «Знакомство с Azure Data Explorer» . azure.microsoft.com . Проверено 6 декабря 2019 г.
- ^ «Общая доступность: Azure Data Explorer | Обновления Azure | Microsoft Azure» . azure.microsoft.com . Проверено 6 декабря 2019 г.
- ^ орспод. «Azure Data Explorer Kusto EngineV3» . docs.microsoft.com . Проверено 13 апреля 2021 г.
- ^ Браст, Эндрю. «Скорее всего, Microsoft станет партнером по аналитике в реальном времени с помощью Azure Data Explorer» . ЗДНет . Проверено 9 апреля 2020 г.
- ^ Маки, Курт (18 июля 2019 г.). «Microsoft предварительно просматривает данные Prometheus в Azure Monitor для контейнеров — Redmondmag.com» . Редмондмаг . Проверено 9 апреля 2020 г.
- ^ «Начало работы с языком запросов Kusto (KQL) – System.Blog.Martens.Ben» . blogs.msdn.microsoft.com . Проверено 6 декабря 2019 г.
- ^ «Изучение данных в Microsoft Azure с помощью языка запросов Kusto и обозревателя данных Azure» . www.pluralsight.com . Проверено 21 марта 2020 г.
- ^ Jump up to: а б «Архитектура конвейеров данных и аналитики в Azure» . Гартнер . Проверено 10 апреля 2020 г.
- ^ Махаджан, Гаури (27 февраля 2020 г.). «Azure Data Explorer для начинающих» . SQL Shack — статьи об аудите баз данных, производительности серверов, восстановлении данных и многом другом . Проверено 10 апреля 2020 г.
- ^ «Grafana или информационные панели Azure: какой использовать и когда?» . Технология CloudIQ . 10 декабря 2018 г. Проверено 10 апреля 2020 г.
- ^ «Плагин источника данных Azure Data Explorer для Grafana» . Графана Лабс . Проверено 10 апреля 2020 г.
- ^ орспод. «Начало работы с Kusto — Azure Data Explorer» . docs.microsoft.com . Проверено 6 декабря 2019 г.
- ^ «Сравнение GraphDB и Microsoft Azure Data Explorer» . db-engines.com . Проверено 10 апреля 2020 г.
- ^ «Azure Data Explorer: облачная платформа для анализа больших данных» (PDF) . Архивировано (PDF) из оригинала 6 декабря 2019 г.
- ^ Серра, Джеймс (14 марта 2019 г.). «Обозреватель данных Azure» . Блог Джеймса Серры . Проверено 21 марта 2020 г.