Озеро данных Azure
 | Эта статья нуждается в дополнительных цитатах для проверки . ( октябрь 2017 г. ) |
 | |
| Разработчик(и) | Майкрософт |
|---|---|
| Первоначальный выпуск | 16 ноября 2016 г |
| Доступно в | Английский |
| Тип | Служба хранения и аналитики данных |
| Веб-сайт | лазурный |
Озеро данных Azure [1] — это масштабируемый данных сервис хранения и аналитики . Служба размещена в Azure Microsoft , публичном облаке .
История
[ редактировать ]Служба Azure Data Lake была выпущена 16 ноября 2016 г. Она основана на COSMOS, [2] который используется для хранения и обработки данных для таких приложений, как Azure, AdCenter , Bing , MSN , Skype и Windows Live . В COSMOS имеется SQL -подобный механизм запросов под названием SCOPE, на основе которого был создан U-SQL. [2]
Хранилище озера данных Azure
[ редактировать ]Пользователи могут хранить структурированные, полуструктурированные или неструктурированные данные, полученные из приложений, включая социальные сети , реляционные данные , датчики, видео, веб-приложения, мобильные или настольные устройства. Одна учетная запись Azure Data Lake Storage может хранить триллионы [3] одного файла может превышать петабайт файлов, где размер .
Аналитика озера данных Azure
[ редактировать ]Azure Data Lake Analytics — это параллельная служба заданий по требованию. Система параллельной обработки основана на Microsoft Dryad . [4] Дриада может представлять произвольные направленные ациклические графы (DAG) вычислений. Data Lake Analytics предоставляет распределенную инфраструктуру, которая может динамически выделять или освобождать ресурсы, чтобы клиенты платили только за те услуги, которые они используют.
Azure Data Lake Analytics использует Apache YARN, часть Apache Hadoop , которая управляет управлением ресурсами в кластерах. Microsoft Azure Data Lake Store поддерживает любое приложение, использующее интерфейс распределенной файловой системы Hadoop (HDFS). [4]
U-SQL
[ редактировать ]Используя Data Lake Analytics, пользователи могут разрабатывать и запускать программы параллельного преобразования и обработки данных на U-SQL — языке запросов, сочетающем SQL с C# . U-SQL был разработан как развитие декларативного языка SQL с возможностью расширения за счет пользовательского кода, написанного на C#. U-SQL использует типы данных C# и язык выражений C#.
Выход на пенсию
[ редактировать ]В 2021 году Microsoft объявила о прекращении использования исходного хранилища Azure Data Lake Storage в 2024 году, которое теперь называется Gen1. Соответствующие технологии Azure Data Lake Analytics/U-SQL также выводятся из эксплуатации. [5] Azure Data Lake Storage Gen2, расширение Azure Storage, будет продолжать работать. [6] Предлагаемые технологии замены — Azure Synapse Analytics и Apache Spark. [7]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ «Озеро данных» . Microsoft Azure . Проверено 17 июня 2019 г.
- ^ Jump up to: а б Харрис, Деррик (5 февраля 2015 г.). «Почему открытие системы больших данных Cosmos будет правильным шагом для Microsoft» . gigaom.com . Проверено 27 июля 2017 г.
- ^ «Озеро данных | Microsoft Azure» . azure.microsoft.com . Проверено 15 сентября 2021 г.
- ^ Jump up to: а б Харрис, Эд. «Космос» (PDF) .
- ^ «Azure Data Lake Analytics будет прекращена 29 февраля 2024 г.» . Microsoft Azure . Проверено 7 декабря 2023 г.
- ^ «Объявление о прекращении использования — Azure Data Lake Storage Gen1» . Microsoft Azure . Проверено 7 декабря 2023 г.
- ^ «Миграция Azure Data Lake Analytics в Azure Synapse Analytics» . Microsoft Azure . Проверено 7 декабря 2023 г.