Амазон Кинезис
| Разработчик(и) | Веб-сервисы Amazon |
|---|---|
| Первоначальный выпуск | ноябрь 2013 г. [1] |
| Операционная система | Веб-сервисы Amazon |
| Платформа | Облачные вычисления |
| Тип | Большие данные и потоковые данные |
| Лицензия | Собственное программное обеспечение |
| Веб-сайт | оу |
Amazon Kinesis — это семейство сервисов, предоставляемых Amazon Web Services в реальном времени (AWS) для обработки и анализа потоковых данных в больших масштабах. Запущенный в ноябре 2013 года, он предлагает разработчикам возможность создавать приложения, которые могут одновременно получать и обрабатывать данные из нескольких источников. [2] Kinesis поддерживает множество вариантов использования, включая аналитику в реальном времени, сбор данных журналов и событий, а также обработку данных, генерируемых устройствами Интернета вещей, в реальном времени.
История
[ редактировать ]Amazon Kinesis был запущен Amazon Web Services (AWS) в ноябре 2013 года как управляемый сервис для обработки и анализа потоковых данных в реальном времени в больших масштабах. [3] Услуга была введена для удовлетворения растущей потребности предприятий в обработке и анализе данных по мере их создания, а не в пакетном режиме, что позволяет получать ценную информацию и принимать решения в режиме реального времени.
С момента запуска семейство сервисов Amazon Kinesis расширилось и теперь включает четыре основных компонента: Kinesis Data Streams, Kinesis Data Firehose, Kinesis Data Analytics и Kinesis Video Streams. [4] Каждый из этих компонентов служит определенной цели при обработке и анализе потоковых данных в реальном времени.
В августе 2015 года AWS объявила о доступности Kinesis Data Firehose, полностью управляемого сервиса для доставки потоковых данных в реальном времени в такие места назначения, как Amazon S3, Amazon Redshift и Amazon Elasticsearch. [5] Год спустя, в августе 2016 года, AWS запустила Kinesis Data Analytics, позволяющую клиентам анализировать потоковые данные в режиме реального времени с помощью стандартных запросов SQL. [6]
AWS представила Kinesis Video Streams, полностью управляемый сервис для безопасного захвата, обработки и хранения видеопотоков для приложений аналитики и машинного обучения, который был представлен AWS в ноябре 2017 года. [7]
Компоненты
[ редактировать ]Amazon Kinesis состоит из четырех основных сервисов: Kinesis Data Streams, Kinesis Data Firehose, Kinesis Data Analytics и Kinesis Video Streams. [4]
Потоки данных Kinesis
[ редактировать ]Kinesis Data Streams — это масштабируемая и надежная служба потоковой передачи данных в реальном времени, которая собирает и обрабатывает гигабайты данных в секунду из нескольких источников. [8] Он обеспечивает хранение и обработку данных в режиме реального времени, что делает его полезным для приложений, требующих немедленного анализа, таких как мониторинг и оповещение.
Пожарный шланг данных Kinesis
[ редактировать ]Kinesis Data Firehose — это полностью управляемый сервис для доставки потоковых данных в реальном времени в такие места назначения, как Amazon S3 , Amazon Redshift , Amazon Elasticsearch и AWS . партнерские хранилища данных [9] С помощью Data Firehose пользователи могут настраивать и масштабировать доставку данных без ручного вмешательства.
Аналитика данных Кинезиса
[ редактировать ]Kinesis Data Analytics позволяет анализировать потоковые данные в режиме реального времени с помощью стандартного SQL или Apache Flink .
Видеопотоки Kinesis
[ редактировать ]Kinesis Video Streams — это полностью управляемый сервис для безопасного захвата, обработки и хранения видеопотоков для аналитики и машинного обучения. [10] Он поддерживает несколько видеокодеков и протоколов потоковой передачи, что делает его пригодным для различных случаев использования, таких как безопасность и наблюдение, устройства IoT с поддержкой видео и прямая трансляция событий.
Интеграция
[ редактировать ]Amazon Kinesis можно легко интегрировать с другими сервисами AWS, такими как AWS Lambda , Amazon S3 , Amazon Redshift и Amazon OpenSearch. Эта интеграция позволяет разработчикам создавать комплексные приложения для потоковой обработки данных, используя преимущества обширной экосистемы AWS. [11]
Варианты использования
[ редактировать ]Некоторые распространенные варианты использования Amazon Kinesis включают в себя: [2]
- Аналитика в реальном времени: анализ потоковых данных в режиме реального времени для немедленного получения ценной информации и принятия решений на основе данных.
- Сбор данных журналов и событий: сбор, обработка и анализ данных журналов и событий, генерируемых приложениями, инфраструктурой и устройствами. [12]
- Обработка данных Интернета вещей: обработка и анализ больших объемов данных, генерируемых устройствами Интернета вещей, в режиме реального времени. [13]
- Машинное обучение: прием и обработка видеопотоков для приложений машинного обучения, таких как распознавание объектов, распознавание лиц и анализ настроений.
Цены
[ редактировать ]Amazon Kinesis придерживается модели ценообразования с оплатой по мере использования, при этом затраты зависят от выбранной услуги, объема данных и необходимой вычислительной мощности. [14] AWS предоставляет бесплатный уровень для Kinesis Data Streams и Kinesis Data Firehose, что позволяет пользователям бесплатно начать работу с этими сервисами. [15]
См. также
[ редактировать ]- Апач Кафка
- Google Cloud Pub/Sub
- Центры событий Microsoft Azure
- Потоковая обработка
Ссылки
[ редактировать ]- ^ Джефф Барр (14 ноября 2013 г.). «Amazon Kinesis — обработка потоков в реальном времени» . Проверено 24 марта 2023 г.
- ^ Jump up to: а б Макота, Тарик; Магуайр, Брайан; Ганье, Дэнни; Чакрабарти, Раджив (31 марта 2021 г.). Масштабируемая потоковая передача данных с помощью Amazon Kinesis. Создавайте и защищайте высокодоступные и экономичные приложения потоковой передачи данных с помощью Amazon Kinesis . Packt Publishing Ltd. ISBN 978-1-80056-433-6 .
- ^ Джефф Барр (14 ноября 2013 г.). «Amazon Kinesis — обработка потоков в реальном времени» . Проверено 24 марта 2023 г.
- ^ Jump up to: а б «Амазон Кинезис» . Веб-сервисы Amazon . Проверено 24 марта 2023 г.
- ^ Джефф Барр (5 августа 2015 г.). «Amazon Kinesis Firehose — простой и масштабируемый прием данных» . Проверено 24 марта 2023 г.
- ^ Джефф Барр (11 августа 2016 г.). «Amazon Kinesis Analytics — обработка потоковых данных в реальном времени с помощью SQL» . Проверено 24 марта 2023 г.
- ^ Джефф Барр (27 ноября 2017 г.). «Видеопотоки Amazon Kinesis — бессерверный прием и хранение видео для приложений с поддержкой Vision» . Проверено 24 марта 2023 г.
- ^ «AWS запускает потоки данных Amazon Kinesis по требованию» . ИнфоQ . Проверено 25 марта 2023 г.
- ^ «Amazon выпускает Kinesis Firehose» . ИнфоQ . Проверено 25 марта 2023 г.
- ^ «Видеопотоки Amazon Kinesis» . Веб-сервисы Amazon . Проверено 24 марта 2023 г.
- ^ «Интеграция Amazon Kinesis» . Веб-сервисы Amazon . Проверено 24 марта 2023 г.
- ^ Шривастава, Маянк; Ядав, Праддуман (22 октября 2021 г.). «Создание решения для анализа журналов на AWS» . 2021 5-я Международная конференция по информационным системам и компьютерным сетям (ISCON) . стр. 1–5. дои : 10.1109/ISCON52037.2021.9702374 . ISBN 978-1-6654-0341-2 . S2CID 246870198 .
- ^ Квадри, Насрин Султана; Ядав, Кусум (25 апреля 2018 г.). «Эффективная классификация данных для устройств Интернета вещей с использованием платформы AWS Kinesis» . 2018 21-я Национальная компьютерная конференция Саудовского компьютерного общества (NCC) . стр. 1–5. дои : 10.1109/NCG.2018.8593105 . ISBN 978-1-5386-4110-1 . S2CID 57364493 .
- ^ «Цены на Amazon Kinesis» . Веб-сервисы Amazon . Проверено 24 марта 2023 г.
- ^ «Уровень бесплатного пользования AWS» . Веб-сервисы Amazon . Проверено 24 марта 2023 г.
