Амазонка S3
 | Техническое содержание этой статьи в значительной степени или полностью основано на документации Amazon.com. ( ноябрь 2018 г. ) |
 | |
Тип сайта | Облачное хранилище |
|---|---|
| Доступно в | Английский |
| Владелец | Amazon.com |
| URL-адрес | оу |
| IPv6 Поддержка | Да |
| Коммерческий | Да |
| Регистрация | Обязательно (включено в уровень бесплатного пользования) |
| Запущен | 14 марта 2006 г |
| Текущий статус | Активный |
Amazon Simple Storage Service ( S3 ) — это сервис, предлагаемый Amazon Web Services (AWS), который обеспечивает хранение объектов через интерфейс веб-сервиса . [ 1 ] [ 2 ] Amazon S3 использует ту же масштабируемую инфраструктуру хранения, которую Amazon.com использует для работы своей сети электронной коммерции. [ 3 ] Amazon S3 может хранить объекты любого типа, что позволяет использовать их в качестве хранилища для интернет-приложений, резервного копирования, аварийного восстановления, архивов данных, озер данных для аналитики и гибридного облачного хранилища . AWS запустила Amazon S3 в США 14 марта 2006 г. [ 1 ] [ 4 ] затем в Европе в ноябре 2007 года. [ 5 ]
Технические детали
[ редактировать ]Дизайн
[ редактировать ]Amazon S3 управляет данными с помощью хранения . объектной архитектуры [ 6 ] Целью которого является обеспечение масштабируемости , высокой доступности , низкой задержки и высокой надежности . [ 3 ] Базовыми единицами хранения Amazon S3 являются объекты, организованные в сегменты. Каждый объект идентифицируется уникальным ключом, назначаемым пользователем. [ 7 ] Корзинами можно управлять с помощью консоли Amazon S3, программно с помощью AWS SDK или интерфейса программирования приложений REST . объектов может достигать пяти терабайт . Размер [ 8 ] [ 9 ] Запросы авторизуются с использованием списка управления доступом, связанного с каждым сегментом объекта, и поддерживают управление версиями. [ 10 ] который по умолчанию отключен. [ 11 ] Поскольку сегменты обычно имеют размер всей файловой системы, смонтированной в других системах, эта схема управления доступом является очень грубой. Другими словами, уникальные элементы управления доступом не могут быть связаны с отдельными файлами. [ нужна ссылка ] Amazon S3 можно использовать для замены статической инфраструктуры веб-хостинга объектами, доступными для клиента HTTP. [ 12 ] поддержка индексных документов и поддержка документов с ошибками. [ 13 ] Механизм аутентификации Amazon AWS позволяет создавать аутентифицированные URL-адреса, действительные в течение определенного периода времени. Каждый элемент в корзине также может быть использован в качестве BitTorrent- канала. Магазин Amazon S3 может выступать в качестве исходного хоста для торрента , и любой клиент BitTorrent может получить файл. Это может значительно снизить стоимость полосы пропускания для загрузки популярных объектов. Корзину можно настроить для сохранения информации журнала HTTP в одноуровневой корзине; это можно использовать в операциях интеллектуального анализа данных . [ 14 ] Существуют различные файловые системы пользовательского режима (FUSE) для Unix-подобных операционных систем (например, Linux ), которые можно использовать для монтирования корзины S3 в качестве файловой системы. Семантика файловой системы Amazon S3 отличается от файловой системы POSIX , поэтому файловая система может вести себя не совсем так, как ожидалось. [ 15 ]
Классы хранилища Amazon S3
[ редактировать ]Amazon S3 предлагает девять различных классов хранилищ с разными уровнями надежности, доступности и требованиями к производительности. [ 16 ]
- Amazon S3 Standard используется по умолчанию. Это хранилище общего назначения для часто используемых данных.
- Amazon S3 Express One Zone — это хранилище с задержкой в одну цифру в миллисекундах для часто используемых данных и приложений, чувствительных к задержке. Он хранит данные только в одной зоне доступности. [ 17 ]
- Amazon S3 Standard-Infrequent Access (Standard-IA) предназначен для менее часто используемых данных, таких как резервные копии и данные аварийного восстановления.
- Amazon S3 One Zone-Infrequent Access (One Zone-IA) работает так же, как Standard-IA, но хранит данные только в одной зоне доступности.
- Amazon S3 Intelligent-Tiering автоматически перемещает объекты в более экономичный класс хранилища.
- Amazon S3 на Outposts обеспечивает хранилище для установок, не размещенных на Amazon.
- Amazon S3 Glacier Instant Retrival — это недорогое хранилище для данных, к которым редко обращаются, но которые все равно требуют быстрого извлечения.
- Гибкое извлечение Amazon S3 Glacier также является недорогим вариантом для долгоживущих данных; он предлагает 3 скорости поиска: от минут до часов.
- Amazon S3 Glacier Deep Archive — это самое дешевое хранилище для долгоживущих архивных данных, доступ к которым осуществляется реже одного раза в год и которые извлекаются асинхронно.
Вышеупомянутые классы хранилища Amazon S3 Glacier отличаются от Amazon Glacier , который представляет собой отдельный продукт со своими собственными API.
Ограничения размера файла
[ редактировать ]Объект в S3 может иметь размер от 0 байт до 5 ТБ. Если размер объекта превышает 5 ТБ, перед загрузкой его необходимо разделить на части. При загрузке Amazon S3 позволяет использовать максимум 5 ГБ за одну операцию загрузки; следовательно, объекты размером более 5 ГБ необходимо загружать через API многочастной загрузки S3. [ 18 ]
Использование
[ редактировать ]Известные пользователи
[ редактировать ]- Сервис фотохостинга SmugMug использует Amazon S3 с апреля 2006 года. У них был ряд первоначальных сбоев и замедлений, но через год они описали его как «значительно более надежный, чем наше собственное внутреннее хранилище» и заявили, что сэкономили почти 1 миллион долларов на этом сервисе. затраты на хранение. [ 19 ]
- Netflix использует Amazon S3 в качестве своей системы записи . Netflix внедрил инструмент S3mper, [ 20 ] Amazon S3 для устранения ограничений окончательной согласованности . [ 21 ] S3mper хранит метаданные файловой системы: имена файлов, структуру каталогов и разрешения в Amazon DynamoDB . [ 22 ]
- Reddit размещен на Amazon S3. [ 23 ]
- Биткаса , [ 24 ] и Тахо-ЛАФС -он-С3, [ 25 ] среди прочего используйте Amazon S3 для онлайн-сервисов резервного копирования и синхронизации. В 2016 году Dropbox прекратил использовать сервисы Amazon S3 и разработал собственный облачный сервер. [ 26 ] [ 27 ]
- Генеральный директор Swiftype упомянул, что компания использует Amazon S3. [ 28 ]
S3 API и конкурирующие сервисы
[ редактировать ]Широкое внедрение Amazon S3 и связанных с ним инструментов привело к появлению конкурирующих сервисов на основе S3 API. Эти службы используют стандартный интерфейс программирования, но различаются базовыми технологиями и бизнес-моделями. [ 29 ] Стандартный интерфейс обеспечивает лучшую конкуренцию со стороны конкурирующих поставщиков и, помимо других преимуществ, позволяет добиться эффекта масштаба при внедрении. [ 30 ]
История
[ редактировать ]
Amazon Web Services представила Amazon S3 в 2006 году. [ 31 ] [ 32 ]
| Дата | Количество хранящихся предметов |
|---|---|
| октябрь 2007 г. | 10 миллиардов [ 33 ] |
| Январь 2008 г. | 14 миллиардов [ 33 ] |
| октябрь 2008 г. | 29 миллиардов [ 34 ] |
| март 2009 г. | 52 миллиарда [ 35 ] |
| август 2009 г. | 64 миллиарда [ 36 ] |
| март 2010 г. | 102 миллиарда [ 37 ] |
| апрель 2013 г. | 2 триллиона [ 38 ] |
| март 2021 г. | 100 триллионов [ 39 ] |
| март 2023 г. | 280 триллионов [ 40 ] |
В ноябре 2017 года AWS добавила возможности шифрования по умолчанию на уровне сегмента. [ 41 ]
См. также
[ редактировать ]Ссылки
[ редактировать ]Цитаты
[ редактировать ]- ^ Перейти обратно: а б «Amazon Web Services запускает Amazon S3» ( пресс-релиз). 14 марта 2006 г. Архивировано из оригинала 15 ноября 2018 г. Проверено 14 ноября 2018 г.
- ^ Хуан, Дицзян; Ву, Хуэйцзюнь (08 сентября 2017 г.) основы и модели обслуживания . Морган Кауфманн, стр. 67. : 9780128096444 . Архивировано из оригинала 15 ноября 2018 г. Проверено 15 ноября 2018 г.
- ^ Перейти обратно: а б «Облачное объектное хранилище — храните и извлекайте данные где угодно — Amazon Simple Storage Service» . Amazon Веб-сервисы, Inc. Архивировано из оригинала 17 мая 2018 г. Проверено 17 мая 2018 г.
- ^ «5 ключевых событий в истории облачных вычислений — DZone Cloud» . dzone.com . Архивировано из оригинала 29 сентября 2018 г. Проверено 28 сентября 2018 г.
- ^ «Веб-сервисы Amazon предлагают европейское хранилище для Amazon S3» (пресс-релиз). 06.11.2007. Архивировано из оригинала 15 ноября 2018 г. Проверено 14 ноября 2018 г.
- ^ «Что такое облачное объектное хранилище? – AWS» . Amazon Веб-сервисы, Inc. 16.10.2019. Архивировано из оригинала 20 сентября 2018 г. Проверено 9 июля 2018 г.
- ^ «Технический блог » Запуск Websphere в облаке и сохранение данных в S3» . techblog.aasisvinayak.com . Архивировано из оригинала 12 марта 2010 г.
- ^ "open-guides/og-aws" . Гитхаб . Архивировано из оригинала 3 января 2018 г. Проверено 17 мая 2018 г.
- ^ «Ответы на ошибки — Amazon Simple Storage Service» . docs.aws.amazon.com . Архивировано из оригинала 24 декабря 2017 г. Проверено 21 мая 2018 г.
- ^ «Использование управления версиями в корзинах S3 — Amazon Simple Storage Service» .
- ^ «Введение в Amazon S3 — Amazon Simple Storage Service» . docs.aws.amazon.com . Архивировано из оригинала 12 мая 2018 г. Проверено 17 мая 2018 г.
- ^ «Как использовать Amazon S3 для веб-хостинга» . Bucketexplorer.com . Архивировано из оригинала 8 апреля 2008 г. Проверено 6 мая 2008 г.
- ^ Amazon Simple Storage Service. Архивировано 20 февраля 2011 г. на Wayback Machine Docs.amazonwebservices.com. Проверено 9 августа 2013 г.
- ^ http://docs.aws.amazon.com/AmazonS3/latest/dev/ServerLogs.html. Архивировано 23 декабря 2014 г. в Wayback Machine . журнале доступа к серверу
- ^ «Сравнение S3QL и других файловых систем S3» . Архивировано из оригинала 5 августа 2012 г. Проверено 29 июня 2012 г.
- ^ «Классы облачного хранилища — Amazon Simple Storage Service (S3) — AWS» . Amazon Веб-сервисы, Inc. Архивировано из оригинала 13 июня 2018 г. Проверено 17 мая 2018 г.
- ^ «Анонс нового класса высокопроизводительного хранилища Amazon S3 Express One Zone | Блог новостей AWS» . aws.amazon.com . 28 ноября 2023 г. Проверено 1 декабря 2023 г.
- ^ «Как загрузить большие файлы на S3» . 21 июня 2022 года. Архивировано из оригинала 1 октября 2022 года . Проверено 22 июня 2022 г.
- ^ «Amazon S3: Покажи мне деньги» . Блог SmugMug . СамодовольнаяКружка. 10 ноября 2006 г. Архивировано из оригинала 3 марта 2017 г. Проверено 3 марта 2017 г.
- ^ «S3mper: Согласованность в облаке» . Архивировано из оригинала 24 апреля 2016 г. Проверено 1 мая 2016 г.
- ^ «Введение в Amazon S3» . Амазонка . Архивировано из оригинала 25 декабря 2017 г. Проверено 28 декабря 2017 г.
- ^ Херн, Алекс (2 февраля 2017 г.). «Веб-сервисы Amazon: секрет будущего успеха интернет-магазина» . Хранитель . Архивировано из оригинала 2 мая 2018 г. Проверено 23 апреля 2018 г.
- ^ «Пример использования AWS: Reddit» . aws.amazon.com . 2015. Архивировано из оригинала 17 марта 2015 г. Проверено 18 марта 2015 г.
- ^ «Биткаса Лигал» . 16 мая 2013 г. Архивировано из оригинала 28 июня 2013 г. Проверено 16 мая 2013 г.
- ^ «Что такое Тахо-LAFS-on-S3?» . 21 августа 2012 г. Архивировано из оригинала 06 мая 2013 г. Проверено 21 августа 2012 г.
- ^ «Эпическая история исхода Dropbox из облачной империи Amazon» . ПРОВОДНОЙ . Архивировано из оригинала 25 января 2018 г. Проверено 23 апреля 2018 г.
- ^ «Dropbox сэкономил почти 75 миллионов долларов за два года, создав собственную технологическую инфраструктуру» . GeekWire . 2018-02-23. Архивировано из оригинала 23 апреля 2018 г. Проверено 23 апреля 2018 г.
- ^ «Swiftype объясняет свой облачный стек» . 1 июля 2013 г. Архивировано из оригинала 8 декабря 2014 г. Проверено 8 декабря 2014 г.
- ^ Уоттерс, Одри (12 июля 2010 г.). «Дебаты облачного сообщества: является ли API Amazon S3 стандартом? (И должен ли он быть?)» . SAY Media, Inc. Архивировано из оригинала 17 февраля 2013 г. Проверено 19 декабря 2012 г.
- ^ Перекресток стандартов информационных технологий . Комитет по планированию семинаров по стандартам, Совет по телекоммуникациям и компьютерным приложениям, Комиссия по инженерным и техническим системам, Национальный исследовательский совет. Вашингтон, округ Колумбия: The National Academies Press, 1990. 1990. стр. 36–37. дои : 10.17226/10440 . ISBN 978-0-309-58171-4 . Архивировано из оригинала 25 марта 2014 г. Проверено 25 марта 2014 г.
{{cite book}}: CS1 maint: другие ( ссылка ) - ^ Обзор веб-сервисов Amazon, 2018 г., https://docs.aws.amazon.com/whitepapers/latest/aws-overview/introduction.html. Архивировано 18 ноября 2017 г. на Wayback Machine.
- ^ Гарфинкель, Симсон Л. 2007. Оценка сервисов Grid-вычислений Amazon: EC2, S3 и SQS. Технический отчет Гарвардской группы компьютерных наук TR-08-07. https://dash.harvard.edu/bitstream/handle/1/24829568/tr-08-07.pdf?sequence=1 Архивировано 29 июля 2018 г. на Wayback Machine.
- ^ Перейти обратно: а б Фогельс, Вернер (19 марта 2008 г.). «С Днем Рождения, Amazon S3!» . Все вещи распределены . Архивировано из оригинала 9 мая 2008 г. Проверено 23 мая 2008 г.
- ^ «Amazon S3 — занят больше, чем когда-либо» . 08.10.2008. Архивировано из оригинала 11 октября 2008 г. Проверено 9 октября 2008 г.
- ^ «Празднование третьего дня рождения S3 по специальной юбилейной цене — Amazon Web Services» . typepad.com . 31 марта 2009 г. Архивировано из оригинала 7 июля 2011 г. Проверено 1 апреля 2009 г.
- ^ «Преимущество Amazon в облаке окупается» . eweek.com . [ постоянная мертвая ссылка ]
- ^ «Amazon S3 теперь размещает 100 миллиардов объектов» . datacenterknowledge.com . 9 марта 2010 г. Архивировано из оригинала 12 марта 2010 г. Проверено 9 марта 2010 г.
- ^ «Amazon S3 — два триллиона объектов, 1,1 миллиона запросов в секунду — веб-службы Amazon» . typepad.com . 18 апреля 2013 г.
- ^ «Отпразднуйте 15-летие Amazon S3 с помощью прямых трансляций «Недели Пи»» . амазонка.com . 14 марта 2021 г.
- ^ «Отпразднуйте 17-летие Amazon S3 на AWS Pi Day 2023» . амазонка.com . 14 марта 2023 г.
- ^ «Новые функции шифрования и безопасности Amazon S3» . 6 ноября 2017 г.
Источники
[ редактировать ]- «Журнал доступа к серверу» .
- «Руководство для разработчиков Amazon S3» . 01.03.2006.
- «Amazon S3 представляет уровни ценообразования на хранилище» . 08.10.2008.
- «Библиотека RightScale Ruby для доступа к Amazon CloudFront, EC2, S3, SQS и SDB» . 27 октября 2007 г. Архивировано из оригинала 3 ноября 2008 г. Проверено 7 января 2009 г.
