Распределенное хранилище данных

Распределенное хранилище данных — это компьютерная сеть , в которой информация хранится более чем на одном узле , часто реплицируемым образом. ^[1] Обычно он специально используется для обозначения либо распределенной базы данных , где пользователи хранят информацию на нескольких узлах , либо компьютерной сети , в которой пользователи хранят информацию на нескольких узлах одноранговой сети . ^[2]

Распределенные базы данных

Распределенные базы данных обычно представляют собой нереляционные базы данных , которые обеспечивают быстрый доступ к данным на большом количестве узлов. Некоторые распределенные базы данных предоставляют широкие возможности запросов, в то время как другие ограничены семантикой хранилища значений ключа . Примером ограниченных распределенных баз данных является Google от Bigtable , которая представляет собой нечто большее, чем просто распределенную файловую систему или одноранговую сеть . ^[3] Amazon » « Динамо ^[4]и хранилище Microsoft Azure . ^[5]

Поскольку возможность произвольных запросов не так важна, как доступность , разработчики распределенных хранилищ данных увеличили последнюю за счет согласованности. Но высокоскоростной доступ для чтения/записи приводит к снижению согласованности, поскольку невозможно гарантировать как согласованность, так и доступность в разделенной сети, как утверждает теорема CAP .

Хранилища данных узла одноранговой сети

В хранилищах данных одноранговой сети пользователь обычно может ответить взаимностью и разрешить другим пользователям также использовать свой компьютер в качестве узла хранения. Информация может быть доступна или недоступна другим пользователям в зависимости от конструкции сети.

Большинство одноранговых сетей не имеют распределенных хранилищ данных, поскольку данные пользователя доступны только тогда, когда их узел находится в сети. Однако это различие несколько размыто в такой системе, как BitTorrent , где исходный узел может отключиться, но контент будет продолжать обслуживаться. Тем не менее, это касается только отдельных файлов, запрошенных распространителями, в отличие от таких сетей, как Freenet , Winny , Share и Perfect Dark , где любой узел может хранить любую часть файлов в сети.

Распределенные хранилища данных обычно используют метод обнаружения и исправления ошибок .Некоторые распределенные хранилища данных (например, Parchive over NNTP) используют методы прямого исправления ошибок для восстановления исходного файла, когда части этого файла повреждены или недоступны.Другие пытаются еще раз загрузить этот файл с другого зеркала.

Примеры

Распределенные нереляционные базы данных

Продукт	Лицензия	Высокая доступность	Примечания
Накопление Apache	АЛ2
Аэроспайк	АГПЛ
Апач Кассандра	АЛ2	Да	ранее использовался Facebook
Апач Игнит	АЛ2
Большой стол	Собственный		используется Google
Коучбейс	АЛ2		используется LinkedIn , PayPal и eBay
CrateDB	АЛ2	Да
Апач Друид	АЛ2		используется Netflix и Yahoo
Динамо	Собственный		используется Amazon
и т. д.	АЛ2	Да
Хейзелкаст	AL2 , Собственный
HBase	АЛ2	Да	ранее использовался Facebook
Гипертаблица	Лицензия GPL 2		Байду
МонгоБД	ССПЛ
MySQL NDB-кластер	Лицензия GPL 2	Да	API-интерфейсы SQL и NoSQL
Пульсация	АЛ2	Да
Редис	Лицензия БСД	Да
СциллаБД	АГПЛ
Волдеморт	АЛ2		используется LinkedIn

Хранилища данных узла одноранговой сети

БитТоррент
Блокчейн (база данных)
Аккордовый проект
Фринет
GNUnet
ИПФС
Мнет
Напстер
NNTP (протокол распределенного хранения данных, используемый для Usenet ) новостей
Unity программного обеспечения Perfect Dark
Делиться
Сиакоин
Денет
Хранение@дома
Тахо-ЛАФС
Виновный
ЗероНет

См. также

Ссылки

^ Янив Песах, Распределенное хранилище (ред. Распределенное хранилище: концепции, алгоритмы и реализации), OL 25423189M
^ «Распределенное хранилище данных — обзор | Темы ScienceDirect» .
^ «Bigtable: хранилище распределенных данных Google» . Бумажный след. Архивировано из оригинала 16 июля 2017 г. Проверено 5 апреля 2011 г. Хотя GFS предоставляет Google надежное, масштабируемое распределенное хранилище файлов, она не предоставляет никаких средств для структурирования данных, содержащихся в файлах, кроме иерархической структуры каталогов и осмысленных имен файлов. Хорошо известно, что для больших наборов данных требуются более выразительные решения. Терабайты данных Google, которые они получают от веб-сканеров, среди многих других источников, нуждаются в организации, чтобы клиентские приложения могли быстро выполнять поиск и обновление с более высокой степенью детализации, чем на уровне файлов. [...] Самое первое, что вам нужно знать о Bigtable, это то, что это не реляционная база данных. Это не должно вызывать удивления: одна из постоянных тем во всех этих статьях о крупномасштабных распределенных хранилищах данных заключается в том, что СУРБД трудно обеспечить хорошую производительность. В Bigtable нет жесткой фиксированной схемы, нет ссылочной целостности между таблицами (поэтому нет внешних ключей) и, следовательно, мало поддержки оптимизированных соединений.
^ Сара Пидкок (31 января 2011 г.). «Dynamo: высокодоступный магазин ключей и значений Amazon» (PDF) . ВАТЕРЛОО – ШКОЛА КОМПЬЮТЕРНЫХ НАУК ЧЕРИТОНА. п. 2/2 . Проверено 5 апреля 2011 г. Dynamo: высокодоступное и масштабируемое распределенное хранилище данных.
^ «Хранилище Windows Azure» . Майкрософт . 16 сентября 2011 г. Архивировано из оригинала 9 ноября 2011 года . Проверено 6 ноября 2011 г.

[1] Янив Песах, Распределенное хранилище (ред. Распределенное хранилище: концепции, алгоритмы и реализации), OL 25423189M

[urlDistributed_Data_Storage_-_an_overview_|_ScienceDirect_Topics-2] «Распределенное хранилище данных — обзор | Темы ScienceDirect» .

[3] «Bigtable: хранилище распределенных данных Google» . Бумажный след. Архивировано из оригинала 16 июля 2017 г. Проверено 5 апреля 2011 г. Хотя GFS предоставляет Google надежное, масштабируемое распределенное хранилище файлов, она не предоставляет никаких средств для структурирования данных, содержащихся в файлах, кроме иерархической структуры каталогов и осмысленных имен файлов. Хорошо известно, что для больших наборов данных требуются более выразительные решения. Терабайты данных Google, которые они получают от веб-сканеров, среди многих других источников, нуждаются в организации, чтобы клиентские приложения могли быстро выполнять поиск и обновление с более высокой степенью детализации, чем на уровне файлов. [...] Самое первое, что вам нужно знать о Bigtable, это то, что это не реляционная база данных. Это не должно вызывать удивления: одна из постоянных тем во всех этих статьях о крупномасштабных распределенных хранилищах данных заключается в том, что СУРБД трудно обеспечить хорошую производительность. В Bigtable нет жесткой фиксированной схемы, нет ссылочной целостности между таблицами (поэтому нет внешних ключей) и, следовательно, мало поддержки оптимизированных соединений.

[4] Сара Пидкок (31 января 2011 г.). «Dynamo: высокодоступный магазин ключей и значений Amazon» (PDF) . ВАТЕРЛОО – ШКОЛА КОМПЬЮТЕРНЫХ НАУК ЧЕРИТОНА. п. 2/2 . Проверено 5 апреля 2011 г. Dynamo: высокодоступное и масштабируемое распределенное хранилище данных.

[5] «Хранилище Windows Azure» . Майкрософт . 16 сентября 2011 г. Архивировано из оригинала 9 ноября 2011 года . Проверено 6 ноября 2011 г.

[1]

[2]

[3]

[4]

[5]