Документоориентированная база данных

Эта статья о типе программного обеспечения. Информацию о развернутых приложениях типа «Программное обеспечение» см. в разделе Полнотекстовая база данных .

или Документоориентированная база данных хранилище документов — это компьютерная программа и система хранения данных, предназначенная для хранения, извлечения и управления документоориентированной информацией, также известной как полуструктурированные данные .

Документоориентированные базы данных являются одной из основных категорий баз данных NoSQL , и популярность термина «документоориентированная база данных» выросла. с использованием самого термина NoSQL. Базы данных XML — это подкласс документо-ориентированных баз данных, оптимизированных для работы с документами XML . Базы данных графов аналогичны, но в них добавлен еще один уровень — отношения , который позволяет им связывать документы для быстрого обхода.

Документо-ориентированные базы данных по своей сути являются подклассом хранилища «ключ-значение» , еще одной концепции базы данных NoSQL. Разница заключается в способе обработки данных; в хранилище «ключ-значение» данные считаются по своей сути непрозрачными для базы данных, тогда как документно-ориентированная система полагается на внутреннюю структуру документа для извлечения метаданных , которые ядро ​​базы данных использует для дальнейшей оптимизации. Хотя разница часто незначительна из-за инструментов в системах, концептуально хранилище документов предназначено для более широкого использования современных методов программирования.

Базы данных документов сильно контрастируют с традиционной реляционной базой данных (RDB). Реляционные базы данных обычно хранят данные в отдельных таблицах , определяемых программистом, и один объект может быть распределен по нескольким таблицам. Базы данных документов хранят всю информацию для данного объекта в одном экземпляре базы данных, и каждый хранимый объект может отличаться от другого. Это устраняет необходимость объектно-реляционного сопоставления при загрузке данных в базу данных.

Документы

Центральным понятием документоориентированной базы данных является понятие документа . Хотя каждая реализация документо-ориентированной базы данных отличается деталями этого определения, в целом все они предполагают, что документы инкапсулируют и кодируют данные (или информацию) в каком-то стандартном формате или кодировке. Используемые кодировки включают XML , YAML , JSON , а также двоичные формы, такие как BSON .

Документы в хранилище документов примерно эквивалентны концепции программирования объекта. Они не обязаны придерживаться стандартной схемы и не будут иметь одинаковые секции, слоты, детали или ключи. Обычно программы, использующие объекты, имеют множество различных типов объектов, и эти объекты часто имеют множество необязательных полей. Каждый объект, даже принадлежащий одному классу, может выглядеть по-разному. Хранилища документов похожи тем, что позволяют хранить в одном хранилище документы разных типов, позволяют полям внутри них быть необязательными и часто позволяют кодировать их с использованием разных систем кодирования. Например, ниже приведен документ, закодированный в формате JSON:

{
    "firstName": "Bob", 
    "lastName": "Smith",
    "address": {
        "type": "Home",
        "street1":"5 Oak St.",
        "city": "Boys",
        "state": "AR",
        "zip": "32225",
        "country": "US"
    },
    "hobby": "sailing",
    "phone": {
        "type": "Cell",
        "number": "(555)-123-4567"
    }
}

Второй документ может быть закодирован в XML как:

<contact>
  <firstname>Bob</firstname>
  <lastname>Smith</lastname>
  <phone type="Cell">(123) 555-0178</phone>
  <phone type="Work">(890) 555-0133</phone>
  <address>
    <type>Home</type>
    <street1>123 Back St.</street1>
    <city>Boys</city>
    <state>AR</state>
    <zip>32225</zip>
    <country>US</country>
  </address>
</contact>

Эти два документа имеют некоторые общие структурные элементы, но каждый из них также имеет уникальные элементы. Структура, текст и другие данные внутри документа обычно называются содержимым документа , и на них можно ссылаться с помощью методов поиска или редактирования (см. Ниже). В отличие от реляционной базы данных, где каждая запись содержит одни и те же поля, а неиспользуемые поля остаются пустыми; в приведенном выше примере ни в одном документе (записи) нет пустых «полей». Этот подход позволяет добавлять новую информацию к некоторым записям, не требуя, чтобы все остальные записи в базе данных имели одну и ту же структуру.

Базы данных документов обычно предоставляют дополнительные метаданные , которые можно связать и хранить вместе с содержимым документа. Эти метаданные могут быть связаны со средствами, которые хранилище данных предоставляет для организации документов, обеспечения безопасности или других функций, специфичных для реализации.

CRUD-операции

Основные операции, которые документо-ориентированная база данных поддерживает для документов, аналогичны операциям в других базах данных, и хотя терминология не полностью стандартизирована, большинство практиков признают их как CRUD :

• Создание (или вставка)
• Поиск (или запрос, поиск, чтение или поиск)
• Обновить (или отредактировать)
• Удаление (или удаление)

Ключи

Документы обращаются в базе данных с помощью уникального ключа , который представляет этот документ. Этот ключ представляет собой простой идентификатор (или ID), обычно строку , URI или путь . Ключ можно использовать для получения документа из базы данных. Обычно база данных сохраняет индекс ключа для ускорения поиска документа, а в некоторых случаях ключ требуется для создания или вставки документа в базу данных.

Поиск

Еще одной определяющей характеристикой документно-ориентированной базы данных является то, что помимо простого поиска по ключу к документу, который можно использовать для извлечения документа, база данных предлагает API или язык запросов, который позволяет пользователю извлекать документы на основе содержания (или метаданные). Например, вам может понадобиться запрос, который извлекает все документы с определенным полем, для которого установлено определенное значение. Набор доступных API-интерфейсов запросов или функций языка запросов, а также ожидаемая производительность запросов значительно варьируются от одной реализации к другой. Аналогичным образом, конкретный набор доступных параметров индексирования и конфигурации сильно различаются в зависимости от реализации.

Именно здесь хранилище документов больше всего отличается от хранилища «ключ-значение». Теоретически значения в хранилище «ключ-значение» непрозрачны для хранилища и, по сути, представляют собой черные ящики. Они могут предлагать поисковые системы, аналогичные системам хранилища документов, но могут иметь меньшее представление об организации контента. Хранилища документов используют метаданные документа для классификации содержимого, что позволяет им, например, понять, что одна серия цифр — это номер телефона, а другая — почтовый индекс. Это позволяет им выполнять поиск по этим типам данных, например, по всем телефонным номерам, содержащим 555, при этом почтовый индекс 55555 будет игнорироваться.

Редактирование

Базы данных документов обычно предоставляют некоторый механизм обновления или редактирования содержимого (или метаданных) документа, позволяя заменять либо весь документ, либо отдельные структурные части документа.

Организация

Реализации базы данных документов предлагают различные способы организации документов, включая понятия

• Коллекции: группы документов, где в зависимости от реализации документ может быть принудительно размещен внутри одной коллекции или может быть разрешено находиться в нескольких коллекциях.
• Теги и невидимые метаданные: дополнительные данные вне содержимого документа.
• Иерархии каталогов: группы документов, организованные в древовидную структуру, обычно на основе пути или URI.

Иногда эти организационные понятия различаются по степени их логического и физического (например, на диске или в памяти) представлений.

Связь с другими базами данных

Связь с хранилищами ключей-значений

Документно-ориентированная база данных — это специализированное хранилище значений ключей , которое само по себе является еще одной категорией баз данных NoSQL. В простом хранилище «ключ-значение» содержимое документа непрозрачно. Документно-ориентированная база данных предоставляет API или язык запросов/обновлений, который предоставляет возможность запрашивать или обновлять данные на основе внутренней структуры документа . Эта разница может быть незначительной для пользователей, которым не нужны более широкие API-интерфейсы запросов, поиска или редактирования, которые обычно предоставляются базами данных документов. Современные хранилища «ключ-значение» часто включают функции для работы с метаданными, стирая границы между хранилищами документов.

Отношения с поисковыми системами

Некоторые системы поиска (так называемые системы поиска информации ), такие как Apache Solr и Elasticsearch, обеспечивают достаточное количество основных операций с документами, чтобы соответствовать определению документо-ориентированной базы данных.

Связь с реляционными базами данных

В реляционной базе данных данные сначала классифицируются по ряду предопределенных типов, и таблицы создаются для хранения отдельных записей или записей каждого типа. Таблицы определяют данные в полях каждой записи . Это означает, что каждая запись в таблице имеет одинаковую общую форму. Администратор также определяет связи между таблицами, выбирает определенные поля, которые, по его мнению, будут наиболее часто использоваться для поиска, и определяет индексы для них . Ключевая концепция реляционного дизайна заключается в том, что любые данные, которые могут повторяться, обычно помещаются в отдельную таблицу, и если эти экземпляры связаны друг с другом, для их группировки выбирается столбец — внешний ключ . Этот подход известен как нормализация базы данных .

Например, приложению адресной книги обычно необходимо хранить имя контакта, дополнительное изображение, один или несколько телефонных номеров, один или несколько почтовых адресов и один или несколько адресов электронной почты. В канонической реляционной базе данных для каждой из этих строк будут созданы таблицы с предопределенными полями для каждого бита данных: таблица CONTACT может включать столбцы FIRST_NAME, LAST_NAME и IMAGE, а таблица PHONE_NUMBER может включать COUNTRY_CODE, AREA_CODE, PHONE_NUMBER и TYPE ( дом, работа и т. д.). Таблица PHONE_NUMBER также содержит столбец внешнего ключа «CONTACT_ID», который содержит уникальный идентификационный номер, присвоенный контакту при его создании. Чтобы воссоздать исходный контакт, ядро ​​базы данных использует внешние ключи для поиска связанных элементов в группе таблиц и восстановления исходных данных.

Напротив, в базе данных, ориентированной на документы, может отсутствовать внутренняя структура, которая напрямую отображалась бы на концепцию таблицы, а поля и отношения обычно не существуют как предопределенные концепции. Вместо этого все данные объекта помещаются в один документ и сохраняются в базе данных как одна запись. В примере с адресной книгой документ будет содержать имя контакта, изображение и любую информацию о контакте — все в одной записи. Доступ к этой записи осуществляется через ее ключ, который позволяет базе данных извлекать и возвращать документ приложению. Для получения связанных данных не требуется никакой дополнительной работы; все это возвращается в одном объекте.

Ключевое различие между документо-ориентированной и реляционной моделями заключается в том, что форматы данных не определены заранее в случае документа. В большинстве случаев любой вид документа может храниться в любой базе данных, и эти документы могут изменяться по типу и форме в любое время. Если вы хотите добавить COUNTRY_FLAG к CONTACT, это поле можно добавить в новые документы по мере их вставки, это не повлияет на базу данных или уже сохраненные существующие документы. Чтобы облегчить поиск информации из базы данных, документо-ориентированные системы обычно позволяют администратору предоставлять подсказки базе данных для поиска определенных типов информации. Они работают аналогично индексам в реляционном случае. Большинство из них также предлагают возможность добавлять дополнительные метаданные помимо содержимого самого документа, например, помечать записи как часть адресной книги, что позволяет программисту извлекать связанные типы информации, например «все записи адресной книги». . Это обеспечивает функциональность, аналогичную таблице, но отделяет концепцию (категории данных) от ее физической реализации (таблиц).

В классической нормализованной реляционной модели объекты в базе данных представлены как отдельные строки данных без какой-либо внутренней структуры, кроме той, которая задается им при извлечении. Это приводит к проблемам при попытке перевода программных объектов в связанные с ними строки базы данных и обратно — проблема, известная как объектно-реляционное несоответствие импеданса . Хранилища документов более тесно, а в некоторых случаях напрямую, отображают программные объекты в хранилище. Они часто продаются под термином NoSQL .

Реализации

Основная категория: Документоориентированные базы данных

Имя	Издатель	Лицензия	Поддерживаемые языки	Примечания	RESTful API
Аэроспайк	Аэроспайк	AGPL и проприетарное	C , C# , Java , Scala , Python , Node.js , PHP , Go , Rust , Spring Framework	Aerospike — это оптимизированная для флэш-памяти база данных NoSQL с распределенным ключом и значением, которая также поддерживает модель хранилища документов.	Да
АллегроГраф	Франц, Инк.	Собственный	Java , Python , Common Lisp , Ruby , Scala , C# , Perl	Платформа базы данных поддерживает модели хранения документов и графических данных в одной базе данных. Поддерживает JSON , JSON-LD , RDF , полнотекстовый поиск, ACID , двухфазную фиксацию , Multi-Master Replication , Prolog и SPARQL .	Да
АрангоДБ	АрангоДБ	Лицензия Апач	C , C# , Java , Python , Node.js , PHP , Scala , Go , Ruby , Elixir	Система базы данных поддерживает хранилище документов, а также модели данных ключ/значение и граф с одним ядром базы данных и унифицированным языком запросов AQL (язык запросов ArangoDB).	Да
БазаX	Команда BaseX	Лицензия БСД	Java , XQuery	Поддержка XML, JSON и двоичных форматов; клиент-серверная архитектура; одновременный структурный и полнотекстовый поиск и обновление.	Да
Скрытый	ИнтерСистемс Корпорация	Собственный	Java , C# , Node.js	Обычно используется в приложениях здравоохранения, бизнеса и правительства.	Да
Cloudant	Клаудант, Инк.	Собственный	Эрланг , Java , Scala и C	Служба распределенных баз данных на основе BigCouch компании с открытым исходным кодом , ответвления Apache поддерживаемого проекта CouchDB, . Использует модель JSON.	Да
База данных точек кластера	ООО "Кластерпойнт"	Собственный с бесплатной загрузкой	JavaScript , SQL , PHP , C# , Java , Python , Node.js , C , C++ ,	Распределенная документо-ориентированная платформа баз данных XML/JSON с ACID -совместимыми транзакциями ; данных с высокой доступностью репликация и сегментирование ; встроенная полнотекстовая поисковая система с релевантности рейтингом ; JS/SQL язык запросов ; ГИС ; Доступна в виде базы данных с оплатой по мере использования в качестве услуги или в виде бесплатного программного обеспечения, загружаемого локально.	Да
Сервер Couchbase	Коучбейс, Инк.	Лицензия Апач	C , C# , Java , Python , Node.js , PHP , SQL , Go , Spring Framework , LINQ	Распределенная база данных документов NoSQL, модель JSON и язык запросов на основе SQL.	Да
CouchDB	Фонд программного обеспечения Apache	Лицензия Апач	Любой язык, который может выполнять HTTP-запросы.	JSON через REST/HTTP с многоверсионным управлением параллелизмом и ограниченными свойствами ACID . Использует карту и сокращение для представлений и запросов.	Да
CrateIO	CRATE Technology GmbH	Лицензия Апач	Ява	Используйте знакомый синтаксис SQL для распределенных запросов в реальном времени по кластеру. На основе экосистемы Lucene/Elasticsearch со встроенной поддержкой двоичных объектов (BLOB).	Да
Космос БД	Майкрософт	Собственный	C# , Java , Python , Node.js , JavaScript , SQL	Предложение «Платформа как услуга», часть платформы Microsoft Azure . Создает и расширяет более раннюю версию Azure DocumentDB.	Да
ДокументБД	Веб-сервисы Amazon	Собственный онлайн-сервис	различные, ОТДЫХ	полностью управляемая служба базы данных, совместимая с MongoDB v3.6	Да
ДинамоДБ	Веб-сервисы Amazon	Собственный	Java , JavaScript , Node.js , Go , C# .NET , Perl , PHP , Python , Ruby , Rust , Haskell , Erlang , Django и Grails.	полностью управляемая проприетарная NoSQL служба базы данных , которая поддерживает структуры данных «ключ-значение» и документацию.	Да
Эластичный поиск	Шей Бэнон	Двойная лицензия: общедоступная лицензия на стороне сервера и эластичная лицензия.	Ява	JSON , Поисковая система.	Да
существовать	существовать	LGPL	XQuery , Java	XML через REST/HTTP, WebDAV, полнотекстовый поиск Lucene, поддержка двоичных данных, проверка, управление версиями, кластеризация, триггеры, перезапись URL-адресов, коллекции, ACLS, обновление XQuery	Да
Информикс	ИБМ	Собственные, с бесплатными версиями	Различные (совместимы с API MongoDB)	СУБД с JSON, репликацией, сегментированием и соответствием ACID.	Да
Заяц	Фонд Апач	Лицензия Апач	Ява	репозитория контента Java Реализация	?
Заметки HCL ( HCL Domino )	ХКЛ	Собственный	LotusScript , Java , язык формул Notes	Многозначность	Да
МаркЛогик	МаркЛогик Корпорейшн	Бесплатная лицензия разработчика или коммерческая	Java , JavaScript , Node.js , XQuery , SPARQL , XSLT , C++	JSON, XML и Распределенная документо-ориентированная база данных для троек RDF . Встроенный полнотекстовый поиск , транзакции ACID , высокая доступность и аварийное восстановление , сертифицированная безопасность.	Да
МонгоБД	МонгоДБ, Инк.	Публичная лицензия на стороне сервера для СУБД, лицензия Apache 2 на клиентские драйверы	C , C++ , C# , Java , Perl , PHP , Python , Go , Node.js , Ruby , Rust , Скала	База данных документов с репликацией и шардингом, хранилище BSON (двоичный формат JSON ).	Да
MUMPS База данных	?	Собственный и AGPL	Свинка	Обычно используется в медицинских целях.	?
База данных объектов++	Экки Программное обеспечение	Собственный	С++ , С# , TScript	Структуры двоичных собственных классов C++	?
Виртуоз OpenLink	Программное обеспечение OpenLink	GPLv2[1] и проприетарная	С++ , С# , Java , SPARQL	промежуточного программного обеспечения и ядра базы данных Гибрид	Да
ОриентБД	Ориент Технологии	Лицензия Апач	Ява	JSON через HTTP, поддержка SQL, ACID транзакции	Да
База данных Oracle NoSQL	Oracle Корпорация	Apache и проприетарный	C, C#, Java, Python, node.js, Go	Ничего общего, горизонтально масштабируемая база данных с поддержкой JSON без схемы, фиксированными таблицами схемы и парами ключ/значение. Также поддерживает транзакции ACID.	Да
Девочка	Квалкомм	Собственный	REST , Java , XQuery , XSLT , C , C++ , Python	Распределенная документно-ориентированная база данных XML со встроенным полнотекстовым поиском ; поддержка JSON , текста и двоичных файлов.	Да
RedisJSON	Редис	Доступная лицензия исходного кода Redis (RSAL)	Питон	JSON со встроенным полнотекстовым поиском .	Да
Переосмыслить БД	?	Лицензия Апач	C++ , Python , JavaScript , Ruby , Java	Распределенная документированная база данных JSON с репликацией и сегментированием.	Нет
SAP Хана	САП	Собственный	SQL -подобный язык	Поддерживается транзакция ACID , JSON только	Да
Седна	sedna.org	Лицензия Апач	С++ , XQuery	XML-база данных	Нет
SimpleDB	Веб-сервисы Amazon	Собственный онлайн-сервис	Эрланг		?
Сюрреалдб	Сюрреалдб	Лицензия Business Source и лицензия Apache через 4 года.	Ржавчина	мультимодальная графовая , реляционная , документальная и векторная база данных	Да
Апач Солр	Фонд программного обеспечения Apache	Лицензия Апач	Ява	JSON , CSV , XML и некоторые другие форматы. Поисковая система.	Да
ТерминусБД	ТерминусБД	Лицензия Апач	Python , Node.js , JavaScript	Система базы данных поддерживает хранилище документов, а также графические модели данных с одним ядром базы данных и унифицированным языком запросов на основе журналов данных WOQL (язык запросов веб-объектов).	Да

Реализации базы данных XML

Дополнительная информация: база данных XML.

Большинство баз данных XML являются документо-ориентированными базами данных.

См. также

• Теория баз данных
• Иерархия данных
• Анализ данных
• Полнотекстовый поиск
• База данных в памяти
• Протокол доступа к сообщениям Интернета (IMAP)
• Машиночитаемый документ
• Многомодельная база данных
• NoSQL
• База данных объектов
• Онлайн база данных
• База данных в реальном времени
• Реляционная база данных
• Система управления контентом

Дальнейшее чтение

• Ассаф Аркин. (2007, 20 сентября). Прочтите «Последовательность: глупые базы данных, интеллектуальные сервисы».

Внешние ссылки

• Рейтинг хранилищ документов DB-Engines по популярности, обновляемый ежемесячно