ОПЭНДАП

OPeNDAP — это аббревиатура от « Проект с открытым исходным кодом для протокола доступа к сетевым данным », проект, направленный на улучшение извлечения удаленных структурированных данных через веб-архитектуру и дисциплинарно-нейтральный протокол доступа к данным (DAP). Широко используемый, особенно в науках о Земле , протокол основан на HTTP , а его текущая спецификация — DAP4. хотя предыдущая версия DAP2 по-прежнему широко используется. Разработан и продвинут (открыто и совместно) некоммерческой организацией OPeNDAP, Inc., DAP предназначен для обеспечения удаленного выборочного извлечения данных в виде легко вызываемой веб-службы. OPeNDAP, Inc. также разрабатывает и поддерживает бесплатные (эталонные) реализации протокола DAP как в серверном, так и в клиентском программном обеспечении.

«OPeNDAP» часто используется вместо «DAP» для обозначения протокола, но также может относиться ко всей архитектуре поиска данных на основе DAP. Другие архитектуры, ориентированные на DAP, такие как THREDDS. и ERDDAP, NOAA GEO-IDE UAF ERDDAP демонстрируют значительную совместимость друг с другом, а также с системами, использующими собственные серверы и программное обеспечение OPeNDAP (с открытым исходным кодом).

Клиентом DAP может быть обычный браузер или даже электронная таблица, хотя и с ограниченной функциональностью (см. веб-страницу OPeNDAP « Доступное клиентское программное обеспечение» ). Чаще всего клиентами DAP являются:

• Инструменты анализа или визуализации данных (такие как MATLAB , IDL , Panoply , GrADS , Integrated Data Viewer , Ferret и ncBrowse) . ), которые их авторы адаптировали для обеспечения ввода данных на основе DAP;
• Аналогично адаптированные веб-приложения (такие как Dapper Data Viewer, также известные как DChart)
• Аналогично адаптированные программы для конечных пользователей (на распространенных языках)

Независимо от их типа и от того, разработаны ли они на коммерческой основе или конечным пользователем, клиенты практически всегда подключаются к серверам DAP через библиотеки , реализующие протокол DAP2 или DAP4 на том или ином языке. OPeNDAP предлагает библиотеки с открытым исходным кодом на C++ и Java , но многие клиенты полагаются на библиотеки, разработанные сообществом, такие как PyDAP или, особенно, пакет NetCDF . разработанные и поддерживаемые программой Unidata в UCAR Все библиотеки NetCDF, на нескольких языках программирования, включают встроенные возможности для извлечения данных (в стиле массива) с серверов DAP.

Клиент, использующий данные, ссылается на набор данных по своему URL-адресу и запрашивает метаданные или контент, отправляя (обычно через встроенную библиотеку DAP) HTTP-запрос на сервер DAP. Запросам контента обычно предшествуют запросы метаданных, описывающих структуру и другие сведения о наборе данных, на который ссылаются. Используя эту информацию, клиент может создавать выражения ограничений DAP. для получения определенного контента (т. е. подмножеств) из источника. Серверы OPeNDAP предлагают различные типы ответов в зависимости от конкретной формы запроса клиента, включая XML, JSON, HTML и ASCII. В ответ на запросы контента серверы OPeNDAP могут отвечать многочастными mime-документами, которые включают двоичную часть с кодировкой NetCDF или DAP. (Эти двоичные формы предлагают компактные средства для доставки больших объемов контента, а собственная форма DAP при желании может даже транслироваться в потоковом режиме.)

Программное обеспечение OPeNDAP для создания серверов DAP (на базе Apache ) называется Hyrax и включает в себя адаптеры , которые облегчают обслуживание широкого спектра исходных данных. Серверы DAP чаще всего обеспечивают (удаленный) доступ к (большим) файлам HDF или NetCDF, но исходные данные могут существовать в базах данных или других форматах, включая определяемые пользователем. Когда исходные данные организованы в виде файлов, получение DAP обеспечивает более детальный доступ, чем FTP . Более того, серверы OPeNDAP могут объединять подмножества из нескольких файлов для доставки за один раз. В совокупности подмножества, агрегирование и потоковая передача могут обеспечить существенную эффективность доступа к данным даже при наличии медленных сетей.

OPeNDAP и другие серверы DAP оперативно используются в правительственных учреждениях, включая НАСА и NOAA , для обеспечения доступа к данным наук о Земле , включая спутниковые снимки и другие источники информации большого объема. Модель данных DAP охватывает полный набор структур данных, включая многомерные массивы и вложенные последовательности (т. е. записи), дополненные соответственно богатым набором выражений ограничений. Таким образом, архитектура поиска данных OPeNDAP продемонстрировала полезность для широкого спектра типов научных данных, включая данные, полученные с помощью моделирования, и данные, полученные с помощью наблюдений (будь то дистанционное зондирование или измерение на месте).

Внешние ссылки

• OPeNDAP.org
• Учебное пособие по использованию OPeNDAP для доступа к данным в PO.DAAC (Центр распределенных активных архивов физической океанографии НАСА)
• THREDDS — тематические службы распределенных данных об окружающей среде в реальном времени
• dapper — сервер OPeNDAP для данных на месте
• DChart — веб-просмотрщик данных системы наблюдений NOAA (данные in-situ)
• ГрАДС
• ncBrowse — средство просмотра Java для файлов netCDF OPeNDAP (поддерживает широкий спектр соглашений netCDF)
• netCDF Explorer — netCDF Explorer — это многоплатформенный графический браузер для файлов netCDF. netCDF Explorer может просматривать файлы локально или удаленно с помощью OPeNDAP.
• NCAR Command Language - программное обеспечение для анализа и визуализации
• Хорек
• Pydap — реализация клиент/сервер, написанная на Python
• ERDDAP — сервер OPeNDAP для координатных и табличных данных; поддерживает широкий спектр форматов выходных файлов
• Портал NASA GCMD OPeNDAP Главный каталог глобальных изменений (GCMD)
• Азиатско-Тихоокеанский центр исследования данных — хрестоматийный пример реализации OPenDAP