Апач ООДТ
 | |
| Разработчик(и) | Фонд программного обеспечения Apache |
|---|---|
| Стабильная версия | 1.9.1
/ 3 октября 2021 г [ 1 ] |
| Репозиторий | Репозиторий ООДТ |
| Написано в | Ява |
| Операционная система | Кросс-платформенный |
| Тип | поиска и индексирования API |
| Лицензия | Лицензия Апач 2.0 |
| Веб-сайт | оодт |
Apache Технология объектно-ориентированных данных (OODT) — это платформа системы управления данными с открытым исходным кодом , управляемая Apache Software Foundation . Первоначально OODT был разработан в Лаборатории реактивного движения НАСА для поддержки сбора, обработки и обмена данными для научных архивов НАСА.
История
[ редактировать ]Проект начался как внутренний проект Лаборатории реактивного движения НАСА, инициированный Дэниелом Крайтоном, Шоном Келли и Стивом Хьюзом. Первоначально усилия были сосредоточены на интеграции информации и поиске с использованием XML, как описано в статье Крайтона и др. на встрече CODATA в 2000 году. [ 2 ]
После развертывания OODT в Планетарной системе данных и в проекте Национального института рака (EDRN) или исследовательской сети раннего обнаружения, OODT в 2005 году перешел в эпоху крупномасштабной обработки и управления данными через НАСА « Орбитальная углеродная обсерватория проект » (OCO). Роль OODT в OCO заключалась в создании новой структуры обработки данных, которая вместо десятков заданий в день и десятков гигабайт данных будет обрабатывать 10 000 заданий в день и сотни терабайт данных. Это потребовало пересмотра OODT для поддержки этих новых требований. Доктор Крис Мэттманн из Лаборатории реактивного движения НАСА в период с 2005 по 2009 год возглавлял команду из 3–4 разработчиков и полностью перепроектировал OODT для поддержки этих новых требований.
Под влиянием новых усилий в Apache Nutch и Hadoop , в которых участвовал Маттманн, OODT был полностью переработан, что сделало его более подходящим для проектов, подобных Apache Software Foundation. Кроме того, у Маттманна были тесные отношения с доктором Джастином Эренкранцем , который в то время был президентом Apache Software Foundation, и возникла идея внедрить OODT в Apache Software Foundation. В 2009 году Мэттманн и его команда получили одобрение НАСА и Лаборатории реактивного движения на внедрение OODT в Apache, что сделало его первым проектом НАСА, которым руководил фонд. Спустя семь лет проект выпустил версию 1.0.
Функции
[ редактировать ]OODT фокусируется на двух канонических вариантах использования: обработке больших данных и интеграции информации . Оба были описаны в ICSE 2006 Мэттмана. [ 3 ] и СМК-ИТ 2009 г. [ 4 ] бумаги. Он предоставляет три основные услуги.
Файловый менеджер
[ редактировать ]Файловый менеджер отвечает за отслеживание местоположения файлов, их метаданных и за передачу файлов из промежуточной области в хранилище с контролируемым доступом.
Менеджер рабочих процессов
[ редактировать ]Менеджер рабочих процессов фиксирует поток управления и поток данных для сложных процессов, а также обеспечивает воспроизводимость и построение научных конвейеров.
Менеджер ресурсов
[ редактировать ]Диспетчер ресурсов обрабатывает распределение задач рабочего процесса и других заданий по базовым ресурсам, например, задания Python передаются узлам с установленным на них Python; задания, требующие большого диска или процессора, правильно отправляются на те узлы, которые соответствуют этим требованиям.
В дополнение к трем основным сервисам OODT предоставляет три клиентоориентированные платформы, основанные на этих сервисах.
Файловый сканер
[ редактировать ]Файловый сканер автоматически извлекает метаданные и использует Apache Tika для идентификации типов файлов и загрузки связанной информации в файловый менеджер.
Платформа сканирования каталогов и архивов
[ редактировать ]Платформа Push/Pull получает удаленные файлы и делает их доступными для системы.
Руководитель по созданию каталогов и архивных услуг (CAS-PGE)
[ редактировать ]Оболочка научных алгоритмов (называемая CAS-PGE, что означает «руководитель по созданию служб каталогов и архивов») инкапсулирует научные коды и позволяет их выполнять независимо от окружающей среды, при этом фиксируя происхождение и упрощая интеграцию алгоритмов в производственную систему.
Службы CAS RESTful
[ редактировать ]Набор API-интерфейсов RESTful, который раскрывает возможности компонентов файлового менеджера, диспетчера рабочих процессов и диспетчера ресурсов.
Панель мониторинга OPSUI
[ редактировать ]Веб-приложение для предоставления услуг из базового продукта / рабочего процесса / ресурса OODT, управляющего системами управления через JAX-RS. [ нужна ссылка ] спецификация. На этом этапе он собирается с использованием Apache Wicket. [ нужна ссылка ] компоненты.
Общая мотивация реструктуризации OODT была описана Маттманном в статье в журнале Nature в 2013 году под названием «Видение науки о данных». [ 5 ]
OODT написан на Java и через REST API. [ 6 ] используется в других языках, включая Python (язык программирования) .
Известные применения
[ редактировать ]Недавно было отмечено, что OODT вносит свой вклад в миссии НАСА, в том числе в миссии « Влажность почвы», «Активный пассивный режим». [ 7 ] и Новые горизонты . [ 8 ] OODT также помогает питать Square Kilometer Array. телескоп [ 9 ] расширение масштабов его использования в науках о Земле, планетологии, радиоастрономии и в других отраслях. OODT также используется в биоинформатике и является частью платформы больших данных Knowledgent. [ 10 ]
Ссылки
[ редактировать ]- ^ «[ОБЪЯВЛЕНИЕ] Выпущена Apache OODT 1.9.1» . Проверено 27 сентября 2022 г.
- ^ Крайтон, Дэниел; Хьюз, Джон; Хён, Джейсон; Келли, Шон (2000). «Научный поиск и извлечение данных с использованием XML». Вторая национальная конференция по научным и техническим данным, Национальный комитет США по CODATA, Национальный исследовательский совет .
- ^ Мэттманн, Крис А.; Крайтон, Дэниел Дж.; Медвидович, Ненад; Хьюз, Стив (1 января 2006 г.). «Среда на основе архитектуры программного обеспечения для высокораспределенных научных приложений с интенсивным использованием данных». Материалы 28-й международной конференции по программной инженерии . ММВБ '06. Нью-Йорк, штат Нью-Йорк, США: ACM. стр. 721–730. дои : 10.1145/1134285.1134400 . ISBN 978-1595933751 . S2CID 7699385 .
- ^ Мэттманн, Калифорния; Фриборн, Д.; Крайтон, Д.; Фостер, Б.; Харт, А.; Вуллард, Д.; Хардман, С.; Рамирес, П.; Келли, С. (1 июля 2009 г.). «Многоразовая система управления технологическими процессами для миссий PEATE по орбитальной углеродной обсерватории и зонду АЭС». 2009 Третья Международная конференция IEEE по проблемам космических миссий для информационных технологий . стр. 165–172. дои : 10.1109/SMC-IT.2009.27 . ISBN 978-0-7695-3637-8 . S2CID 705732 .
- ^ Мэттманн, Крис А. (24 января 2013 г.). «Вычисления: взгляд на науку о данных» . Природа . 493 (7433): 473–475. Бибкод : 2013Natur.493..473M . дои : 10.1038/493473а . ISSN 0028-0836 . ПМИД 23344342 .
- ^ «API-интерфейсы Apache OODT — OODT — Apache Software Foundation» . cwiki.apache.org . Проверено 27 июня 2016 г.
- ^ «Apache — ASF в Твиттере» . Проверено 27 июня 2016 г.
- ^ «Apache — ASF в Твиттере» . Проверено 27 июня 2016 г.
- ^ «Apache — ASF в Твиттере» . Проверено 27 июня 2016 г.
- ^ «Вопросы и ответы о преимуществах OODT — объектно-ориентированной технологии данных — перспективы знаний» . 30 июля 2014 г. Архивировано из оригинала 14 апреля 2015 г. Проверено 27 июня 2016 г.
