Куб данных австралийских геолого-геофизических исследований
Австралийский куб геонаучных данных ( AGDC ) — это подход к хранению, обработке и анализу больших коллекций данных наблюдения Земли. Эта технология предназначена для решения проблем, представляющих национальный интерес, будучи гибкой и гибкой с огромными объемами многоуровневых данных.
AGDC сокращает время обработки традиционного анализа изображений за счет калибровки, предварительного расчета известных экстентов, выравнивания пикселей и хранения метаданных в структуре решетки ячеек. Данные, выровненные по временным пикселям, часто можно анализировать быстрее в пространстве и времени, чем предыдущие методы, основанные на сценах. Это позволяет AGDC проявлять гибкость в решении будущих задач и сокращать время анализа постоянно растущих хранилищ данных наблюдения Земли.
AGDC также используется на международном уровне. [1] чтобы позволить странам поддерживать экологически устойчивые программы и уменьшить кривую сложности использования данных дистанционного зондирования . [2]
Фон
[ редактировать ]Первоначально AGDC был задуман Geoscience Australia, но в настоящее время поддерживается в партнерстве между Geoscience Australia , Организацией научных и промышленных исследований Содружества (CSIRO) и Национальным фондом национальной вычислительной инфраструктуры (Австралия) (NCI). Это стало возможным благодаря финансированию партнерства и ряда организаций, таких как Национальная стратегия инфраструктуры совместных исследований (NCRIS). [3]
Готовые данные для анализа, приема и индексирования
[ редактировать ]Данные, обработанные в кубе, готовы к анализу. [4] перед попаданием и индексацией в AGDC. Готовые к анализу данные — это предварительно обработанные данные, к которым применены поправки для калибровки прибора (приросты и смещения), геолокации (пространственное выравнивание) и радиометрии (солнечное освещение, угол падения, топография, атмосферные помехи). Процесс приема управляет переводом наборов данных в единицы хранения, сохраняя при этом индекс базы данных. Доступ к данным в хранилище и индексе можно получить через вызовы API, часто компилируемые в коде, таком как Python (язык программирования) .
Пример:
s2a_l1c = dc.load(product='s2a_level1c_granule',x=(147.36, 147.41), y=(-35.1, -35.15), измерения=['04','03','02'], output_crs='EPSG :4326', разрешение=(-0.00025,0.00025))
Наборы данных, хранящиеся в настоящее время
[ редактировать ]- от Geoscience Australia Отражение поверхности Landsat (с 1987 г. по настоящее время)
- Landsat Качество пикселей
- Landsat Фракционное покрытие
- Ландсат НДВИ
Наборы данных, которые были опробованы
[ редактировать ]- USGS Landsat Отражательная способность поверхности
- СРТМ ЦМР
- Химавари 8
- МОДИС
- Страж-2 L1C/S2A
- Австралийские координатные климатические данные
Открытый исходный код
[ редактировать ]База кода AGDC находится на GitHub в виде открытого репозитория. [5] База основного кода была перенесена в Open Data Cube в начале 2017 года в рамках международного сотрудничества. Хотя базой кода является куб открытых данных , отдельные кубы существуют сами по себе, например, AGDC в Национальном центре вычислительной инфраструктуры (Австралия) (NCI) с использованием кластера высокопроизводительных вычислений HPCC . Основной код может быть установлен на персональные или общедоступные компьютеры (с использованием git) и содержит множество модульных тестов.
Документация по базе кода доступна на сайте Read the Docs. [6]
Вызовы AGDC
[ редактировать ]AGDC предназначен для решения национально значимых задач, таких как следующие.
- Устойчивое развитие
- Среда
- Управление водными ресурсами
- Помощь при стихийных бедствиях
- Разработка политики
- Общественное планирование
- Сохранение леса
- Измерение углерода
Международные награды
[ редактировать ]AGDC получила награду «Контент-платформа года 2016» от Geospatial World Forum. [7] [8]
Ссылки
[ редактировать ]- ^ «СЕОС» . Архивировано из оригинала 14 ноября 2019 г. Проверено 14 марта 2017 г.
- ^ «Платформа CEOS Data Cube версии 2 (CEOS2)» . Software.nasa.gov . Архивировано из оригинала 15 марта 2017 г.
- ^ «Национальная стратегия инфраструктуры совместных исследований (NCRIS)» . 5 октября 2021 г.
- ^ «Куб открытых данных | Открытый исходный код» . Открытый куб данных .
- ^ «Opendatacube/Datacube-core» . Гитхаб . 20 января 2022 г.
- ^ «Руководство по Open Data Cube — документация Open Data Cube 1.8» .
- ^ «Австралийская инновация в области геонаучных кубов данных признана на мировой арене» . 23 января 2017 г.
- ^ «Всемирный геопространственный форум 2024: 13-16 мая, Роттердам, Нидерланды | Геопространственная конференция» . geospatialworldforum.org .