Соглашения о климатических и прогнозных метаданных

климата и прогнозирования (CF) Соглашения о метаданных — это соглашения для описания данных наук о Земле , предназначенные для содействия обработке файлов данных и обмену ими . Метаданные, определенные соглашениями CF, обычно включаются в тот же файл, что и данные, что делает файл «самоописанным». Соглашения обеспечивают четкое описание того, что представляют собой значения данных, найденные в каждой переменной netCDF , а также пространственных и временных свойств данных, включая информацию о сетках, такую как границы ячеек сетки и методы усреднения ячеек. Это позволяет пользователям файлов из разных источников решать, какие переменные сопоставимы, и является основой для создания программных приложений с мощными возможностями извлечения данных , перераспределения сетки, анализа данных и визуализации данных .

История и эволюция

Конвенции CF были введены в 2003 году, после нескольких лет разработки в результате сотрудничества, в котором участвовали сотрудники климатических и погодных лабораторий США и Европы. ^[1] Эти конвенции содержали обобщения и расширения более ранних конвенций Совместной службы данных исследований океана и атмосферы (COARDS). ^[2] и соглашения Грегори/Драка/Тетта (GDT). ^[3] Поскольку сфера действия конвенций CF росла вместе с ее пользовательской базой, сообщество CF приняло модель открытого управления . ^[4] В декабре 2008 года три стандарта netCDF+CF+ OPeNDAP были приняты IOOS в качестве рекомендуемого стандарта (номер 08-012) для представления и транспортировки данных с координатной сеткой. Соглашения CF рассматриваются Группой процессов разработки стандартов НАСА (SPG) и другими организациями как более широко применимые стандарты. ^[5] ^[6]

Приложения и база пользователей

Конвенции CF были приняты многими национальными и международными программами и мероприятиями в области наук о Земле. ^[7] Например, они были необходимы для выходных данных климатической модели , собранных для проектов взаимного сравнения совмещенных моделей , которые широко используются для отчетов об оценке Межправительственной группы экспертов по изменению климата . ^[8] продвигает их как важный элемент координации научного сообщества Всемирная программа исследования климата . ^[9]^[10] Они также используются в качестве технической основы для ряда программных пакетов и систем данных, включая программу Climate Model Output Rewriter (CMOR), которая представляет собой программное обеспечение для постобработки данных климатической модели, и Earth System Grid , которая распределяет климатические и другие данные. . ^[11]^[12]^[13] Соглашения CF также использовались для описания физических полей, передаваемых между отдельными компонентами программного обеспечения модели системы Земли , такими как компоненты атмосферы и океана, в процессе работы модели. . ^[14]

Поддерживаемые типы данных

CF предназначен для использования с данными оценки и прогнозирования состояния атмосферы, океана и других физических областей. Он был разработан в первую очередь для работы с типами данных с координатной сеткой, такими как выходные данные моделей численного прогноза погоды и климатологические данные, в которых объединение данных используется для придания регулярной структуры. ^[13]^[15] Однако соглашения CF также применимы ко многим классам данных наблюдений и были приняты рядом групп для таких приложений.

Поддерживаемые форматы данных

CF возник как стандарт для данных, записанных в netCDF , но его структура является общей и адаптирована для использования с другими форматами данных. Например, иерархического формата данных . было изучено использование соглашений CF с данными ^[16]

Принципы проектирования

При разработке конвенций по борьбе с CF руководствуются несколькими принципами:

Данные должны быть самоописывающими, без необходимости использования внешних таблиц для интерпретации.
Конвенции следует разрабатывать только по мере необходимости, а не с учетом возможных потребностей.
Соглашения не должны быть обременительными для использования как для записи, так и для чтения данных.
Метаданные должны быть читаемы людьми, а также интерпретированы программами.
Следует избегать избыточности, чтобы предотвратить несогласованность при записи данных.

Определенные дескрипторы метаданных CF используют значения атрибутов для представления

Происхождение данных : title, institution, contact, source (например, модель), history (контрольный журнал операций), references, comment
Описание сопутствующей деятельности: project, experiment
Описание данных: units, standard_name, long_name, auxiliary_variables, missing_value, valid_range, flag_values, flag_meanings
Описание координат: coordinates, bounds, grid_mapping (с formula_terms); время, указанное с помощью reference_time («время с момента T0») и calendar атрибуты.
Значение ячеек сетки: cell_methods, cell_measuresи климатологическая статистика.

Центральным элементом конвенций CF является Таблица названий стандартов CF. Таблица имен стандартов CF уникальным образом связывает стандартное имя с каждым геофизическим параметром в наборе данных, где каждое имя обеспечивает точное описание представляемых физических величин. Обратите внимание, что это строковое значение standard_name атрибут, а не имя параметра. Таблица названий стандартов CF определяет более 1000 физических величин, каждая из которых имеет точное описание и соответствующие канонические единицы . Рекомендации по созданию названий стандартов CF документированы на веб-сайте конвенции.

В качестве примера информации, предоставляемой стандартными названиями CF, запись об атмосферном давлении на уровне моря включает:

стандартное имя: air_pressure_at_sea_level
описание: sea_level означает средний уровень моря , который в морских районах близок к геоиду . Давление воздуха на уровне моря — это величина, которую часто обозначают MSLP или PMSL.
канонические единицы: Па

Программное обеспечение

CF-Python — это пакет анализа данных, построенный на полной реализации ( CFDM ) соглашений CF. Авторы CFDM и CF-Python в настоящее время заявляют о желании полностью поддерживать все аспекты соглашений CF.
Библиотека NetCDF-Java анализирует соглашения CF и создает системы координат. на их основе объекты
OriginPro версии 2021b поддерживает ^[17] Соглашение netCDF CF. Усреднение может быть выполнено во время импорта, чтобы обеспечить возможность обработки больших наборов данных в программном обеспечении с графическим интерфейсом.
Библиотека xarray Python анализирует и декодирует данные, хранящиеся в соответствии с конвенциями CF.
Библиотека Iris Python «в значительной степени опирается на соглашения о метаданных NetCDF CF в качестве источника для своей модели данных». ^[18]

Ссылки

^ Грегори, Джонатан (2003). «Стандарт метаданных CF» (PDF) .
^ «Соглашения по стандартизации файлов NetCDF» . Май 1995 г. Архивировано из оригинала 27 мая 2010 г. Проверено 23 июня 2010 г.
^ «Конвенции GDT netCDF для климатических данных, версия 1.3» . 14 марта 1999 года. Архивировано из оригинала 10 июня 2010 года . Проверено 23 июня 2010 г.
^ Лоуренс, Б.Н. (2003). «Поддержание и развитие стандарта CF для данных сообщества ученых о системе Земли» . Архивировано из оригинала 27 мая 2010 г.
^ Рею, Расс (2010). «Соглашения о метаданных CF» (PDF) . Архивировано из оригинала (PDF) 4 апреля 2014 г.
^ Доменико, Бен (2009). «Расширение Web Coverage Service (WCS) 1.1 для кодирования CF-netCDF 3.0» (PDF) .
↑ Проекты и группы, принимающие или поощряющие конвенции CF в качестве стандарта. Архивировано 23 августа 2010 г., в Wayback Machine.
^ «Отчет 12-й сессии Рабочей группы АО/КЛИВАР по совместному моделированию (WGCM)» (PDF) . 2009.
^ Кинтер, Джеймс Л. III (2005). «Проблемы данных для моделирования погоды и климата ВПИК» (PDF) .
^ Тейлор, Карл (2005). «Вопросы, связанные с распространением результатов климатических моделей» (PDF) .
^ Дутрио, Шарль (2010). «Переписчик выходных данных климатической модели» (PDF) . ^{[ постоянная мертвая ссылка ]}
^ Драч, Боб (2002). «Стандарты метаданных для климатических данных в сетке системы Земля» . Архивировано из оригинала 12 сентября 2004 г.
^ Перейти обратно: ^а ^б «NetCDF в ArcGIS 9.2» . 2006. Архивировано из оригинала 14 июня 2010 г. Проверено 23 июня 2010 г.
^ Данлэп, Р.Л. Марк, С. Ругабер, В. Баладжи, Дж. Частанг, Л. Чинквини, К. ДеЛука, Д. Миддлтон и С. Мерфи (2008). «Куратор системы Земли: инфраструктура метаданных для моделирования климата» . Информатика наук о Земле . 1 (3–4): 131–149. дои : 10.1007/s12145-008-0016-1 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
^ В. Баладжи (2008). «Стандарты метаданных для климатических данных в сетке системы Земля» (PDF) . Архивировано из оригинала (PDF) 28 мая 2010 г.
^ Ян, М.; Р. Дюрр; К. Ли (2009). «Исследование использования пакетов архивной информации (AIP) HDF5 для хранения данных NASA ECS» . 25-я конференция по международным интерактивным системам информации и обработки (IIPS) для метеорологии, океанографии и гидрологии, 89-е заседание Американского метеорологического общества.
^ «Импорт и обработка NetCDF» . originlab.com . Проверено 11 мая 2021 г.
^ «Метаданные — Документация Iris» . Проверено 10 февраля 2023 г.

Внешние ссылки

[1] Грегори, Джонатан (2003). «Стандарт метаданных CF» (PDF) .

[2] «Соглашения по стандартизации файлов NetCDF» . Май 1995 г. Архивировано из оригинала 27 мая 2010 г. Проверено 23 июня 2010 г.

[3] «Конвенции GDT netCDF для климатических данных, версия 1.3» . 14 марта 1999 года. Архивировано из оригинала 10 июня 2010 года . Проверено 23 июня 2010 г.

[4] Лоуренс, Б.Н. (2003). «Поддержание и развитие стандарта CF для данных сообщества ученых о системе Земли» . Архивировано из оригинала 27 мая 2010 г.

[5] Рею, Расс (2010). «Соглашения о метаданных CF» (PDF) . Архивировано из оригинала (PDF) 4 апреля 2014 г.

[6] Доменико, Бен (2009). «Расширение Web Coverage Service (WCS) 1.1 для кодирования CF-netCDF 3.0» (PDF) .

[7] Проекты и группы, принимающие или поощряющие конвенции CF в качестве стандарта. Архивировано 23 августа 2010 г., в Wayback Machine.

[8] «Отчет 12-й сессии Рабочей группы АО/КЛИВАР по совместному моделированию (WGCM)» (PDF) . 2009.

[9] Кинтер, Джеймс Л. III (2005). «Проблемы данных для моделирования погоды и климата ВПИК» (PDF) .

[10] Тейлор, Карл (2005). «Вопросы, связанные с распространением результатов климатических моделей» (PDF) .

[11] Дутрио, Шарль (2010). «Переписчик выходных данных климатической модели» (PDF) . ^{[ постоянная мертвая ссылка ]}

[12] Драч, Боб (2002). «Стандарты метаданных для климатических данных в сетке системы Земля» . Архивировано из оригинала 12 сентября 2004 г.

[crwr.utexas-13] Перейти обратно: ^а ^б «NetCDF в ArcGIS 9.2» . 2006. Архивировано из оригинала 14 июня 2010 г. Проверено 23 июня 2010 г.

[14] Данлэп, Р.Л. Марк, С. Ругабер, В. Баладжи, Дж. Частанг, Л. Чинквини, К. ДеЛука, Д. Миддлтон и С. Мерфи (2008). «Куратор системы Земли: инфраструктура метаданных для моделирования климата» . Информатика наук о Земле . 1 (3–4): 131–149. дои : 10.1007/s12145-008-0016-1 . {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )

[15] В. Баладжи (2008). «Стандарты метаданных для климатических данных в сетке системы Земля» (PDF) . Архивировано из оригинала (PDF) 28 мая 2010 г.

[16] Ян, М.; Р. Дюрр; К. Ли (2009). «Исследование использования пакетов архивной информации (AIP) HDF5 для хранения данных NASA ECS» . 25-я конференция по международным интерактивным системам информации и обработки (IIPS) для метеорологии, океанографии и гидрологии, 89-е заседание Американского метеорологического общества.

[17] «Импорт и обработка NetCDF» . originlab.com . Проверено 11 мая 2021 г.

[18] «Метаданные — Документация Iris» . Проверено 10 февраля 2023 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]