Формат файла ГИС

Формат файла ГИС — это стандарт для кодирования географической информации в компьютерный файл , как специализированный тип формата файла для использования в географических информационных системах (ГИС) и других геопространственных приложениях. были созданы десятки форматов С 1970-х годов на основе различных моделей данных для различных целей. Они были созданы правительственными картографическими агентствами (такими как Геологическая служба США или Национальное агентство геопространственной разведки ), поставщиками программного обеспечения ГИС, организациями по стандартизации, такими как Открытый геопространственный консорциум , неформальными сообществами пользователей и даже отдельными разработчиками.

История

Первые ГИС-установки 1960-х годов, такие как Канадская географическая информационная система, были основаны на специальном программном обеспечении и хранили данные в специальных файловых структурах, разработанных для нужд конкретного проекта. По мере их появления их можно будет сравнивать, чтобы найти лучшие практики и общие структуры. ^{[ 1 ]} Когда в 1970-х и начале 1980-х годов было разработано программное обеспечение ГИС общего назначения, включая программы академических лабораторий, таких как Гарвардская лаборатория компьютерной графики и пространственного анализа , правительственные учреждения (например, Map Overlay and Statistical System (MOSS), разработанная в США Служба рыболовства и дикой природы и Бюро землеустройства ), а также новые компании-разработчики программного обеспечения ГИС, такие как Esri и Intergraph , каждая программа была построена на основе собственного проприетарного (и часто секретного) формата файлов. ^{[ 2 ]} Поскольку каждая ГИС-установка была фактически изолирована от всех остальных, обмен данными между ними не имел особого значения.

К началу 1990-х годов распространение ГИС во всем мире и растущая потребность в обмене данными, вскоре ускорившаяся появлением Всемирной паутины и инфраструктур пространственных данных , привели к необходимости в совместимых данных и стандартных форматах. Первой попыткой стандартизации стал стандарт передачи пространственных данных США , выпущенный в 1994 году и предназначенный для кодирования широкого спектра данных федерального правительства. ^{[ 3 ]} Хотя этот конкретный формат не получил широкой поддержки, он привел к другим усилиям по стандартизации, особенно к Открытому геопространственному консорциуму (OGC), который разработал или принял несколько независимых от поставщиков стандартов, некоторые из которых были приняты Международной организацией по стандартизации (ISO). ). ^{[ 4 ]}

Еще одним событием 1990-х годов стал публичный выпуск проприетарных форматов файлов поставщиками программного обеспечения ГИС, что позволило использовать их в другом программном обеспечении. Наиболее ярким примером этого стала публикация формата Esri Shapefile . ^{[ 5 ]} который к концу 1990-х годов стал самым популярным стандартом де-факто для обмена данными во всей геопространственной отрасли. ^{[ 6 ]} Когда проприетарные форматы не использовались совместно (например, покрытие ESRI ARC/INFO), разработчики программного обеспечения часто перепроектировали их, чтобы обеспечить импорт и экспорт в другое программное обеспечение, что еще больше облегчало обмен данными. Одним из результатов этого стало появление с открытым исходным кодом бесплатных программных библиотек , таких как Библиотека абстракции геопространственных данных (GDAL) , которые значительно облегчили интеграцию пространственных данных в любом формате в разнообразное программное обеспечение. ^{[ 7 ]}

В 2000-е годы потребность в специализированных пространственных файлах несколько снизилась благодаря появлению пространственных баз данных , которые включали пространственные данные в реляционные базы данных общего назначения. Однако новые форматы файлов продолжают появляться, особенно с распространением веб-картографии; такие форматы, как язык разметки Keyhole (KML) и GeoJSON, легче интегрировать в языки веб-разработки, чем традиционные файлы ГИС.

Характеристики формата

Для хранения пространственных данных создано более сотни различных форматов, из которых 20–30 в настоящее время широко используются для различных целей. Их можно отличить несколькими способами:

Открытые форматы разрабатываются коллективно сообществом и доступны каждому для реализации и внесения улучшений, тогда как проприетарные форматы разрабатываются компанией-разработчиком программного обеспечения для использования только в их собственном программном обеспечении и обычно сохраняются как коммерческая тайна (хотя они часто являются обратными). - разработано другими). Третья категория между ними включает форматы, которые принадлежат исключительно одной компании или организации, но публикуются и доступны для реализации кем угодно, например Esri Shapefile . ^{[ 5 ]}
Некоторые форматы файлов представляют собой текстовые файлы , которые могут читаться людьми (например, на основе XML или JSON ), особенно те, которые предназначены для обмена данными, тогда как другие представляют собой двоичные файлы , чаще всего предназначенные для собственного использования в программном обеспечении ГИС.
По своей сути пространственные форматы были разработаны специально для хранения географических данных, в то время как другие являются пространственными расширениями форматов, предназначенных для более общего использования (например, GeoTIFF , пространственные базы данных ).
Многие форматы данных включают в себя ту или иную форму сжатия данных , особенно растровые файлы, . Как правило, методы сжатия без потерь предпочтительнее методов с потерями , поскольку необходимо получить исходные значения данных. ^{[ 8 ]}

Растровые форматы

Цифровая модель рельефа, карта (изображение) и векторные данные

Как и любое цифровое изображение, растровые данные ГИС основаны на регулярной мозаике пространства в прямоугольной сетке строк и столбцов ячеек (также известных как пиксели ), при этом в каждой ячейке хранится измеренное значение. Основное отличие от фотографии заключается в том, что сетка привязана к географическому пространству, а не к полю зрения. Разрешение набора растровых данных — это ширина его ячейки в наземных единицах.

Поскольку сетка представляет собой образец непрерывного пространства, растровые данные чаще всего используются для представления географических полей , в которых свойство изменяется непрерывно или дискретно в пространстве. Общие примеры включают дистанционного зондирования изображения , рельеф/высоту над уровнем моря , плотность населения , погоду и климат , свойства почвы и многие другие. Растровые данные могут представлять собой изображения, в которых каждый пиксель (или ячейка) содержит значение цвета. Значение, записанное для каждой ячейки, может иметь любой уровень измерения , включая дискретное качественное значение, такое как тип землепользования, или непрерывное количественное значение, такое как температура, или нулевое значение, если данные недоступны. Хотя растровая ячейка хранит одно значение, ее можно расширить с помощью растровых каналов для представления цветов RGB (красный, зеленый, синий), цветовых карт (сопоставление между тематическим кодом и значением RGB) или расширенной таблицы атрибутов с одной строкой. для каждого уникального значения ячейки. Его также можно использовать для представления отдельных географических объектов , но обычно только в исключительных случаях.

Растровые данные хранятся в различных форматах; от стандартной файловой структуры TIFF, JPEG и т. д. до данных больших двоичных объектов (BLOB), хранящихся непосредственно в системе управления реляционными базами данных (СУБД), аналогично другим классам объектов на основе векторов. Хранилище базы данных при правильной индексации обычно позволяет быстрее извлекать растровые данные, но может потребовать хранения миллионов записей значительного размера.

Примеры растровых форматов

ADRG - Национального агентства геопространственной разведки (NGA) Оцифрованная растровая графика ARC ^{[ 9 ]}
Двоичный файл – неформатированный файл, состоящий из растровых данных, записанных в одном из нескольких типов данных , где несколько каналов хранятся в BSQ (последовательный канал), BIP (полоса с чередованием пикселей) или BIL (полоса с чередованием строк). Географическая привязка и другие метаданные хранятся в одном или нескольких дополнительных файлах . ^{[ 10 ]}
Цифровая растровая графика (ДРГ) – цифровой скан бумажной службы США. топографической карты Геологической
ECRG - улучшенная сжатая растровая графика ARC Национального агентства геопространственной разведки (NGA) (лучшее разрешение, чем CADRG, и без потери цвета)
ECW – расширенный сжатый вейвлет (от ERDAS). Сжатый формат вейвлета, часто с потерями.
Сетка Esri — собственный формат двоичных растров, используемый Esri с середины 1980-х годов.
GeoTIFF — вариант TIFF , обогащенный соответствующими метаданными ГИС, особенно географической привязкой . Открытый формат, ставший одним из самых распространенных форматов обмена данными.
IMG – ERDAS IMAGINE формат файла изображения
JPEG2000 – растровый формат с открытым исходным кодом. Сжатый формат допускает сжатие как с потерями, так и без потерь.
MrSID — база данных бесшовных изображений с различным разрешением (от Lizardtech). Формат сжатого вейвлета допускает сжатие как с потерями, так и без потерь.
netCDF -CF – формат файла netCDF с соглашениями о метаданных CF для данных наук о Земле. Двоичное хранилище открытого формата с возможностью сжатия. Обеспечивает прямой веб-доступ к подмножествам/агрегатам карт через протокол OPeNDAP .
RPF — формат растрового продукта, военный формат файлов, указанный в MIL-STD-2411. ^{[ 11 ]}
- CADRG — сжатый ADRG, разработанный NGA , номинальное сжатие 55:1 по сравнению с ADRG (тип формата растрового продукта)
- CIB — база контролируемых изображений, разработанная NGA (тип формата растрового продукта)
USGS DEM - Геологической службы США Цифровая модель рельефа
- GTOPO30 – Большая полная модель рельефа Земли с точностью 30 угловых секунд, представленная в формате USGS DEM.
DTED - Цифровые данные о высоте местности Национального агентства геопространственной разведки (NGA), военный стандарт для данных о высоте.
Файл привязки — географическая привязка к файлу растрового изображения (например, JPEG, BMP).

Векторные форматы

Набор векторных данных (иногда называемый набором объектных данных) хранит информацию о дискретных объектах, используя кодировку векторной логической модели данных для представления местоположения или геометрии каждого объекта, а также кодировку других его свойств, которая обычно основана на реляционных баз данных. технологии . Обычно один набор данных собирает информацию о наборе тесно связанных или похожих объектов, например обо всех дорогах города.

Модель данных Vector использует координатную геометрию для представления каждой фигуры в виде одного из нескольких геометрических примитивов , чаще всего точек (одна координата нулевого измерения ) , линий (одномерный упорядоченный список координат, соединенных прямыми линиями) и многоугольников ( одномерный упорядоченный список координат, соединенных прямыми линиями). самозамыкающаяся граничная линия, ограничивающая двумерную область). Многие структуры данных были разработаны для кодирования этих примитивов в виде цифровых данных, но большинство современных форматов векторных файлов основаны на Открытого геопространственного консорциума (OGC) спецификации простых функций , часто напрямую включающей ее хорошо известный текст (WKT) или хорошо известный двоичный файл. (WKB) кодировки.

Помимо геометрии каждого объекта, набор векторных данных также должен иметь возможность хранить его атрибуты . Например, база данных, описывающая озера, может содержать информацию о глубине каждого озера, качестве воды и уровне загрязнения. С 1970-х годов почти все форматы векторных файлов приняли модель реляционной базы данных либо в принципе, либо непосредственно с использованием программного обеспечения РСУБД . Таким образом, весь набор данных хранится в таблице , где каждая строка представляет один объект, содержащий столбцы для каждого атрибута. ^{[ 12 ]}^: 256

Для интеграции геометрии и атрибутов в единую структуру формата векторного файла использовались две стратегии: ^{[ 13 ]}

Геореляционный формат хранит их в виде двух отдельных файлов, при этом геометрия и атрибуты каждого объекта связаны порядком файлов или первичным ключом . Это было наиболее распространено с 1970-х по начало 1990-х годов, поскольку разработчикам программного обеспечения ГИС приходилось изобретать свои собственные структуры геометрических данных, но включать существующие форматы файлов реляционных баз данных для атрибутов. Например, формат Esri Shapefile включает файл .dbf из программного обеспечения DOS dBase .
Объектно -ориентированная модель хранит их в единой структуре, свободно или напрямую основанной на объектах объектно-ориентированных языков программирования . Это основа большинства современных форматов файлов, включая пространственные базы данных , которые включают столбец геометрии вместе с другими атрибутами в одной реляционной таблице. Другие форматы, такие как GeoJSON , используют разные структуры геометрии и атрибутов, но объединяют их для каждого объекта в одном файле.

Геопространственная топология часто является важной частью векторных данных, представляя внутренние пространственные отношения (особенно смежность) между объектами. Топология векторных форматов файлов управляется четырьмя способами. В топологических структурах данных , особенно в гарвардской POLYVRT и ее преемнике, покрытии ARC/INFO , топологические связи между точками, линиями и полигонами являются неотъемлемой частью кодирования этих функций. ^{[ 8 ]}^: 46–49 И наоборот, нетопологические или спагетти-данные (такие как шейп-файл Esri и большинство пространственных баз данных ) не содержат топологической информации, причем каждая геометрия полностью независима от всех остальных. Набор топологических данных (часто используемый в сетевом анализе ) дополняет данные спагетти отдельным файлом, кодирующим топологические соединения. ^{[ 12 ]}^: 218 База правил топологии — это список желаемых правил топологии, используемых для обеспечения пространственной целостности данных спагетти, таких как «полигоны округов не должны перекрываться» и «полигоны штатов должны иметь общие границы с полигонами округов». ^{[ 13 ]}

Наборы векторных данных обычно представляют собой отдельные географические объекты , такие как здания, деревья и округа. Однако их также можно использовать для представления географических полей путем хранения мест, где была отобрана выборка из пространственно непрерывного поля. Точки выборки (например, метеостанции и сети датчиков ), контурные линии и триангулированные нерегулярные сети (TIN) используются для представления высоты или других значений, которые постоянно изменяются в пространстве. TIN записывают значения в точках, которые соединяются линиями, образуя неправильную сетку треугольников. Грань треугольников представляет поверхность местности.

Примеры форматов векторных файлов

Форматы, которые обычно используются в настоящее время:

Shapefile — популярный формат ГИС векторных данных, разработанный Esri.
Язык географической разметки (GML) — открытый стандарт на основе XML (от OpenGIS ) для обмена данными ГИС.
GeoJSON — облегченный формат, основанный на JSON , используемый многими пакетами ГИС с открытым исходным кодом.
GeoMedia - Intergraph формат на основе Microsoft Access для хранения пространственных векторов.
Язык разметки Keyhole (KML) - открытый стандарт на основе XML (от OpenGIS ) для обмена данными ГИС.
Формат MapInfo TAB - . векторный формат данных MapInfo с использованием файлов TAB, DAT, ID и MAP
Формат Measure Map Pro – формат данных XML для хранения данных ГИС.
Национальный формат передачи (NTF) - Национальный формат передачи (в основном используется Службой артиллерийской службы Великобритании)
Spatialite — пространственное расширение SQLite , обеспечивающее функциональность векторной базы геоданных. Он похож на PostGIS , Oracle Spatial и SQL Server с пространственными расширениями.
Простые функции — спецификация Открытого геопространственного консорциума для векторных данных.
- Хорошо известный текст (WKT) — язык текстовой разметки для представления геометрии объектов, разработанный Открытым геопространственным консорциумом.
- Хорошо известный двоичный файл (WKB) - двоичная версия известного текста, используемая во многих пространственных базах данных.
SOSI - формат пространственных данных, используемый для публичного обмена пространственными данными в Норвегии.
AutoCAD DXF — формат передачи данных AutoCAD (от Autodesk ).
Файлы географических данных (GDF) — формат файлов обмена географическими данными.

Исторические форматы, которые сегодня редко используются:

ArcInfo Coverage - топологическая структура данных, использовавшаяся в Arc/INFO с 1981 по 2000 год.
Esri TIN — собственный двоичный формат для триангулированных нерегулярных сетевых данных, используемый Esri.
Цифровой линейный график (DLG) - формат Геологической службы США для векторных данных.
TIGER – Топологически интегрированное географическое кодирование и привязка
Формат векторного продукта (VPF) - Национального агентства геопространственной разведки (NGA) для больших географических баз данных. формат векторных данных
Файл пространственных данных – MapGuide высокопроизводительный формат базы геоданных Autodesk, встроенный в .
ISFC - CAD-решение Intergraph на базе MicroStation , присоединяющее векторные элементы к реляционной Microsoft Access . базе данных
Двойное независимое кодирование карт (DIME) — исторический формат файлов ГИС, разработанный в 1960-х годах.

Преимущества и недостатки

Есть несколько важных преимуществ и недостатков использования растровой или векторной модели данных для представления реальности:

Наборы растровых данных записывают значения для всех точек в покрытой области, что может потребовать больше места для хранения, чем представление данных в векторном формате, который может хранить данные только там, где это необходимо.
Рендеринг растровых данных требует меньше вычислительных затрат, чем векторная графика.
Объединение значений и написание пользовательских формул для объединения значений из разных слоев намного проще с использованием растровых данных.
При наложении нескольких частей растровых изображений возникают проблемы с прозрачностью и сглаживанием.
Векторные данные позволяют визуально плавно и легко реализовать операции наложения, особенно с точки зрения графики и информации, основанной на фигурах, такой как карты, маршруты и пользовательские шрифты, что сложнее с растровыми данными.
Векторные данные могут отображаться в виде векторной графики, используемой на традиционных картах, тогда как растровые данные отображаются в виде изображения , которое может иметь блочный вид границ объекта. (в зависимости от разрешения растрового файла).
Векторные данные легче регистрировать, масштабировать и перепроецировать, что упрощает объединение векторных слоев из разных источников.
Векторные данные более совместимы со средами реляционных баз данных, где они могут быть частью реляционной таблицы как обычный столбец и обрабатываться с использованием множества операторов.
Размеры векторных файлов обычно меньше растровых данных, которые могут быть в десятки, сотни и более раз больше векторных данных (в зависимости от разрешения).
Векторные данные проще обновлять и поддерживать, тогда как растровое изображение придется полностью воспроизводить. (Пример: добавлена новая дорога).
Векторные данные предоставляют гораздо больше возможностей анализа, особенно для таких «сетей», как дороги, электроэнергетика, железная дорога, телекоммуникации и т. д. (Примеры: лучший маршрут, крупнейший порт, аэродромы, соединенные с двухполосными автомагистралями). Растровые данные не будут иметь всех характеристик отображаемых объектов.

Интегрированные форматы файлов

Современные объектно-реляционные базы данных теперь могут хранить разнообразные сложные данные, используя тип данных больших двоичных объектов , включая как растровые сетки, так и векторную геометрию. Это позволяет некоторым системам пространственных баз данных хранить данные обеих моделей в одной базе данных.

Esri File База геоданных — собственный формат для локального хранения «объектных» (векторных) и растровых данных. ^{[ 14 ]}
Esri Enterprise Geodatabase — запатентованная модель хранения структуры базы геоданных в различных коммерческих системах управления реляционными базами данных и системах управления реляционными базами данных с открытым исходным кодом. ^{[ 14 ]}
GeoPackage (GPKG) — основанный на стандартах открытый формат, основанный на формате базы данных SQLite для векторных и растровых данных, принятый Открытым геопространственным консорциумом. ^{[ 15 ]}

См. также

Датум (геодезия)
GDAL/OGR — библиотека для чтения и записи многих форматов.
Feature Manipulation Engine (FME), коммерческая программа для преобразования данных между большим количеством форматов.

Ссылки

^ Томлинсон, Роджер Ф.; Калкинс, Хью В.; Марбл, Дуэйн Ф. (1976). Компьютерная обработка географических данных . Пресса ЮНЕСКО.
^ Крисман, Ник (2006). Составление карты неизведанного: как компьютерное картографирование в Гарварде стало ГИС . Эсри Пресс. ISBN 978-1-58948-118-3 .
^ «Стандарт передачи пространственных данных» . Геологическая служба США. дои : 10.3133/fs07799 . Проверено 6 января 2023 г.
^ «Стандарты ОГК» . Открытый геопространственный консорциум . ОГК . Проверено 6 января 2023 г.
^ Jump up to: ^а ^б «Техническое описание шейп-файла ESRI» (PDF) . Техническая библиотека Esri . Эсри. Июль 1998 года . Проверено 6 января 2023 г.
^ Ло, Чор Панг; Юнг, Альберт К.В. (2002). Концепции и методы географических информационных систем . Прентис Холл. п. 185. ИСБН 0-13-080427-4 .
^ «Программное обеспечение с использованием GDAL» . Библиотека абстракции географических данных . ОСГЕО . Проверено 6 января 2023 г.
^ Jump up to: ^а ^б Болстад, Пол (2019). Основы ГИС: первый учебник по географическим информационным системам . Анн-Арбор, Мичиган: XanEdu. п. 69. ИСБН 978-1-59399-552-2 .
^ «Дуга оцифрованной растровой графики (ADRG)» . Цифровое сохранение . Библиотека Конгресса . 25 сентября 2011 г. Проверено 13 марта 2014 г.
^ «Различные поддерживаемые растровые форматы GDAL» .
^ «Формат растрового продукта» . Цифровое сохранение . Библиотека Конгресса . 27 октября 2011 г. Проверено 13 марта 2014 г.
^ Jump up to: ^а ^б Лонгли, Пол А.; Гудчайлд, Майкл Ф.; Магуайр, Дэвид Дж.; Ринд, Дэвид В. (2011). Географические информационные системы и наука (3-е изд.). Уайли.
^ Jump up to: ^а ^б Чанг, Кан Цунг (2014). Введение в географические информационные системы (7-е изд.). МакГроу-Хилл. стр. 50–57. ISBN 978-0-07-352290-6 .
^ Jump up to: ^а ^б «Архитектура базы геоданных» . Документация ArcGIS Pro . Эсри . Проверено 8 января 2023 г.
^ «Стандарт кодирования геопакетов OGC» . Стандарты Открытого геопространственного консорциума . ОГК . Проверено 8 января 2023 г.

[tomlinson1976-1] Томлинсон, Роджер Ф.; Калкинс, Хью В.; Марбл, Дуэйн Ф. (1976). Компьютерная обработка географических данных . Пресса ЮНЕСКО.

[chrisman2006-2] Крисман, Ник (2006). Составление карты неизведанного: как компьютерное картографирование в Гарварде стало ГИС . Эсри Пресс. ISBN 978-1-58948-118-3 .

[SDTS-3] «Стандарт передачи пространственных данных» . Геологическая служба США. дои : 10.3133/fs07799 . Проверено 6 января 2023 г.

[OGC-4] «Стандарты ОГК» . Открытый геопространственный консорциум . ОГК . Проверено 6 января 2023 г.

[shapefile-5] Jump up to: ^а ^б «Техническое описание шейп-файла ESRI» (PDF) . Техническая библиотека Esri . Эсри. Июль 1998 года . Проверено 6 января 2023 г.

[lo-yeung2002-6] Ло, Чор Панг; Юнг, Альберт К.В. (2002). Концепции и методы географических информационных систем . Прентис Холл. п. 185. ИСБН 0-13-080427-4 .

[7] «Программное обеспечение с использованием GDAL» . Библиотека абстракции географических данных . ОСГЕО . Проверено 6 января 2023 г.

[bolstad-8] Jump up to: ^а ^б Болстад, Пол (2019). Основы ГИС: первый учебник по географическим информационным системам . Анн-Арбор, Мичиган: XanEdu. п. 69. ИСБН 978-1-59399-552-2 .

[9] «Дуга оцифрованной растровой графики (ADRG)» . Цифровое сохранение . Библиотека Конгресса . 25 сентября 2011 г. Проверено 13 марта 2014 г.

[10] «Различные поддерживаемые растровые форматы GDAL» .

[11] «Формат растрового продукта» . Цифровое сохранение . Библиотека Конгресса . 27 октября 2011 г. Проверено 13 марта 2014 г.

[longley2011-12] Jump up to: ^а ^б Лонгли, Пол А.; Гудчайлд, Майкл Ф.; Магуайр, Дэвид Дж.; Ринд, Дэвид В. (2011). Географические информационные системы и наука (3-е изд.). Уайли.

[chang2014-13] Jump up to: ^а ^б Чанг, Кан Цунг (2014). Введение в географические информационные системы (7-е изд.). МакГроу-Хилл. стр. 50–57. ISBN 978-0-07-352290-6 .

[geodatabase-14] Jump up to: ^а ^б «Архитектура базы геоданных» . Документация ArcGIS Pro . Эсри . Проверено 8 января 2023 г.

[15] «Стандарт кодирования геопакетов OGC» . Стандарты Открытого геопространственного консорциума . ОГК . Проверено 8 января 2023 г.

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]