Значения, разделенные запятыми

Значения, разделенные запятыми

Простой файл CSV со списком трех человек и компаний, в которых они работают.
Расширение имени файла	.csv
Тип интернет-СМИ	text/csv
Единый идентификатор типа (UTI)	public.текст-значений, разделенных запятыми
конформация ИМВП	public.delimited-values-text
Тип формата	мультиплатформенность, последовательные потоки данных
Контейнер для	информация базы данных , организованная в виде списков, разделенных полями
Стандартный	RFC 4180

Значения, разделенные запятыми ( CSV ), — это текстовый формат файла , в котором для разделения значений используются запятые , а символы новой строки для разделения записей — . Файл CSV хранит табличные данные (числа и текст) в виде обычного текста , где каждая строка файла обычно представляет одну запись данных . Каждая запись состоит из одинакового количества полей , которые в CSV-файле разделены запятыми. Если внутри поля может присутствовать сам разделитель полей, поля можно заключать в кавычки.

Формат файла CSV — это один из типов формата файлов, разделенных разделителями . Часто используемые разделители включают запятую, табуляцию , пробел и точку с запятой. Файлам, разделенным разделителями, часто присваивается расширение «.csv», даже если разделителем полей не является запятая. Многие приложения или библиотеки, которые используют или создают файлы CSV, имеют возможность указать альтернативный разделитель.

Несоответствие стандарту CSV RFC 4180 требует поддержки различных форматов CSV в программном обеспечении для ввода данных. Несмотря на этот недостаток, формат CSV по-прежнему широко распространен в приложениях с данными и широко поддерживается различными программами, включая распространенные приложения для работы с электронными таблицами, такие как Microsoft Excel . Преимущества CSV включают удобочитаемость и простоту формата.

Приложения

CSV — это распространенный формат обмена данными , который широко поддерживается потребительскими, деловыми и научными приложениями. Среди наиболее распространенных применений — перемещение табличных данных. между программами, которые изначально работают в несовместимых (часто проприетарных или недокументированных) форматах. Например, пользователю может потребоваться перенести информацию из программы базы данных, которая хранит данные в собственном формате, в электронную таблицу , использующую совершенно другой формат. Большинство программ баз данных могут экспортировать данные в формате CSV. Большинство программ для работы с электронными таблицами могут читать данные CSV, что позволяет использовать CSV в качестве промежуточного формата при передаче данных из базы данных в электронную таблицу.

CSV также используется для хранения данных. Распространенные инструменты обработки данных, такие как Pandas, включают возможность экспорта данных в CSV для долгосрочного хранения. Преимущества CSV для хранения данных включают простоту CSV, которая упрощает и ускоряет анализ и создание файлов CSV по сравнению с другими форматами данных, удобочитаемость, упрощающая редактирование или исправление данных. и высокая сжимаемость, приводящая к уменьшению файлов данных. Альтернативно, CSV не поддерживает более сложные отношения данных и не делает различия между нулевыми и пустыми значениями, а в приложениях, где эти функции необходимы, предпочтительны другие форматы.

Спецификация

RFC   4180 предлагает спецификацию формата CSV; однако реальная практика часто не соответствует RFC, и термин «CSV» может относиться к любому файлу, который:

1. представляет собой обычный текст, использующий такую ​​кодировку символов, как ASCII , различные Unicode кодировки символов (например, UTF-8 ), EBCDIC или Shift JIS ,
2. состоит из записей (обычно одна запись в строке),
3. с записями, разделенными на поля, разделенные разделителями (обычно один зарезервированный символ, такой как запятая, точка с запятой или табуляция; иногда разделитель может включать необязательные пробелы),
4. где каждая запись имеет одинаковую последовательность полей.

В рамках этих общих ограничений используется множество вариаций. Таким образом, без дополнительной информации (например, соблюдается ли RFC 4180) файл, заявленный просто как формат «CSV», не указан полностью. В результате в некоторых приложениях, поддерживающих файлы CSV, есть мастера импорта текста, которые позволяют пользователям предварительно просмотреть первые несколько строк файла, а затем указать символы-разделители, правила кавычек и обрезку полей.

История

Значения, разделенные запятыми, — это формат данных, который появился персональных компьютеров более чем на десять лет раньше : компилятор IBM Fortran (расширенный уровень H) под OS/360 поддерживал CSV в 1972 году. Ввод/вывод, ориентированный на список («свободная форма»), был определен в FORTRAN 77 , утвержденном в 1978 году. При вводе, ориентированном на список, в качестве разделителей использовались запятые или пробелы, поэтому строки символов без кавычек не могли содержать запятые или пробелы.

Термин «значение, разделенное запятыми» и аббревиатура «CSV» использовались к 1983 году. В руководстве для компьютера Osborne Executive, в который входит электронная таблица SuperCalc , документируется соглашение о кавычках CSV, которое позволяет строкам содержать встроенные запятые, но в руководстве не указано соглашение о встраивании кавычек в строки в кавычках.

Списки значений, разделенных запятыми, легче вводить (например, в перфокарты ), чем данные, выровненные по фиксированным столбцам, и они менее склонны к получению неверных результатов, если значение было выбито на один столбец от предполагаемого местоположения.

Файлы, разделенные запятыми, используются для обмена информацией базы данных между компьютерами двух разных архитектур. Простой текстовый характер файлов CSV в значительной степени позволяет избежать несовместимостей, таких как порядок байтов и размер слов . Файлы в основном удобочитаемы, поэтому с ними легче работать при отсутствии идеальной документации или связи.

Основная инициатива по стандартизации — преобразование « фактического нечеткого определения» в более точное и де-юре — была предпринята в 2005 году. RFC   4180 , определяющий CSV как тип контента MIME . Позже, в 2013 году, некоторые недостатки RFC 4180 были устранены с помощью рекомендации W3C.

В 2014 году IETF опубликовал RFC 7111, описывающий применение фрагментов URI к документам CSV. RFC 7111 определяет, как диапазоны строк, столбцов и ячеек могут быть выбраны из документа CSV с использованием индексов позиции.

В 2015 году W3C , пытаясь улучшить CSV с помощью формальной семантики , опубликовал первые проекты рекомендаций по стандартам метаданных CSV, которые начались как рекомендации в декабре того же года.

Общий функционал

Форматы CSV лучше всего использовать для представления наборов или последовательностей записей, в которых каждая запись имеет идентичный список полей. Это соответствует одному отношению в реляционной базе данных или данным (но не вычислениям) в типичной электронной таблице.

Этот формат восходит к заре бизнес-вычислений и широко используется для передачи данных между компьютерами с разными внутренними размерами слов, потребностями в форматировании данных и т. д. По этой причине файлы CSV распространены на всех компьютерных платформах.

CSV — это текстовый файл с разделителями , в котором для разделения значений используется запятая (многие реализации инструментов импорта/экспорта CSV допускают использование других разделителей; например, использование строки «Sep=^» в качестве первой строки в файле *. csv приведет к тому, что Excel откроет файл, ожидая, что в качестве разделителя будет символ "^" вместо запятой ","). Простые реализации CSV могут запрещать значения полей, содержащие запятую или другие специальные символы, такие как символы новой строки. Более сложные реализации CSV допускают это, часто требуя символов " ( двойные кавычки ) вокруг значений, которые содержат зарезервированные символы (например, запятые, двойные кавычки или, реже, символы новой строки). Встроенные символы двойных кавычек могут затем быть представлены парой последовательных символов. двойные кавычки, или добавив к двойной кавычке escape-символ , например обратную косую черту (например, в Sybase Central).

Форматы CSV не ограничены определенным набором символов . Они работают так же хорошо с наборами символов Unicode (например, UTF-8 или UTF-16 ), как и с ASCII (хотя отдельные программы, поддерживающие CSV, могут иметь свои ограничения). Файлы CSV обычно выдерживают даже простой перевод из одного набора символов в другой (в отличие почти от всех проприетарных форматов данных). Однако CSV не предоставляет никакого способа указать, какой набор символов используется, поэтому об этом необходимо сообщать отдельно или определять на принимающей стороне (если это возможно).

Базы данных, содержащие несколько отношений, нельзя экспортировать как один файл CSV. . Точно так же CSV не может естественным образом представлять иерархические или объектно-ориентированные данные. Это связано с тем, что каждая запись CSV должна иметь одинаковую структуру. Поэтому CSV редко подходит для документов, созданных с помощью HTML , XML или других технологий разметки или обработки текста.

Статистические базы данных в различных областях часто имеют структуру, подобную отношениям, но с некоторыми повторяемыми группами полей. Например, базы данных о состоянии здоровья, такие как «Демографическое и медицинское обследование», обычно повторяют некоторые вопросы для каждого ребенка данного родителя (возможно, до фиксированного максимального количества детей). Системы статистического анализа часто включают в себя утилиты, которые могут «вращать» такие данные; например, «родительскую» запись, включающую информацию о пяти детях, можно разделить на пять отдельных записей, каждая из которых содержит (а) информацию об одном дочернем элементе и (б) копию всей информации, не относящейся к ребенку. CSV может представлять либо «вертикальную», либо «горизонтальную» форму таких данных.

В реляционной базе данных аналогичные проблемы легко решаются путем создания отдельного отношения для каждой такой группы и соединения «дочерних» записей со связанными «родительскими» записями с помощью внешнего ключа (например, идентификационного номера или имени родительского элемента). В языках разметки, таких как XML, такие группы обычно заключаются в родительский элемент и повторяются по мере необходимости (например, несколько <child> узлы внутри одного <parent> узел). При использовании CSV не существует общепринятого однофайлового решения.

Стандартизация

Имя «CSV» указывает на использование запятой для разделения полей данных. Тем не менее, термин «CSV» широко используется для обозначения большого семейства форматов, которые во многом различаются. Некоторые реализации допускают или требуют одинарных или двойных кавычек вокруг некоторых или всех полей; а некоторые резервируют первую запись как заголовок, содержащий список имен полей. Используемый набор символов не определен: некоторым приложениям требуется метка порядка байтов (BOM) Unicode для обеспечения интерпретации Unicode (иногда даже BOM UTF-8). Файлы, в которых вместо запятой используется символ табуляции, можно точнее назвать «TSV» для значений, разделенных табуляцией.

Другие различия в реализации включают обработку более распространенных разделителей полей (таких как пробел или точка с запятой) и символов новой строки внутри текстовых полей. Еще одна тонкость — интерпретация пустой строки: она одинаково может быть результатом записи записи из нулевых полей или записи одного поля нулевой длины; таким образом, его декодирование неоднозначно.

Стандарты RFC 4180 и MIME

Технический стандарт RFC 4180 2005 года формализует формат файла CSV и определяет тип MIME «text/csv» для обработки текстовых полей. Однако интерпретация текста каждого поля по-прежнему зависит от приложения. Файлы, соответствующие стандарту RFC 4180, могут упростить обмен CSV и должны быть широко переносимыми. Среди его требований:

• Строки в стиле MS-DOS, заканчивающиеся символами (CR/LF) (необязательно для последней строки).
• Необязательная запись заголовка (нет надежного способа определить ее наличие, поэтому при импорте требуется осторожность).
• Каждая запись должна содержать одинаковое количество полей, разделенных запятыми.
• Любое поле может быть заключено в кавычки (двойные кавычки).
• Поля, содержащие разрыв строки, двойные кавычки или запятые, должны быть заключены в кавычки. (Если это не так, файл, скорее всего, будет невозможно правильно обработать.)
• Если для заключения полей используются двойные кавычки, то двойные кавычки в поле должны быть представлены двумя символами двойных кавычек.

Формат может обрабатываться большинством программ, которые утверждают, что читают файлы CSV. Исключениями являются: (а) программы могут не поддерживать разрывы строк в полях, заключенных в кавычки, (б) программы могут путать необязательный заголовок с данными или интерпретировать первую строку данных как необязательный заголовок, и (в) двойные кавычки в поле могут не могут быть правильно проанализированы автоматически.

Пакет табличных данных OKF без трения

В 2011 году Фонд открытых знаний (OKF) и различные партнеры создали рабочую группу по протоколам данных, которая позже превратилась в инициативу Frictionless Data. Одним из основных выпущенных ими форматов был пакет табличных данных. Пакет табличных данных в значительной степени основан на CSV, используя его в качестве основного формата передачи данных и добавляя базовые метаданные типа и схемы (в CSV отсутствует какая-либо информация о типе, чтобы отличить строку «1» от числа 1).

Инициатива по беспрепятственным данным также предоставила стандартный формат описания диалекта CSV для описания различных диалектов CSV, например, с указанием разделителя полей или правил кавычек.

Стандарт табличных данных W3C

В 2013 году рабочая группа W3C «CSV в Интернете» начала определять технологии, обеспечивающие более высокую совместимость веб-приложений, использующих CSV или аналогичные форматы. Рабочая группа завершила свою работу в феврале 2016 года и официально закрывается в марте 2016 года с выпуском пакета документов и рекомендаций W3C. для моделирования «Табличных данных», и расширение CSV метаданными и семантикой .

Основные правила

Существует множество неофициальных документов, описывающих форматы CSV. IETF RFC 4180 (см. выше) определяет формат MIME-типа «text/csv», зарегистрированного в IANA .

Правила, типичные для этих и других спецификаций и реализаций «CSV», заключаются в следующем:

• CSV — это с разделителями формат данных , в котором поля/столбцы разделены запятыми , а записи /строки заканчиваются символами новой строки.
• Файл CSV не требует определенной кодировки символов , порядка байтов или формата конца строки (некоторые программы поддерживают не все варианты конца строки).
• Запись заканчивается терминатором строки. Однако терминаторы строк могут быть встроены в поля как данные, поэтому программное обеспечение должно распознавать разделители строк в кавычках (см. ниже), чтобы правильно собрать всю запись из нескольких строк.
• Все записи должны иметь одинаковое количество полей в одном и том же порядке.
• Данные в полях интерпретируются как последовательность символов , а не как последовательность битов или байтов (см. RFC 2046, раздел 4.1). Например, числовое значение 65535 может быть представлено как 5 символов ASCII «65535» (или, возможно, в других формах, таких как «0xFFFF», «000065535.000E+00» и т. д.); но не как последовательность из двух байтов, предназначенную для обработки как одно двоичное целое число, а не как два символа (например, числа 11264–11519 имеют запятую в качестве старшего байта: ord(',')*256..ord(',')*256+255). Если это соглашение об «простом тексте» не соблюдается, файл CSV больше не содержит достаточной информации для его правильной интерпретации, файл CSV вряд ли выдержит передачу через разные компьютерные архитектуры и не будет соответствовать типу MIME text/csv .
• Соседние поля должны быть разделены одной запятой. Однако форматы «CSV» сильно различаются по выбору символа-разделителя. В частности, в языковых стандартах , где в качестве десятичного разделителя используется запятая, вместо нее используется точка с запятой, TAB или другой символ.

  1997,Ford,E350

• Любое поле может быть заключено в кавычки (то есть заключено в двойные кавычки), а некоторые поля должны быть заключены в кавычки, как указано в следующих правилах и примерах:

  "1997","Ford","E350"

• Поля со встроенными запятыми или символами двойных кавычек должны быть заключены в кавычки.

  1997,Ford,E350,"Super, luxurious truck"

• Каждый из встроенных символов двойных кавычек должен быть представлен парой символов двойных кавычек.

  1997,Ford,E350,"Super, ""luxurious"" truck"

• Поля со встроенными разрывами строк должны быть заключены в кавычки (однако многие реализации CSV не поддерживают встроенные разрывы строк).

  1997,Ford,E350,"Go get one now
  they are going fast"
  

• В некоторых реализациях CSV , начальные и конечные пробелы и табуляции обрезаются (игнорируются). Такое сокращение запрещено RFC 4180, который гласит: «Пробелы считаются частью поля и не должны игнорироваться».

  1997, Ford, E350
  not same as
  1997,Ford,E350
  

• Согласно RFC 4180, пробелы вне кавычек в поле не допускаются. ; однако в RFC также говорится, что «пробелы считаются частью поля и их не следует игнорировать». и «Разработчики должны «быть консервативными в том, что вы делаете, и быть либеральными в том, что вы принимаете от других» (RFC 793, раздел 2.10) при обработке файлов CSV».

  1997, "Ford" ,E350

• В реализациях CSV, которые обрезают начальные или конечные пробелы, поля с такими пробелами как значимые данные должны быть заключены в кавычки.

  1997,Ford,E350," Super luxurious truck "

• Обработку двойной кавычки необходимо применять только в том случае, если поле начинается с двойной кавычки. Однако обратите внимание, что двойные кавычки не допускаются в полях без кавычек согласно RFC 4180.

  Los Angeles,34°03′N,118°15′W
  New York City,40°42′46″N,74°00′21″W
  Paris,48°51′24″N,2°21′03″E
  

• Первая запись может быть «заголовком», который содержит имена столбцов в каждом из полей (не существует надежного способа определить, делает ли это файл или нет; однако редко используются символы, отличные от букв, цифр и символов. подчеркивание в именах таких столбцов).

  Year,Make,Model
  1997,Ford,E350
  2000,Mercury,Cougar
  

Пример

Год	Делать	Модель	Описание	Цена
1997	Форд	Е350	переменный ток, абс, луна	3000.00
1999	Шеви	Предприятие «Расширенное издание»		4900.00
1999	Шеви	Предприятие «Расширенное издание, очень большое»		5000.00
1996	Джип	Гранд Чероки	ОБЯЗАТЕЛЬНО ПРОДАВАТЬ! воздух, люк в крыше, загружен	4799.00

Приведенную выше таблицу данных можно представить в формате CSV следующим образом:

Year,Make,Model,Description,Price
1997,Ford,E350,"ac, abs, moon",3000.00
1999,Chevy,"Venture ""Extended Edition""","",4900.00
1999,Chevy,"Venture ""Extended Edition, Very Large""","",5000.00
1996,Jeep,Grand Cherokee,"MUST SELL!
air, moon roof, loaded",4799.00

Пример CSV-файла США/Великобритании (где десятичным разделителем является точка/точка, а разделителем значений является запятая):

Year,Make,Model,Length
1997,Ford,E350,2.35
2000,Mercury,Cougar,2.38

Пример аналогичного европейского файла CSV/ DSV (где десятичный разделитель — запятая, а разделитель значений — точка с запятой):

Year;Make;Model;Length
1997;Ford;E350;2,35
2000;Mercury;Cougar;2,38

Последний формат не соответствует RFC 4180. Соответствие может быть достигнуто за счет использования запятой вместо точки с запятой в качестве разделителя и заключения в кавычки всех чисел, имеющих десятичный знак.

Поддержка приложений

Некоторые приложения используют CSV в качестве формата обмена данными для улучшения совместимости , экспорта и импорта CSV. Другие используют CSV в качестве внутреннего формата .

В качестве формата обмена данными: формат файла CSV поддерживается практически всеми электронными таблицами и системами управления базами данных.

• Электронные таблицы, включая Apple Numbers , LibreOffice Calc и Apache OpenOffice Calc. Microsoft Excel также поддерживает диалект CSV с ограничениями по сравнению с другим программным обеспечением для работы с электронными таблицами (например, по состоянию на 2019 год). Excel по-прежнему не может экспортировать файлы CSV в широко используемой кодировке символов UTF-8, а разделителем не является запятая). Средство импорта CSV LibreOffice Calc на самом деле является более универсальным средством импорта текста с разделителями, поддерживающим одновременно несколько разделителей, а также обрезку полей.
• Различные реляционные базы данных поддерживают сохранение результатов запроса в файл CSV. PostgreSQL предоставляет COPY команда, которая позволяет сохранять и загружать данные в файл и из файла. COPY (SELECT * FROM articles) TO '/home/wikipedia/file.csv' (FORMAT csv) сохраняет содержимое таблицы articles в файл с именем /home/wikipedia/file.csv.
• Многие служебные программы в системах типа Unix (такие как Cut , Paste , Join , sort , uniq , awk ) могут разбивать файлы по разделителю-запятой и, следовательно, могут обрабатывать простые файлы CSV. Однако этот метод неправильно обрабатывает запятые или новые строки в строках в кавычках.

В качестве (основного или дополнительного) внутреннего представления. Может быть собственным или внешним , но отличается от формата обмена («только экспорт/импорт»), поскольку нет необходимости создавать копию в другом формате:

• Некоторые электронные таблицы , включая LibreOffice Calc, предлагают эту опцию, не заставляя пользователя использовать другой формат.
• Некоторые реляционные базы данных при использовании стандартного SQL предлагают оболочку внешних данных (FDW). Например, PostgreSQL предлагает CREATE FOREIGN TABLE и CREATE EXTENSION file_fdw команды для настройки любого варианта CSV.
• Такие базы данных, как Apache Hive, предлагают возможность выражать CSV или .csv.gz в качестве внутреннего формата таблицы.
• Редактор emacs может работать с файлами CSV, используя режим csv-nav.

Формат CSV поддерживается библиотеками, доступными для многих языков программирования . Большинство из них предоставляют возможность указать разделитель полей, десятичный разделитель , кодировку символов, соглашения о кавычках, формат даты и т. д.

Программное обеспечение и ограничения на количество строк

Программы, работающие с CSV, могут иметь ограничения на максимальное количество строк, которые могут содержать файлы CSV. Ниже приведен список распространенного программного обеспечения и его ограничений:

• Microsoft Excel: ограничение на 1 048 576 строк;
• Apple Numbers: ограничение в 1 000 000 строк;
• Google Таблицы: ограничение в 5 000 000 ячеек (произведение столбцов и строк);
• OpenOffice и LibreOffice: ограничение на 1 048 576 строк;
• Текстовые редакторы (такие как WordPad , TextEdit , Vim и т. д.): без ограничений по строкам или ячейкам;
• Базы данных (команда COPY и FDW): без ограничений по строкам или ячейкам.

См. также

• Значения, разделенные табуляцией
• Сравнение форматов сериализации данных
• Значения, разделенные разделителями
• Столкновение разделителей
• База данных в виде плоских файлов
• Простой формат данных
• Замещающий символ , нулевой символ , невидимая запятая U+2063

Дальнейшее чтение

• «Руководство по администрированию IBM DB2 — форматы файлов ЗАГРУЗКА, ИМПОРТ и ЭКСПОРТ» . ИБМ . Архивировано из оригинала 13 декабря 2016 г. Проверено 12 декабря 2016 г. (Содержит описания файлов ASCII с разделителями (.DEL) (включая разделенные запятыми и точками с запятой) и файлы ASCII без разделителей (.ASC) для передачи данных.)