Целостность данных

Целостность данных — это поддержание и обеспечение точности и согласованности данных на протяжении всего их жизненного цикла . ^[1] Это критический аспект проектирования, реализации и использования любой системы, которая хранит, обрабатывает или извлекает данные. Этот термин имеет широкий охват и может иметь совершенно разные значения в зависимости от конкретного контекста даже в рамках одной и той же области вычислений . Иногда его используют в качестве косвенного термина для обозначения качества данных . ^[2] в то время как проверка данных является предпосылкой для целостности данных. ^[3]

Определение

Целостность данных является противоположностью повреждения данных . ^[4] Общая цель любого метода обеспечения целостности данных одна и та же: гарантировать, что данные записываются точно так, как предполагалось (например, база данных правильно отвергает взаимоисключающие возможности). Более того, при последующем извлечении убедитесь, что данные такие же, как при их первоначальной записи. Короче говоря, целостность данных направлена на предотвращение непреднамеренных изменений информации. Целостность данных не следует путать с безопасностью данных , дисциплиной защиты данных от несанкционированных лиц.

Любые непреднамеренные изменения данных в результате операций хранения, извлечения или обработки, включая злонамеренные намерения, неожиданный сбой оборудования и человеческую ошибку , являются нарушением целостности данных. Если изменения являются результатом несанкционированного доступа, это также может быть нарушением безопасности данных. В зависимости от задействованных данных это может проявляться как безобидно, например, когда один пиксель на изображении имеет цвет, отличный от первоначально записанного, до потери фотографий из отпуска или критически важной для бизнеса базы данных, и даже до катастрофической гибели людей в жизни. -критическая система .

Типы целостности

Физическая целостность

Физическая целостность решает проблемы, связанные с правильным хранением и получением самих данных. Проблемы с физической целостностью могут включать электромеханические неисправности, конструктивные недостатки, усталость материалов , коррозию , перебои в подаче электроэнергии , стихийные бедствия и другие особые экологические опасности, такие как ионизирующее излучение , экстремальные температуры, давление и перегрузки . Обеспечение физической целостности включает в себя такие методы, как резервное оборудование, источник бесперебойного питания , определенные типы RAID- массивов, радиационно-стойкие микросхемы, память с коррекцией ошибок , использование кластерной файловой системы , использование файловых систем, использующих контрольные суммы на уровне блоков, таких как ZFS , хранилища. массивы, которые выполняют вычисления четности, такие как эксклюзивные или используют криптографическую хеш-функцию , и даже имеют сторожевой таймер в критических подсистемах.

Физическая целостность часто широко использует алгоритмы обнаружения ошибок, известные как коды с исправлением ошибок . Ошибки целостности данных, вызванные деятельностью человека, часто обнаруживаются с помощью более простых проверок и алгоритмов, таких как алгоритм Дамма или алгоритм Луна . Они используются для поддержания целостности данных после ручной транскрипции из одной компьютерной системы в другую с помощью человека-посредника (например, номеров кредитных карт или банковских маршрутов). Компьютерные ошибки транскрипции можно обнаружить с помощью хеш-функций .

В производственных системах эти методы используются вместе для обеспечения различной степени целостности данных. Например, файловая система компьютера может быть настроена на отказоустойчивом массиве RAID, но может не обеспечивать контрольные суммы на уровне блоков для обнаружения и предотвращения скрытого повреждения данных . Другой пример: система управления базами данных может быть совместима со свойствами ACID , но контроллер RAID или внутренний кэш записи жесткого диска могут быть несовместимы.

Логическая целостность

Этот тип целостности касается правильности или рациональности части данных в определенном контексте. Сюда входят такие темы, как ссылочная целостность и целостность объектов в реляционной базе данных или правильное игнорирование невозможных данных датчиков в роботизированных системах. Эти проблемы связаны с обеспечением того, чтобы данные «имели смысл» с учетом их среды. Проблемы включают ошибки программного обеспечения , недостатки проектирования и человеческие ошибки. Общие методы обеспечения логической целостности включают в себя такие вещи, как проверочные ограничения , ограничения внешнего ключа программы , утверждения и другие проверки работоспособности во время выполнения.

Физическая и логическая целостность часто сталкиваются со многими проблемами, такими как человеческие ошибки и недостатки проектирования, и обе они должны соответствующим образом обрабатывать одновременные запросы на запись и извлечение данных, причем последний из них является полностью самостоятельным предметом.

Если в секторе данных имеется только логическая ошибка, его можно использовать повторно, перезаписав его новыми данными. В случае физической ошибки затронутый сектор данных становится непригодным для использования.

Базы данных

Целостность данных содержит рекомендации по хранению данных , определяющие или гарантирующие продолжительность хранения данных в конкретной базе данных (обычно в реляционной базе данных ). Для достижения целостности данных эти правила последовательно и регулярно применяются ко всем данным, поступающим в систему, и любое ослабление соблюдения требований может привести к ошибкам в данных. Реализация проверок данных как можно ближе к источнику входных данных (например, ввод данных человеком) приводит к тому, что в систему попадает меньше ошибочных данных. Строгое соблюдение правил целостности данных приводит к снижению частоты ошибок и экономии времени на устранение неполадок и отслеживание ошибочных данных и ошибок, которые они вызывают в алгоритмах.

Целостность данных также включает правила, определяющие отношения, которые часть данных может иметь с другими частями данных, например, запись о Клиенте может быть связана с приобретенными Продуктами , но не с несвязанными данными, такими как Корпоративные активы . Целостность данных часто включает в себя проверку и исправление недопустимых данных на основе фиксированной схемы или предопределенного набора правил. Примером являются вводимые текстовые данные, где требуется значение даты и времени. Также применимы правила получения данных, определяющие, как получается значение данных на основе алгоритма, участников и условий. Он также определяет условия повторного получения значения данных.

Типы ограничений целостности

Целостность данных обычно обеспечивается в системе баз данных с помощью ряда ограничений или правил целостности. Три типа ограничений целостности являются неотъемлемой частью реляционной модели данных : целостность объекта, ссылочная целостность и целостность домена.

Целостность объекта касается концепции первичного ключа . Целостность сущности — это правило целостности, которое гласит, что каждая таблица должна иметь первичный ключ и что столбец или столбцы, выбранные в качестве первичного ключа, должны быть уникальными и не иметь значения NULL.
Ссылочная целостность касается концепции внешнего ключа . Правило ссылочной целостности гласит, что любое значение внешнего ключа может находиться только в одном из двух состояний. Обычно ситуация такова, что значение внешнего ключа относится к значению первичного ключа некоторой таблицы в базе данных. Иногда, и это будет зависеть от правил владельца данных, значение внешнего ключа может быть нулевым . В этом случае мы явно говорим, что либо между объектами, представленными в базе данных, нет связи, либо эта связь неизвестна.
Целостность домена указывает, что все столбцы в реляционной базе данных должны быть объявлены в определенном домене. Основной единицей данных в реляционной модели данных является элемент данных. Такие элементы данных называются неразложимыми или атомарными. Домен — это набор значений одного типа. Таким образом, домены представляют собой пулы значений, из которых извлекаются фактические значения, встречающиеся в столбцах таблицы.
Определяемая пользователем целостность относится к набору правил, заданных пользователем, которые не относятся к категориям целостности объекта, домена и ссылочной целостности.

Если база данных поддерживает эти функции, она несет ответственность за обеспечение целостности данных, а также модели согласованности для хранения и извлечения данных. Если база данных не поддерживает эти функции, ответственность за обеспечение целостности данных лежит на приложениях, в то время как база данных поддерживает модель согласованности для хранения и извлечения данных.

Наличие единой, хорошо контролируемой и четко определенной системы целостности данных увеличивает:

стабильность (одна централизованная система выполняет все операции по обеспечению целостности данных)
производительность (все операции целостности данных выполняются на том же уровне, что и модель согласованности)
возможность повторного использования (все приложения получают выгоду от единой централизованной системы обеспечения целостности данных)
ремонтопригодность (одна централизованная система для всего администрирования целостности данных).

Современные базы данных поддерживают эти функции (см. Сравнение систем управления реляционными базами данных ), и де-факто ответственность за обеспечение целостности данных стала обязанностью базы данных. Компании и многие системы баз данных предлагают продукты и услуги для миграции устаревших систем на современные базы данных.

Примеры

Примером механизма обеспечения целостности данных являются отношения «родитель-потомок» связанных записей. Если родительская запись владеет одной или несколькими связанными дочерними записями, все процессы ссылочной целостности обрабатываются самой базой данных, что автоматически обеспечивает точность и целостность данных, так что ни одна дочерняя запись не может существовать без родительской записи (это также называется «сиротской записью»). и что ни один родитель не потеряет записи своих детей. Это также гарантирует, что ни одна родительская запись не может быть удалена, пока родительская запись владеет дочерними записями. Все это обрабатывается на уровне базы данных и не требует проверки целостности кода в каждом приложении.

Файловые системы

Различные результаты исследований показывают, что ни широко распространенные файловые системы (включая UFS , Ext , XFS , JFS и NTFS ), ни аппаратные решения RAID не обеспечивают достаточной защиты от проблем с целостностью данных. ^[5]^[6]^[7]^[8]^[9]

Некоторые файловые системы (включая Btrfs и ZFS ) предоставляют контрольную сумму внутренних данных и метаданных , которая используется для обнаружения скрытого повреждения данных и улучшения целостности данных. Если таким образом обнаружено повреждение и также используются внутренние механизмы RAID, предоставляемые этими файловыми системами, такие файловые системы могут дополнительно реконструировать поврежденные данные прозрачным способом. ^[10] Этот подход позволяет улучшить защиту целостности данных, охватывающую все пути передачи данных, что обычно называют сквозной защитой данных . ^[11]

Целостность данных применительно к различным отраслям

США Управление по санитарному надзору за качеством пищевых продуктов и медикаментов разработало проект руководства по обеспечению целостности данных для фармацевтических производителей, которые обязаны соблюдать Кодекс федеральных правил США 21 CFR, части 210–212. ^[12] За пределами США аналогичные рекомендации по обеспечению целостности данных были выпущены в Великобритании (2015 г.), Швейцарии (2016 г.) и Австралии (2017 г.). ^[13]
Различные стандарты производства медицинского оборудования прямо или косвенно касаются целостности данных, включая ISO 13485 , ISO 14155 и ISO 5840. ^[14]
В начале 2017 года Управление по регулированию финансовой индустрии (FINRA), отметив проблемы с целостностью данных в автоматизированных системах наблюдения за торговлей и движением денег, заявило, что сделает «разработку программы обеспечения целостности данных для контроля точности представленных данных» своим приоритетом. ^[15] В начале 2018 года FINRA заявило, что расширит свой подход к обеспечению целостности данных на «политику и процедуры управления технологическими изменениями» компаний и проверки ценных бумаг Казначейства. ^[16]
Другие отрасли, такие как горнодобывающая промышленность ^[17] и производство продукции ^[18] все больше внимания уделяют важности целостности данных в связанных с ними средствах автоматизации и мониторинга производства.
Поставщики облачных хранилищ уже давно сталкиваются с серьезными проблемами, связанными с обеспечением целостности или происхождения данных клиентов и отслеживанием нарушений. ^[19]^[20]^[21]

См. также

Ссылки

^ Боритц, Дж. «Взгляды специалистов по информационной безопасности на основные концепции целостности информации» . Международный журнал информационных систем бухгалтерского учета . Эльзевир. Архивировано из оригинала 5 октября 2011 года . Проверено 12 августа 2011 г.
^ Что такое целостность данных? Узнайте, как обеспечить целостность данных базы данных с помощью проверок, тестов и лучших практик
^ Что такое целостность данных? Защита данных 101
^ Из книги: Сверхнаблюдение и социальные последствия микрочиповых имплантатов: новые возможности, стр. 40
^ Виджаян Прабхакаран (2006). «ЖЕЛЕЗНЫЕ ФАЙЛОВЫЕ СИСТЕМЫ» (PDF) . Доктор философии в области компьютерных наук . Университет Висконсин-Мэдисон. Архивировано (PDF) из оригинала 9 октября 2022 г. Проверено 9 июня 2012 года .
^ «Паритет потерян и паритет восстановлен» .
^ «Анализ повреждения данных в стеке хранения» (PDF) . Архивировано (PDF) из оригинала 9 октября 2022 г.
^ «Влияние повреждения диска на СУБД с открытым исходным кодом» (PDF) . Архивировано (PDF) из оригинала 9 октября 2022 г.
^ «Баарф.com» . Baarf.com . Проверено 4 ноября 2011 г.
^ Бирман, Маргарет; Гриммер, Ленц (август 2012 г.). «Как я использую расширенные возможности Btrfs» . Проверено 2 января 2014 г.
^ Юпу Чжан; Абхишек Раджимвале; Андреа Арпачи-Дюссо ; Ремзи Х. Арпачи-Дюссо (2010). «Сквозная целостность данных для файловых систем: пример ZFS» (PDF) . Конференция USENIX по файловым технологиям и технологиям хранения данных . CiteSeerX 10.1.1.154.3979 . S2CID 5722163 . Викиданные Q111972797 . Проверено 2 января 2014 г.
^ «Целостность данных и соответствие CGMP: Руководство для промышленности» (PDF) . Управление по контролю за продуктами и лекарствами США. Апрель 2016 г. Архивировано (PDF) из оригинала 09 октября 2022 г. Проверено 20 января 2018 г.
^ Дэвидсон, Дж. (18 июля 2017 г.). «Руководство по обеспечению целостности данных во всем мире» . Контракт Фарма . Родман Медиа . Проверено 20 января 2018 г.
^ Сканнел, П. (12 мая 2015 г.). «Целостность данных: взгляд на нормативно-правовую базу и стандарты медицинского оборудования» (PDF) . Семинар по целостности данных . Ассоциация парентеральных препаратов. стр. 10–57. Архивировано из оригинала (PDF) 20 января 2018 года . Проверено 20 января 2018 г.
^ Кук, Р. (4 января 2017 г.). «Письмо о приоритетах регулирования и экспертизы на 2017 год» . Орган регулирования финансовой индустрии . Проверено 20 января 2018 г.
^ Кук, Р. (8 января 2018 г.). «Письмо о приоритетах регулирования и экспертизы на 2018 год» . Орган регулирования финансовой индустрии . Проверено 20 января 2018 г.
^ «Целостность данных: обеспечение эффективных решений при добыче полезных ископаемых» (PDF) . Аксенчер. 2016. Архивировано (PDF) из оригинала 9 октября 2022 г. Проверено 20 января 2018 г.
^ «Индустрия 4.0 и киберфизические системы повышают необходимость целостности данных» . Блог Ними . Nymi, Inc., 24 октября 2017 г. Проверено 20 января 2018 г. ^{[ постоянная мертвая ссылка ]}
^ Приядхаршини, Б.; Парвати, П. (2012). «Целостность данных в облачном хранилище». Материалы Международной конференции по достижениям в области техники, науки и менеджмента 2012 года . ISBN 9788190904223 .
^ Зафар, Ф.; Хан, А.; Малик, ЮАР; и др. (2017). «Обзор схем обеспечения целостности данных облачных вычислений: проблемы проектирования, таксономия и будущие тенденции». Компьютеры и безопасность . 65 (3): 29–49. дои : 10.1016/j.cose.2016.10.006 .
^ Имран, М.; Главач, Х.; Хак, IUI; и др. (2017). «Проверка и проверка целостности данных на основе происхождения в облачных средах» . ПЛОС ОДИН . 12 (5): e0177576. Бибкод : 2017PLoSO..1277576I . дои : 10.1371/journal.pone.0177576 . ПМЦ 5435237 . ПМИД 28545151 .

[1] Боритц, Дж. «Взгляды специалистов по информационной безопасности на основные концепции целостности информации» . Международный журнал информационных систем бухгалтерского учета . Эльзевир. Архивировано из оригинала 5 октября 2011 года . Проверено 12 августа 2011 г.

[2] Что такое целостность данных? Узнайте, как обеспечить целостность данных базы данных с помощью проверок, тестов и лучших практик

[3] Что такое целостность данных? Защита данных 101

[4] Из книги: Сверхнаблюдение и социальные последствия микрочиповых имплантатов: новые возможности, стр. 40

[5] Виджаян Прабхакаран (2006). «ЖЕЛЕЗНЫЕ ФАЙЛОВЫЕ СИСТЕМЫ» (PDF) . Доктор философии в области компьютерных наук . Университет Висконсин-Мэдисон. Архивировано (PDF) из оригинала 9 октября 2022 г. Проверено 9 июня 2012 года .

[6] «Паритет потерян и паритет восстановлен» .

[7] «Анализ повреждения данных в стеке хранения» (PDF) . Архивировано (PDF) из оригинала 9 октября 2022 г.

[8] «Влияние повреждения диска на СУБД с открытым исходным кодом» (PDF) . Архивировано (PDF) из оригинала 9 октября 2022 г.

[9] «Баарф.com» . Baarf.com . Проверено 4 ноября 2011 г.

[10] Бирман, Маргарет; Гриммер, Ленц (август 2012 г.). «Как я использую расширенные возможности Btrfs» . Проверено 2 января 2014 г.

[Zhang2010-11] Юпу Чжан; Абхишек Раджимвале; Андреа Арпачи-Дюссо ; Ремзи Х. Арпачи-Дюссо (2010). «Сквозная целостность данных для файловых систем: пример ZFS» (PDF) . Конференция USENIX по файловым технологиям и технологиям хранения данных . CiteSeerX 10.1.1.154.3979 . S2CID 5722163 . Викиданные Q111972797 . Проверено 2 января 2014 г.

[HHSData16-12] «Целостность данных и соответствие CGMP: Руководство для промышленности» (PDF) . Управление по контролю за продуктами и лекарствами США. Апрель 2016 г. Архивировано (PDF) из оригинала 09 октября 2022 г. Проверено 20 января 2018 г.

[DavidsonData17-13] Дэвидсон, Дж. (18 июля 2017 г.). «Руководство по обеспечению целостности данных во всем мире» . Контракт Фарма . Родман Медиа . Проверено 20 января 2018 г.

[PDAData15-14] Сканнел, П. (12 мая 2015 г.). «Целостность данных: взгляд на нормативно-правовую базу и стандарты медицинского оборудования» (PDF) . Семинар по целостности данных . Ассоциация парентеральных препаратов. стр. 10–57. Архивировано из оригинала (PDF) 20 января 2018 года . Проверено 20 января 2018 г.

[Cook2017_17-15] Кук, Р. (4 января 2017 г.). «Письмо о приоритетах регулирования и экспертизы на 2017 год» . Орган регулирования финансовой индустрии . Проверено 20 января 2018 г.

[Cook2018_18-16] Кук, Р. (8 января 2018 г.). «Письмо о приоритетах регулирования и экспертизы на 2018 год» . Орган регулирования финансовой индустрии . Проверено 20 января 2018 г.

[AccentureDataInt16-17] «Целостность данных: обеспечение эффективных решений при добыче полезных ископаемых» (PDF) . Аксенчер. 2016. Архивировано (PDF) из оригинала 9 октября 2022 г. Проверено 20 января 2018 г.

[NymiIndustry17-18] «Индустрия 4.0 и киберфизические системы повышают необходимость целостности данных» . Блог Ними . Nymi, Inc., 24 октября 2017 г. Проверено 20 января 2018 г. ^{[ постоянная мертвая ссылка ]}

[PriyadharshiniData12-19] Приядхаршини, Б.; Парвати, П. (2012). «Целостность данных в облачном хранилище». Материалы Международной конференции по достижениям в области техники, науки и менеджмента 2012 года . ISBN 9788190904223 .

[ZafarASurv17-20] Зафар, Ф.; Хан, А.; Малик, ЮАР; и др. (2017). «Обзор схем обеспечения целостности данных облачных вычислений: проблемы проектирования, таксономия и будущие тенденции». Компьютеры и безопасность . 65 (3): 29–49. дои : 10.1016/j.cose.2016.10.006 .

[ImranProvenance17-21] Имран, М.; Главач, Х.; Хак, IUI; и др. (2017). «Проверка и проверка целостности данных на основе происхождения в облачных средах» . ПЛОС ОДИН . 12 (5): e0177576. Бибкод : 2017PLoSO..1277576I . дои : 10.1371/journal.pone.0177576 . ПМЦ 5435237 . ПМИД 28545151 .

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]