Консервация на основе UVC

Сохранение на основе UVC это архивная стратегия сохранения объектов цифровых — . Он использует универсальный виртуальный компьютер (UVC) — виртуальную машину (VM), специально разработанную для целей архивирования, которая позволяет как эмулировать , так и мигрировать в нейтральный по отношению к языку формат, такой как XML .

разработки

Проблема сохранности цифровых данных

Сохранение цифровых ресурсов имеет первостепенное значение для депозитных библиотек, научных библиотек, архивов, государственных учреждений и практически большинства организаций. Доминирующим подходом к сохранению цифровых данных является миграция. Миграция влечет за собой периодическое преобразование архивной информации в новые логические форматы в качестве ее собственных форматов, в противном случае программное или аппаратное обеспечение, от которого они зависят, устареет. Заметной опасностью миграции является потеря данных и возможная потеря исходной функциональности или «внешнего вида» исходного формата. Кроме того, цифровая миграция требует много времени и средств, поскольку этот процесс требует преобразования формата каждого документа, а также копирования преобразованных битовых потоков на новый носитель по мере необходимости.

Теория эмуляции

Джефф Ротенберг вызвал небольшой переполох в организациях, заинтересованных и ответственных за сохранение цифровой информации, своим докладом в 1999 году: «Как избежать технологического трясины: найти жизнеспособную техническую основу для сохранения цифровой информации». Он заявляет, что не существует жизнеспособных решений, гарантирующих, что цифровая информация будет читаема в будущем. Предлагаемые решения, основанные на стандартах и ​​миграции, считаются трудоемкими и в конечном итоге неспособными сохранить цифровые документы в их исходной форме. Он предлагает:

«Идеальный подход должен обеспечивать единое, расширяемое, долгосрочное решение, которое можно спроектировать раз и навсегда и применять единообразно, автоматически и синхронно (например, при каждом будущем цикле обновления) ко всем типам документов и всем носителям». с минимальным вмешательством человека».

Он предполагает, что лучший способ удовлетворить вышеуказанным критериям — это эмуляция; разработка эмулятора, который будет работать на компьютерах неизвестного будущего; разработка методов сбора метаданных, необходимых для поиска, доступа и воссоздания документа; разработка методов инкапсуляции документов, сопутствующих им метаданных, программного обеспечения и спецификаций эмулятора.

В 2000 году он предлагает реализовать подход к сохранению на основе эмуляции, при котором спецификации эмулятора выражаются в виде программ и интерпретируются программой-интерпретатором спецификаций эмулятора, написанной для виртуальной машины эмуляции.

Подход Ротенберга был встречен со скептицизмом и сочтен слишком технически сложным, слишком дорогим и слишком трудоемким и, следовательно, экономически рискованным (без поддержки эмпирических данных). (См. раздел «Дальнейшая литература»)

UVC

Роль

Рэймонд А. Лори во время своей работы в исследовательском центре IBM в Альмадене инициировал разработку решения на основе UVC для долгосрочного хранения цифровых данных . Он описывает этот подход как «универсальный», потому что его определение настолько простое, что он будет существовать вечно, «виртуальный», потому что его никогда не придется создавать физически, и по своей функциональности он является «компьютером».

IBM (Нидерланды), владелец активов UVC, продолжает развивать концепцию UVC в рамках проекта PLANETS. Раймонд ван Диссен отвечает за расширение применения концепции UVC для сохранения более сложных объектов.

Нидерландов

Национальная библиотека Нидерландов (Koninklijke Bibliotheek, KB) сыграла важную роль в демонстрации того, что эмуляция, основанная на концепции UVC, является жизнеспособным вариантом долгосрочного цифрового хранения.

В 2000 году сторонник эмуляции Джефф Ротенберг вместе с КБ принял участие в исследовании, направленном на проверку и оценку возможности использования эмуляции в качестве стратегии долгосрочного сохранения. Его метод заключался в использовании программной эмуляции для воспроизведения поведения устаревших вычислительных платформ на новых платформах, предлагающих способ запуска оригинального программного обеспечения цифрового документа в далеком будущем, тем самым воссоздавая содержание, поведение и «внешний вид» исходного документа. . Ротенберга критиковали за попытку сохранить неправильную вещь, предлагая эмулировать поведение старых аппаратных платформ и операционных систем для доступа к исходным данным через связанное с ними оригинальное программное обеспечение. Рэймонд А. Лори осознал трудности в попытке создать программу для эмуляции «настоящей» машины на будущей платформе и понял, что этот подход является излишним для целей сохранения цифровых объектов. Вместо этого он представил новый подход к архивированию данных/программ с использованием «Универсального виртуального компьютера». Концепция стратегии сохранения на основе UVC была реализована KB и протестирована на файлах PDF в рамках исследования KB/IBM «Долгосрочное сохранение» (LTP). Создание UVC для PDF-документов более сложное. Вместо этого КБ решило разработать UVC для изображений, поскольку этот подход также будет охватывать документы PDF (файл PDF можно легко преобразовать в серию изображений). Подход, основанный на UVC, привел к тому, что UVC стал одним из инструментов постоянного доступа к изображениям JPEG/GIF87 в подсистеме сохранения электронного хранилища базы знаний. После успешного внедрения UVC КБ продолжило развивать свою стратегию эмуляции для долгосрочного цифрового хранения, сосредоточив внимание на «полной» или аппаратной эмуляции. Этот подход позволил создать надежный компьютерный эмулятор на основе компонентов x86: Dioscuri , первый модульный эмулятор для цифрового сохранения.

Сохранение на основе UVC

Универсальный виртуальный компьютер является частью более широкой концепции, называемой методом сохранения на основе UVC. Этот метод позволяет цифровым объектам (например, текстовым документам, электронным таблицам, изображениям, звуковым волнам и т. д.) восстанавливать их первоначальный вид в любое время в будущем. Методы представляют собой программы, написанные на машинном языке универсального виртуального компьютера (UVC). UVC полностью независим от архитектуры компьютера, на котором он работает.

UVC сам по себе представляет собой программу, которая содержит набор инструкций, а не физический компьютер. Он будет работать как программное приложение на будущей платформе. Поскольку на данный момент мы не знаем, какое оборудование будет доступно в будущем, UVC должен быть создан в тот момент, когда мы хотим получить доступ к конкретному документу из репозитория. Этот UVC затем образует платформу, на которой могут выполняться программы, ранее написанные специально для такого UVC. Создать программу эмуляции UVC в будущем гораздо проще, чем пытаться эмулировать «настоящую» машину.

Описание приложения

Метод стратегии сохранения на основе UVC различает архивирование данных, которое не требует полной эмуляции, и программное архивирование, которое требует. Для архивирования данных UVC используется для архивирования методов, которые интерпретируют сохраненный поток данных. Методы представляют собой программы, написанные на машинном языке универсального виртуального компьютера (UVC). Программа UVC полностью независима от архитектуры компьютера, на котором она работает.

Архивирование данных

Архивирование данных восстанавливает внешний вид исходного файла, но не функциональность исходного формата. Если электронная форма документа используется только для компактного хранения или если документ выглядит только так, как он выглядит для человеческого глаза, то достаточно заархивировать документ в виде изображения. Если необходимы дополнительные функции, например поиск по тексту, хранения только изображения недостаточно. В этом случае текст также необходимо заархивировать вместе с изображением документа. Восстановив исходный вид файла в виде изображения, будущий пользователь сможет увидеть, как выглядит исходный файл в макете страницы, стиле, шрифте и т. д. Сам текст необходимо экспортировать, т. е. в формате ASCII , и его можно сохранить как последовательность однородные элементы (все атрибуты представления, такие как шрифт, размер и т. д., одинаковы для всех символов), поскольку изображение страницы отображает точный вид страницы. В этом случае программа UVC данных состоит из двух частей: одна для декодирования текста, а другая для декодирования изображения.

Что это влечет за собой

Данные, содержащиеся в потоке битов, хранятся во внутреннем представлении, извлеченном из потока данных, логических элементов данных, которые подчиняются определенной схеме в определенной модели данных. Алгоритм (метод) декодирования извлекает различные элементы данных из внутреннего представления и возвращает их, помеченные в соответствии со схемой. Дополнительная схема (схема для чтения схем) с информацией о схеме аналогичным образом сохраняется вместе с данными вместе со способом декодирования схемы для чтения схем.

Логическое представление данных

Логическая модель данных остается простой, чтобы свести к минимуму объем описаний, сопровождающих данные, и уменьшить сложность понимания структуры данных. Модель данных, выбранная для метода сохранения на основе UVC, линеаризирует элементы данных в иерархию тегированных элементов, организованных с использованием подхода, подобного XML. Тегированные элементы данных извлекаются из потока данных цифрового файла. Тег определяет роль, которую элемент данных играет в структуре данных. Теги элементов содержат конкретную информацию о содержании данных независимо от технологии. Кроме того, элементы данных, помеченные в соответствии со схемой, возвращаются клиенту в логическом представлении данных (LDV).

Пример логического представления данных

<Collection>
	<landscape>
		<name>				sugarloaf
		<category>			mountains
		<picture>
			<year>			1916
			<nbr_lines>		1500
			<dots_per_line>		2100
				<line>		...

Схема (декодер формата)

Требуется дополнительная информация о различных элементах данных, чтобы по-человечески понять, что означает каждый элемент, такая информация, как место тегов в иерархии, тип данных (числовые, символьные), а также некоторая информация о семантике данные. Например, изображение имеет два атрибута: ширину и высоту, что указывает на то, что далее следуют ширина, умноженная на высоту; но хранятся ли эти пиксели построчно или столбец за столбцом? Или, для цветных изображений, как интерпретировать значения RGB, чтобы воссоздать правильный цвет? Эту дополнительную информацию также называют метаданными. Схема явно зависит от приложения, поскольку она описывает структуру и значение тегов как частей определенного типа информации.

Схема для чтения схем (Logical Data Schema (LDS))

Если в будущем пользователь получит размеченные элементы данных, он, как правило, не будет понимать значения данных и связей между ними, и будущему пользователю потребуется дополнительная информация о логической структуре. Другими словами, необходима схема для чтения схемы метаданных. Простое решение, принятое для подхода UVC, — это метод для схемы, аналогичный методу для данных: информация о схеме хранится во внутреннем представлении и сопровождается методом ее декодирования.

На этом этапе в архив будут включены: сами данные, метаданные, программа UVC для декодирования данных и программа UVC для декодирования метаданных.

Архивирование программы

Метод UVC для архивирования данных может быть расширен для программного архивирования. Архивирование программы включает в себя архивирование поведения и функциональности программы, а может включать архивирование операционной системы также . Архивирование операционной системы может не понадобиться, если программа представляет собой лишь ряд собственных инструкций операционной системы. Однако операционную систему необходимо заархивировать, если цифровой объект представляет собой полноценную систему с ввода/вывода взаимодействиями .

Если взаимодействие ввода/вывода не требуется, достаточно заархивировать программу операционной системы. В этом случае, используя метод, аналогичный описанному выше, во время архивирования необходимо сохранить следующее:

• программа
• программа UVC, которая эмулирует наборы инструкций операционной системы, в которой работает исходная программа (т. е. программное приложение ).

В будущем UVC интерпретирует код UVC, который даст тот же результат, что и исходная программа, работающая в исходной операционной системе.

Когда задействованы взаимодействия ввода-вывода, все усложняется, поскольку необходимо заархивировать дополнительную программу UVC, имитирующую функционирование процессора устройства ввода-вывода. Эта программа UVC создаст структуру данных ввода/вывода.

В дальнейшем — необходимо записать отображение структуры данных на реальное устройство.

Метод UVC заменяет необходимость множества стандартов (по одному для каждого формата) единым стандартом метода UVC. Этот стандарт должен охватывать: функциональные спецификации UVC, интерфейс для вызова методов, модель схемы и схему для чтения схем.

Спецификация

Основная идея сохранения на основе UVC заключается в том, что цифровые объекты, хранящиеся в архиве, могут быть реконструированы в любое время в будущем без потери смысла этого объекта. На архитектуру UVC влияют характеристики реального существующего компьютера . Он содержит память, регистры и набор инструкций низкого уровня. Архитектура отличается от «настоящего» компьютера тем, что ее никогда не требуется физически реализовывать. Следовательно, фактических физических затрат нет. Основным элементом UVC является сегментная память. Он использует сегменты памяти для хранения отдельных частей данных. Такая конструкция на основе сегментов предотвращает случайную перезапись выделенной памяти другими приложениями, поскольку она не использует совместное пространство памяти.

Концептуальная модель

Вместе с исходными данными можно восстановить значение каждого конкретного цифрового объекта. UVC можно рассматривать как сердце системы. Подобно виртуальной машине Java и среде общего языка , UVC на самом деле является эмулятором , который позволяет программе запускаться на виртуальных экземплярах необходимого, обычно устаревшего оборудования, и будет продолжать эмулировать необходимое оборудование по мере развития технологий. Поскольку на данный момент мы не знаем, какое оборудование будет доступно в будущем, UVC должен быть создан в тот момент, когда мы хотим получить доступ к конкретному документу из репозитория. UVC образует платформу, на которой могут работать программы, специально написанные для UVC.

Что нужно сделать

Различные шаги должны быть предприняты во время архивирования (настоящее время) и времени извлечения (будущее).

Во время архивирования

Шаг 1. Определите подходящую логическую схему для данного приложения.

Шаг 2. Выберите внутреннее представление и свяжите программу UVC P с данными. Это часть обычного дизайна приложения.

Шаг 3. Напишите программу UVC для интерпретации данных.

Шаг 4. Архивируйте информацию о схеме, сохраняя внутреннее представление информации о схеме в битовом потоке вместе с программой UVC Q для ее декодирования. Поскольку структура схемы одинакова для всех приложений, схема для чтения схем выбирается один раз и навсегда.

Во время получения

Шаг 1. Создайте эмулятор на текущей платформе. Из-за простоты концепции UVC опытным разработчикам программного обеспечения довольно легко создать эмулятор UVC для конкретной платформы того времени.

Шаг 2. Разработайте программу просмотра логических данных (программу восстановления данных). Это прикладная программа, которая считывает объектный код UVC и поток битов и вызывает эмулятор для выполнения программы UVC, т. е. программа управляет UVC и всем взаимодействием ввода/вывода между ним.

Шаг 3. Напишите программу восстановления для восстановления схемы. Поскольку логическое представление информации о схеме фиксировано, одна программа восстановления может фактически поддерживать все приложения. Если будущий клиент уже знает логическое представление восстанавливаемых документов, то схему не обязательно нужно извлекать. Более того, схему необходимо запросить только один раз для коллекции документов одного типа.

Соглашение UVC

Соглашение UVC включает элементы информации, которые необходимо заархивировать сегодня и сохранить на неопределенный срок, чтобы обеспечить возможность извлечения цифровых объектов в будущем. В конвенцию включены;

• Документ об архитектуре UVC
• Интерфейс эмулятора UVC (Просмотр логических данных)
• Определение логической схемы данных или LDS (схемы для чтения схем)

Конвенция должна быть «высечена на камне». Его можно сохранить в цифровом виде, на бумаге и/или на микрографическом носителе.

Система консервации

Компоненты

Консервация на основе УФ-излучения, поскольку основная идея метода консервации на основе УФ-излучения, основана на четырех различных компонентах. Это:

• Программа UVC (декодер формата)
• Схема логических данных (LDS) с описанием типа информации
• Универсальный виртуальный компьютер
• Просмотр логических данных (интерфейс UVC)
  • UVC-интерпретатор
  • Программа восстановления

Рис. 2 UVC и его компоненты

Описание метода

Программа UVC декодирует формат файла цифрового объекта. Эта программа декодера формата работает на UVC, который является независимым от платформы слоем и не зависит от будущих изменений аппаратного и программного обеспечения. Выполнение декодера формата доставляет теги элементов. Эти элементы создают логическое представление данных (LDV) данных, которое очень похоже на XML. LDV — это реализация LDS, описывающая структуру и значение тегов как частей определенного типа информации.

Все эти компоненты контролируются программой просмотра логических данных, называемой просто средством просмотра. Для реконструкции средство просмотра запускает UVC и передает данные цифрового объекта в декодер формата, работающий поверх UVC. Взамен он извлекает LDV и реконструирует конкретное представление значения исходного объекта.

Производительность

Архитектура опирается на концепции, существовавшие с начала компьютерной эры: память, регистры и базовые инструкции без второстепенных функций, которые часто вводятся для повышения производительности выполнения. Производительность имеет второстепенное значение, поскольку программы UVC запускаются в основном для восстановления данных, а не для работы с ними.

Скорость также не является серьезной проблемой, поскольку будущие машины будут намного быстрее, и, следовательно, эмуляция UVC на будущей машине будет работать намного быстрее. Более того, гибкость UVC важнее скорости исполнения. Несмотря на это, производительность всегда можно улучшить.

Реализация

Доказано, что UVC для архивирования данных, то есть архивирования статических файлов, работает в оперативной среде цифрового архивирования. UVC — один из инструментов постоянного доступа к изображениям в базе знаний.

UVC для изображений

Доказано, что UVC успешно восстанавливает цифровые объекты в их первоначальном виде. Приложение простое, поскольку для изображений не требуется никакой функциональности. Подход к разработке UVC для изображений JPEG оправдан, поскольку большинство форматов можно конвертировать в этот формат. Например, документ PDF может отображаться как серия изображений JPEG, сохраняя тем самым «внешний вид» исходного цифрового объекта, но жертвуя функциональностью. Кроме того, приложение для изображений JPEG можно легко адаптировать для эмуляции изображений TIFF, внеся небольшую корректировку в схему логических данных.

Этот подход также можно применить ко всем другим объектам, не содержащим поведенческих аспектов. Например, написаны интерпретаторы (частично) для Excel, Lotus 1-2-3 и PDF. Однако эти приложения обрабатывают только статические функции форматов.

Эмуляция на основе UVC

Эмуляция на основе UVC использует UVC как универсальную платформу, на которой можно построить независимый от платформы эмулятор. UVC (программное обеспечение) воссоздает простой компьютер общего назначения и может быть легко реализован на любой компьютерной платформе сейчас и в будущем. Благодаря этой стратегии будущие пользователи всегда должны иметь возможность доступа и просмотра исходного объекта. Официальная спецификация UVC должна сохраняться во время консервации. Также необходимо разработать декодеры для каждого конкретного формата файлов, и для каждого типа цифровых объектов требуется LSD, определяющий типы объектов по изображению, звуку, электронной таблице, тексту и т. д. И, конечно же, исходные объекты также должны быть сохранены.

Сложные объекты/динамический контент

Как упоминалось ранее, подход на основе UVC эффективно реализован только для статических файлов. Технология продолжает разрабатываться Раймондом ван Диссеном (IBM) для включения динамических объектов за счет использования средств связи между программой UVC и будущим приложением.

подходы

Другими подходами к эмуляции являются многоуровневая эмуляция, мигрированная эмуляция и эмуляция виртуальной машины (VM).

Многоуровневая эмуляция

Стековая эмуляция — это эмуляция, зависящая от платформы, которая со временем требует запуска нескольких эмуляторов друг над другом для реконструкции исторической платформы. Это обеспечивает лучшую производительность и функциональность, но не обеспечивает совместимости между платформами. Этот подход в основном можно встретить в игровой индустрии.

Перенесенная эмуляция

Мигрированная эмуляция предполагает создание эмулятора, зависящего от платформы, который необходимо перенести (адаптировать) на последующие более новые хосты. Когда конкретная операционная система, на которой создан эмулятор, устаревает, эмулятор переводится для работы на новой текущей платформе. Этот подход представляет собой стратегию с высокими рисками.

Эмуляция виртуальной машины (EVM)

EVM был представлен Джеффом Ротенбергом в 1999 году и предполагает введение дополнительного уровня между хост-платформой и эмулятором и, как говорят, не зависит от платформы и времени. В этом подходе используется виртуальная машина и интерпретатор спецификации эмулятора. Говорят, что он не зависит от платформы и времени. Это довольно сложно, поскольку необходимо написать спецификацию эмуляции для компьютерной платформы, на которой работает исходное программное обеспечение. Затем спецификация интерпретируется интерпретатором спецификации эмуляции, который создает эмулятор для старой платформы. И интерпретатор, и созданный эмулятор работают на EVM.

Проблемы с авторским правом

Ожидается, что вопросы авторского права при этом подходе не будут отличаться от вопросов, возникающих при любом другом подходе.

Если на формат существуют права интеллектуальной собственности, этот вопрос необходимо обсудить с владельцами формата. Аналогично, для приложений с поддержкой UVC требуется исходный код от разработчика и, следовательно, разрешение владельца. Наконец, для эмуляции оборудования требуются все соответствующие лицензии на программное обеспечение, работающее в системе.

Историческая хронология

• 1995 Ротенберг выступает за эмуляцию как решение для долгосрочного сохранения.
• 2000 Ротенберг описывает виртуальную машину-эмулятор (EVM).
• 2001 Лори представляет новый подход к сохранению цифровых данных, основанный на универсальном виртуальном компьютере.
• 2002 Лори сообщает о продолжающейся работе по совершенствованию методологии и созданию первоначального прототипа.
• 2002 г. Проверка концепции сохранения статических файлов с помощью UVC.
• 2004 г. Экспериментальный этап внедрения UVC для изображений в среде оперативного цифрового архива.
• 2005 г. Работа UVC как инструмент постоянного доступа к изображениям.
• 2007 год: универсальная платформа и библиотека компонентов, вдохновленная UVC, для модульной модели эмуляции.
• настоящее время (2009 г.) продолжающиеся исследования по распространению подхода консервации на основе УФ-излучения на сложные процессы.

См. также

• Цифровое сохранение
• Эмулятор
• Цифровое устаревание
• Форматы файлов, преобразование и миграция

Дальнейшее чтение

• Каплан, П. (2008), «Сохранение цифровых материалов, Глава 2: Практика сохранения», Library Technology Reports , 44 (2): 10–13.
• Бирман, Б. (1999), «Реальность и химеры в сохранении электронных записей» , журнал D-Lib , 5 (4)
• Грейнджер, С. (2000), «Эмуляция как стратегия сохранения цифровых данных», D-Lib Magazine , 6 (10), doi : 10.1045/октябрь 2000-грейнджер
• Хендли, Т. (1998), Сравнение методов и затрат на сохранение цифровой информации. Отчет 106 об исследованиях и инновациях Британской библиотеки , Бостон-Спа: Британская библиотека и центр инноваций
• Ротенберг Дж. (1999), Как избежать технологического зыбучего песка: найти жизнеспособную техническую основу для сохранения цифровой информации. Отчет Совету по библиотечным и информационным ресурсам
• Расбридж К. (2006), «Извините… Некоторые заблуждения о сохранности цифровой информации?» , Ариадна (46)
• Ван дер Хувен, младший, ван Вейнгаарден, Х.Н. (2005), «Модульная эмуляция как стратегия долгосрочного сохранения цифровых объектов» (PDF) , Труды IWAW, Вена, Австрия [онлайн] 22 и 23 сентября 2005 г. {{citation}}: CS1 maint: несколько имен: список авторов ( ссылка )

Внешние ссылки

• Демонстрационный инструмент UVC — бесплатно доступный демонстрационный инструмент UVC от IBM.
• Электронное хранилище и цифровое хранение — ссылка на страницу KB «Электронное хранилище и цифровое хранение».
• KB, UVC для изображений — Краткое описание UVC для изображений
• Программное обеспечение Dioscuri — программное обеспечение с открытым исходным кодом для любого человека или учреждения, которое хотело бы снова работать со своими старыми цифровыми документами.
• Партнеры PLANETS - Краткое описание роли IBM в проекте PLANETS