Файловая система Unix

Эта статья о реализации файловой системы в некоторых операционных системах Unix и BSD. Общие принципы файловой системы Unix см. в разделе Файловая система Unix .

Не путать с Universal Flash Storage , стандартом устройств хранения данных с той же аббревиатурой.

УФС

Разработчик(и)	CSRG
Полное имя	Файловая система UNIX
Представлено	с 4.2BSD
Структуры
Содержимое каталога	столы
Пределы
Максимальный размер тома	2 73 байт (8 ЗиБ )
Максимальный размер файла	2 73 байт (8 ЗиБ )
Максимальная длина имени файла	255 байт
Функции
Даты записи	UFS1 и UFS2: время последнего доступа (atime), время последнего изменения (mtime), время последней смены индексного дескриптора (ctime), UFS2: время создания индексного дескриптора (время рождения).
Диапазон дат	UFS1: 14 декабря 1901 г. – 18 января 2038 г., UFS2: 64-битное целое число со знаком, смещение от эпохи.
Разрешение даты	UFS1 и UFS2: наносекунда
Другой
Поддерживается операционные системы	A/UX , DragonFly BSD , FreeBSD , FreeNAS , NAS4Free , HP-UX , NetBSD , NeXTSTEP , Linux , OpenBSD , illumos , Solaris , SunOS , Tru64 UNIX , UNIX System V , Orbis OS и другие.

( Файловая система Unix UFS ) — это семейство файловых систем, поддерживаемых многими Unix и Unix-подобными операционными системами. Это дальний потомок исходной файловой системы, используемой в Unix версии 7 .

Дизайн

Том UFS состоит из следующих частей:

• Несколько блоков в начале раздела, зарезервированные для загрузочных блоков (которые необходимо инициализировать отдельно от файловой системы)
• Суперблок, содержащий магическое число, идентифицирующее файловую систему UFS, а также некоторые другие важные числа, описывающие геометрию и статистику этой файловой системы, а также параметры настройки поведения.
• Коллекция групп цилиндров. Каждая группа цилиндров состоит из следующих компонентов:
  • Резервная копия суперблока
  • Заголовок группы цилиндров со статистикой, свободными списками и т. д. об этой группе цилиндров, аналогичный заголовкам в суперблоке.
  • Несколько индексных дескрипторов , каждый из которых содержит атрибуты файла.
  • Количество блоков данных

Индексные дескрипторы нумеруются последовательно, начиная с 0. Индексный дескриптор 0 зарезервирован для нераспределенных записей каталога, индексный дескриптор 1 был индексным дескриптором файла сбойного блока в исторических версиях UNIX, за которым следует индексный дескриптор корневого каталога , который всегда является индексным дескриптором 2, и индексный дескриптор для каталога loss+found, который имеет индексный дескриптор 3.

Файлы каталога содержат только список имен файлов в каталоге и индексный дескриптор, связанный с каждым файлом. файла Все метаданные хранятся в индексном дескрипторе.

История и эволюция

Ранние файловые системы Unix назывались просто FS . FS включала только загрузочный блок, суперблок, группу индексных дескрипторов и блоки данных. Это хорошо работало для небольших дисков, для которых были разработаны ранние Unix-системы, но по мере развития технологий и увеличения размеров дисков перемещение головки взад и вперед между скоплением индексных дескрипторов и блоками данных, на которые они ссылались, приводило к сбоям . Маршалл Кирк МакКьюсик , тогда аспирант Беркли , оптимизировал структуру V7 FS для создания FFS (быстрой файловой системы) BSD 4.2 , придумав группы цилиндров, которые разбивают диск на более мелкие фрагменты, причем каждая группа имеет свои собственные индексные дескрипторы и данные. блоки.

Целью BSD FFS является попытка локализовать связанные блоки данных и метаданные в одной и той же группе цилиндров и, в идеале, все содержимое каталога (как данные, так и метаданные для всех файлов) в той же или близлежащей группе цилиндров, таким образом уменьшение фрагментации , вызванной разбросом содержимого каталога по всему диску.

Некоторые параметры производительности суперблока включали количество дорожек и секторов, скорость вращения диска, скорость головки и выравнивание секторов между дорожками. В полностью оптимизированной системе головку можно было перемещать между близкими дорожками, чтобы считывать разбросанные сектора с чередующихся дорожек, ожидая вращения диска.

По мере того, как диски становились все больше и больше, оптимизация на уровне секторов устарела (особенно для дисков, которые использовали линейную нумерацию секторов и переменные сектора на дорожку). При использовании дисков большего размера и файлов фрагментированное чтение становилось все более серьезной проблемой. Чтобы бороться с этим, BSD изначально увеличила размер блока файловой системы с одного сектора до 1 КБ в версии 4.0 BSD; а в FFS размер блока файловой системы увеличен с 1 КБ до 8 КБ. Это имеет несколько последствий. Вероятность того, что сектора файла будут смежными, намного выше. Объем служебных данных для перечисления блоков файла уменьшается, а количество байтов, представленных любым заданным количеством блоков, увеличивается.

Также возможны диски большего размера, поскольку максимальное количество блоков ограничено номером блока с фиксированной разрядностью. Однако при больших размерах блоков диски с множеством мелких файлов будут тратить пространство впустую, поскольку каждый файл должен занимать хотя бы один блок. Из-за этого в BSD добавлена ​​фрагментация на уровне блоков , также называемая субраспределением блоков, слиянием хвостов или упаковкой хвостов , при которой последний частичный блок данных из нескольких файлов может храниться в одном «фрагментном» блоке вместо нескольких в основном пустых блоков.

Работа над Berkeley FFS была широко принята другими поставщиками Unix, а семейство файловых систем, производных от нее, известно под общим названием UFS.

Реализации

Поставщики некоторых проприетарных систем Unix, таких как SunOS / Solaris , System V Release 4 , HP-UX и Tru64 UNIX , а также открытых производных систем Unix, таких как illumos , приняли UFS. Большинство из них адаптировали UFS для своих нужд, добавив собственные расширения, которые могут не распознаваться версиями Unix других производителей. Много продолжают использовать исходный размер блока и ширину полей данных, как и исходный UFS, поэтому некоторая степень совместимости чтения сохраняется на разных платформах. Совместимость между реализациями в целом в лучшем случае неоднородна.

Начиная с Solaris 7 , Sun Microsystems включила функцию ведения журнала UFS, которая привнесла журналирование файловой системы в UFS, которое все еще доступно в текущих версиях Solaris и Illumos. Solaris UFS также имеет расширения для больших файлов и больших дисков, а также другие функции.

В 4.4BSD и BSD Unix-системах, производных от нее, таких как FreeBSD , NetBSD , OpenBSD и DragonFlyBSD , реализация UFS1 и UFS2 разделена на два уровня: верхний уровень, который обеспечивает структуру каталогов и поддерживает метаданные (разрешения, право собственности, и т. д.) в структуре индексных дескрипторов и нижние уровни, которые предоставляют контейнеры данных, реализованные как индексные дескрипторы. Это было сделано для поддержки как традиционной файловой системы FFS, так и LFS файловой системы с журнальной структурой с общим кодом для общих функций. Верхний уровень называется «UFS», а нижние уровни — «FFS» и «LFS». В некоторых из этих систем термин «FFS» используется для комбинации нижнего уровня FFS и верхнего уровня UFS, а термин «LFS» используется для комбинации нижнего уровня LFS и верхнего уровня UFS.

Кирк МакКьюсик реализовал перераспределение блоков — метод, который меняет порядок блоков в файловой системе непосредственно перед завершением записи, чтобы уменьшить фрагментацию и контролировать старение файловой системы. Он также реализовал мягкие обновления — механизм, который поддерживает согласованность файловой системы без ограничения производительности, как это делал традиционный режим синхронизации. Побочным эффектом этого является уменьшение необходимости проверки файловой системы после сбоя или сбоя питания. Чтобы преодолеть оставшиеся проблемы после сбоя, была введена фоновая утилита fsck.

В UFS2 Кирк МакКьюсик и Пол-Хеннинг Камп расширили уровни FreeBSD FFS и UFS, добавив 64-битные указатели блоков (позволяющие томам расти до 8 зебибайт ), блоки переменного размера (аналогично экстентам ), расширенные поля флагов, дополнительные Штампы «времени рождения», расширенная поддержка атрибутов и списки управления доступом POSIX1.e. UFS2 стала поддерживаемой версией UFS, начиная с FreeBSD 5.0. FreeBSD также представила программные обновления и возможность создавать снимки файловой системы как для UFS1, так и для UFS2. С тех пор они были перенесены в NetBSD, но в конечном итоге мягкие обновления (называемые мягкими зависимостями в NetBSD) были удалены из NetBSD 6.0 в пользу менее сложного механизма журналирования файловой системы, называемого WAPBL (также называемого журналированием), который был добавлен в FFS в NetBSD. 5.0. OpenBSD поддерживает программные обновления начиная с версии 2.9. и имеет поддержку UFS2 (FFS2) (без ACL) начиная с версии 4.2. OpenBSD теперь сделала UFS2 версией UFS по умолчанию и будет включена в выпуск 6.7. Начиная с FreeBSD 7.0, UFS также поддерживает ведение журнала файловой системы с помощью поставщика gjournal GEOM . Во FreeBSD 9.0 добавлена ​​поддержка облегченного журналирования поверх программных обновлений (SU+J), что значительно снижает потребность в фоновом fsck и списках управления доступом NFSv4.

FreeBSD, NetBSD, OpenBSD и DragonFly BSD также включают систему Dirhash , разработанную Яном Доузом. Эта система поддерживает хеш-таблицу в памяти для ускорения поиска в каталогах. Dirhash устраняет ряд проблем с производительностью, связанных с большими каталогами в UFS.

Linux включает реализацию UFS для двоичной совместимости на уровне чтения с другими Unix, но поскольку не существует стандартной реализации расширений UFS, Linux не имеет полной поддержки записи в UFS. Собственная файловая система Linux ext2 была создана на основе UFS1, но не поддерживает фрагменты, и реализация мягких обновлений не планируется. (В некоторых системах, производных от 4.4BSD, уровень UFS может использовать уровень ext2 в качестве уровня контейнера, так же, как он может использовать FFS и LFS.)

NeXTStep , основанный на BSD, также использовал версию UFS. В Apple от Mac OS X она была доступна как альтернатива HFS+ , их собственной файловой системе. Однако, начиная с Mac OS X Leopard , больше невозможно было установить Mac OS X на том в формате UFS. Кроме того, невозможно обновить более старые версии Mac OS X, установленные на томах в формате UFS, до Leopard; обновление требует переформатирования загрузочного тома. Для дисков, отформатированных как UFS, в Mac OS X существовало ограничение на размер файлов в 4 ГБ. Начиная с Mac OS X Lion , поддержка UFS была полностью прекращена.

См. также

• Сравнение файловых систем

Ссылки

Библиография

• Маршалл Кирк МакКьюсик , Уильям Н. Джой , Сэмюэл Дж. Леффлер и Роберт С. Фабри. Быстрая файловая система для UNIX (PDF) (Технический отчет). Группа исследования компьютерных систем, отдел компьютерных наук, факультет электротехники и информатики, Калифорнийский университет, Беркли . Проверено 08 апреля 2013 г. {{cite tech report}}: CS1 maint: несколько имен: список авторов ( ссылка )
• Маршалл Кирк МакКьюсик, Уильям Н. Джой, Сэмюэл Дж. Леффлер и Роберт С. Фабри (август 1984 г.). «Быстрая файловая система для UNIX» (PDF) . Транзакции ACM в компьютерных системах . 2 (3): 181–197. дои : 10.1145/989.990 . S2CID   222285164 . Проверено 08 апреля 2013 г. {{cite journal}}: CS1 maint: несколько имен: список авторов ( ссылка )
• Маршалл Кирк МакКьюсик; Кейт Бостик; Майкл Дж. Карелс и Джон С. Квартерман (1996). «Локальные файловые системы; Локальные файловые хранилища». Проектирование и реализация операционной системы 4.4BSD . Аддисон-Уэсли . ISBN  0-201-54979-4 .
• Маршалл Кирк МакКьюсик и Грегори Р. Гангер (июнь 1999 г.). «Мягкие обновления: метод устранения большинства синхронных записей в быстрой файловой системе» (PDF) . Материалы программы FREENIX Track: Ежегодная техническая конференция USENIX 1999 г. стр. 1–18 . Проверено 08 апреля 2013 г.
• Маршалл Кирк МакКьюсик (февраль 2002 г.). «Запуск «fsck» в фоновом режиме» . Материалы BSDCon 2002 . стр. 55–64 . Проверено 08 апреля 2013 г.
• Маршалл Кирк МакКьюсик (сентябрь 2003 г.). «Усовершенствования быстрой файловой системы для поддержки многотерабайтных систем хранения данных» . Материалы BSDCon 2003 . Проверено 7 февраля 2019 г.
• Ричард МакДугалл; Джим Мауро (2006). «15: Файловая система UFS». Внутреннее устройство Solaris: Solaris 10 и архитектура ядра OpenSolaris (PDF) (2-е изд.). Пресса Sun Microsystems/Прентис Холл. ISBN  0-13-148209-2 .

Внешние ссылки

• Йерун К. ван Гельдерен (23 апреля 2003 г.). «Небольшой FAQ по UFS2» . FreeBSD . Проверено 08 апреля 2013 г.
• «Файловые системы HOWTO: Другие файловые системы» . Проект документации Linux . 27 января 2007 г.
• Файловая система Solaris UFS , см. также [1]
• Формат USF(так в оригинале)/UFS2
• Локальность и быстрая файловая система