Пакетные трубы

На мэйнфреймах IBM BatchPipes — это утилита пакетной обработки заданий , работающая под управлением операционной системы MVS/ESA и более поздних версий — OS/390 и z/OS . ^[1]

Основная функция

При традиционной обработке, если записи данных записываются в последовательный ( QSAM и BSAM ) набор данных на диске или ленте, они не могут быть прочитаны одновременно другим заданием. «Писатель» и «читатель» не могут работать одновременно. Это называется блокировкой на уровне файла или блокировкой на уровне набора данных .

С помощью BatchPipes установка может организовать «пересылку» данных между двумя заданиями. Преимущество состоит в том, что задания могут выполняться одновременно, и можно, и это очень часто, избежать времени на запись данных во вторичное хранилище и их обратное чтение. Сочетание этих двух характеристик, при разумном использовании, приводит к сокращению общего времени выполнения двух заданий, измеряемого от начала задания записи до конца задания чтения.

BatchPipes поддерживает короткую очередь записей, передаваемых между записывающим устройством и читателем. Средство записи добавляет записи в конец очереди, а средство чтения берет их из начала. Это считается блокировкой на уровне записи и позволяет считывателю и записывающему устройству работать одновременно.

Сортировка — это особый случай: все входные записи должны быть прочитаны, прежде чем можно будет записать первую выходную запись. Следовательно, не может быть никакого перекрытия между входной и выходной фазами. Но фаза ввода может перекрываться с фазой вывода предыдущего задания. Аналогично, фаза вывода сортировки может перекрываться с последующим заданием, считывающим отсортированные данные.

Расширенные топологии каналов

Возможны более сложные топологии, чем «один читатель, один писатель».

«Два читателя — один писатель» — хороший пример попытки сбалансировать скорость чтения и скорость писателя. Поскольку очередь короткая, более быстрому читателю часто приходится ждать, пока более медленный читатель заберет записи из очереди, прежде чем писатель сможет продолжить обработку. Использование двух читателей помогает использовать возможности писателей.
«Одна работа читателем из одной трубы и писателем в другой» часто можно увидеть там, где эта работа редактирует записи. Хотя традиционные пакетные потоки часто содержат такие задания, этот вид обработки можно реализовать, например, с помощью IBM продукта DFSORT или BatchPipeWorks (часть BatchPipes).

Критика

Одним из ключевых моментов реализации является планирование совместной работы операций чтения и записи. В практических пакетных расписаниях это может быть неосуществимо. Более того, если какое-либо задание в конвейере завершится сбоем, действия по восстановлению будут шире, чем просто восстановление этого отдельного задания. По этим причинам в некоторых установках было сложно реализовать BatchPipes.

ПакетнаяТрубаПлекс

мэйнфрейма IBM BatchPipes может использовать Coupling Facility для передачи данных между различными членами Parallel Sysplex с помощью средства BatchPipePlex.

BatchPipeWorks

BatchPipes включает набор этапов конвейера на основе продукта IBM CMS Pipelines, разработанного для операционной системы VM/ESA . Эти этапы обеспечивают дополнительную обработку без необходимости дополнительных пакетных заданий в конвейере.

История

Версия 1 BatchPipes была разработана в конце 1980-х и начале 1990-х годов просто как метод ускорения MVS/ESA пакетной обработки . В 1997 году функциональность BatchPipes была интегрирована в более крупный продукт IBM — SmartBatch (который включал в себя две функции продукта BMC Corporation: DataAccelerator и BatchAccelerator). Однако SmartBatch был прекращен в апреле 2000 года.

APT International, базирующаяся в Монако , выпустила конкурентоспособный продукт под торговой маркой WARP . Через несколько месяцев после запуска этого продукта IBM переименовала свой OS/2 продукт в OS/2 Warp 4 , что противоречило маркетингу высокопроизводительного продукта, который был единственным конкурентом BatchPipes. Это привело к 7 годам судебных разбирательств в Трибунале большой инстанции Парижа. ^[2]^[3]

Впоследствии была выпущена версия BatchPipes 2, включающая BatchPipes версии 1 и некоторые дополнительные функции SmartBatch: BatchPipePlex и BatchPipeWorks. BatchPipes версии 2 по-прежнему является продаваемым продуктом IBM.

См. также

Pipeline (Unix) , оригинальная концепция
Конвейеры CMS
ESA/390 — архитектура мэйнфрейма.

Ссылки

^ «Batchpipes для OS/390 версии 2, выпуск 1 сокращает циклы пакетной обработки» . 18 апреля 2000 г.
^ «Доктрина» .
^ 1994-2000 [16.5.1997,77 Ред. Права промышленной собственности (1997), 46 – Sté PANEK v. Корпорация IBM http://cyber.law.harvard.edu/ilaw/Jurisdiction/Geller_Full.html

[1] «Batchpipes для OS/390 версии 2, выпуск 1 сокращает циклы пакетной обработки» . 18 апреля 2000 г.

[2] «Доктрина» .

[3] 1994-2000 [16.5.1997,77 Ред. Права промышленной собственности (1997), 46 – Sté PANEK v. Корпорация IBM http://cyber.law.harvard.edu/ilaw/Jurisdiction/Geller_Full.html

[1]

[2]

[3]