Партийная обработка

Компьютерная обработка партии - это метод запуска программных программ, называемых заданиями автоматически. В то время как пользователи обязаны отправлять задания, никакое другое взаимодействие пользователем не требуется для обработки партии. Партия могут автоматически запускать в запланированное время, а также запускаться в зависимости от наличия компьютерных ресурсов.

История

Термин «переработка партии» происходит в традиционной классификации методов производства как производство работы (одноразовое производство), партийное производство (производство «партии» нескольких предметов, по одному этапе за раз) и производство потока (Массовое производство, все этапы в процессе одновременно).

Ранняя история

Ранние компьютеры были способны запускать только одну программу за раз. Каждый пользователь имел единственный контроль над машиной в течение запланированного периода времени. Они поступят на компьютер с программой и данными, часто на перфорированных бумажных картах и магнитной или бумажной ленте, и будут загружать свою программу, запускать и отлаживать ее, и уносят свои выводы, когда закончите.

По мере того, как компьютеры стали быстрее, настройка и время снятия стали большим процентом доступного компьютерного времени. Были разработаны программы, называемые мониторами , предшественники операционных систем , которые могли обрабатывать серию или «партия» программ, часто из магнитной ленты , подготовленной в автономном режиме. Монитор будет загружен в компьютер и запустит первую работу партии. В конце работы он восстановит контроль, загружается и запускает следующий, пока партия не будет завершена. Часто выходной выход был записан на магнитную ленту и напечатана или переписывается в автономном режиме. Примерами мониторов были система IBM Fortran Monitor , SOS (Share Operating System) и, наконец, IBSY для систем IBM 709X в 1960 году. ^{[ 1 ]}^{[ 2 ]}

Системы третьего поколения

Компьютеры третьего поколения ^{[ нужно разъяснения ]}^{[ 3 ]} Способный к многопрограммам начал появляться в 1960 -х годах. Вместо того, чтобы выполнять одну партированную работу за раз, эти системы могут иметь несколько партийных программ, работающих одновременно, чтобы сохранить систему максимально занятой. Одна или несколько программ может ожидать ввода, одна активно работающая на процессоре, а другие генерируют вывод. Вместо автономного ввода и вывода программы, называемые каскадерами , читают задания из карт, диска или удаленных терминалов и помещают их в очередь работы , которая будет выполнена. Чтобы предотвратить тупики, планировщик заданий должен знать требования к ресурсам каждой работы - память, магнитные ленты, приготовленные на горы и т. Д., Поэтому были разработаны различные языки сценариев для предоставления этой информации структурированным образом. Вероятно, наиболее известным является язык контроля над работой IBM (JCL). Планировщики заданий выбирают задания для выполнения в соответствии с различными критериями, включая приоритет, размер памяти и т. Д. Удаленная партия - это процедура отправки партийных заданий из удаленных терминалов, часто оснащенных считывателем перфокарты и линейный принтер . ^{[ 4 ]} Иногда асимметричная многопроцестра используется для входа и вывода партии и вывода для одного или нескольких больших компьютеров с использованием прикрепленной меньшей и менее дорогой системы, как в системе IBM/360 прикрепленный процессор поддержки . ^{[ А ]}

Более поздняя история

Первая система общего времени общего назначения, совместимая система совместного использования времени (CTSS), была совместима с партийной обработкой. Это способствовало переходу от партийной обработки к интерактивным вычислениям . ^{[ 5 ]}

Начиная с конца 1960-х годов, интерактивные вычисления, такие как через текстовые на основе текстовых терминалов интерфейсы (как в оболочках UNIX или петель с чтением-эвер-печати ), а более поздние графические пользовательские интерфейсы стали обычным явлением. Неинтерактивные вычисления, как одноразовые задания, такие как компиляция, и обработка множества элементов в партиях, стали ретроспективно называемыми как пакетная обработка , и термин пакетный заданий (в раннем использовании часто «партия рабочих мест») стало обычным явлением. Раннее использование особенно встречается в Мичиганском университете , вокруг системы терминалов Мичигана (MTS). ^{[ 6 ]}

Несмотря на то, что расписание существует, его использование не было достаточно надежным для обработки корпоративных данных; Ничто из этого не было связано с более ранним оборудованием для записи единиц , которое было управляемым человеком.

Непрерывный

Неинтерактивные вычисления остаются распространенными в вычислениях, как для общей обработки данных, так и для системных задач «домашнее хозяйство» (с использованием системного программного обеспечения ). Программа высокого уровня (выполнение нескольких программ, с некоторой дополнительной логикой «клей») сегодня чаще всего называется сценарием и написана на языках сценариев , особенно сценариях оболочки для системных задач; В IBM PC DOS и MS-DOS вместо этого известно как пакетный файл . Это включает в себя компьютеры на основе UNIX , Microsoft Windows , MacOS (чей фундамент -ядро BSD Unix) и даже смартфоны . Рабочий сценарий, особенно один из которых выполняется из интерактивного сеанса входа в систему , часто известен как работа , но этот термин используется очень неоднозначно.

"Не существует прямой обработки пакетной обработки Z/OS в системах ПК или UNIX. Партийные задания обычно выполняются в запланированное время или на при необходимости. Возможно, самое близкое сравнение-с процессами, выполняемыми по команде at или cron в Unix, хотя различия значительны ». ^{[ 7 ]}

Современные системы

Пакетные приложения по -прежнему имеют решающее значение в большинстве организаций в значительной степени потому, что многие общие бизнес -процессы поддаются обработке партии. Хотя онлайн-системы также могут функционировать, когда ручное вмешательство не требуется, они, как правило, не оптимизированы для выполнения большого объема, повторяющихся задач. Следовательно, даже новые системы обычно содержат одно или несколько пакетных приложений для обновления информации в конце дня, создавая отчеты, печатные документы и другие неинтерактивные задачи, которые должны надежно выполнять в определенные сроки бизнеса.

Некоторые приложения поддаются обработке потока, а именно те, которые нуждаются в данных только с одного входа одновременно (например, а не об итогах): запустите следующий шаг для каждого входа, когда он завершает предыдущий шаг. В этом случае обработка потока снижает задержку для отдельных входов, что позволяет их завершить, не ожидая, пока вся партия завершится. Тем не менее, многие приложения требуют данных из всех записей, в частности, такие расчеты, как итоги. В этом случае вся партия должна быть завершена до того, как у него есть полезный результат: частичные результаты не подлежат использованию.

Современные приложения для партий используют современные пакетные рамки, такие как Jem The Bee, Spring Parath ^{[ 8 ]} или реализации JSR 352 ^{[ 9 ]} Написано для Java , и другие рамки для других языков программирования, для обеспечения устойчивости к разлому и масштабируемости, необходимых для обработки больших объемов. Чтобы обеспечить высокоскоростную обработку, пакетные приложения часто интегрированы с решетками сетки для разбиения пакетного задания на большое количество процессоров, хотя при этом существуют значительные проблемы программирования. Обработка пакетов с высокой объемом также особенно требует от архитектуры системы и приложений. Архитектуры, которые имеют сильную производительность ввода/выходных данных и вертикальную масштабируемость , включая современные компьютеры мэйнфреймов , имеют тенденцию обеспечивать лучшую партированную производительность, чем альтернативы.

Языки сценариев стали популярными, когда они развивались вместе с партийной обработкой. ^{[ 10 ]}

Пакетное окно

Окно партии -это «период менее интенсивной онлайн-активности», ^{[ 11 ]} Когда компьютерная система может запускать партийные задания без помех из интерактивных онлайн -систем или с интерактивными онлайн -системами.

Рабочие места в конце дня в конце дня (EOD) требуют концепции сокращения , где транзакция и данные сокращаются для определенного дневного партийного действия («Депозиты после 15:00 будут обработаны на следующий день»).

В качестве требований к времени безотказной работы в Интернете расширились для поддержки глобализации , Интернета и других потребностей бизнеса, пакетное окно сокращалось ^{[ 12 ]}^{[ 13 ]} и все больше внимания уделяли методы, которые потребовали бы, чтобы данные онлайн были доступны в течение максимального количества времени.

Размер партии

Размер партии относится к количеству рабочих единиц, которые будут обработаны в рамках одной партии. Некоторые примеры:

Количество строк из файла для загрузки в базу данных перед совершением транзакции.
Количество сообщений в Dequeue из очереди.
Количество запросов на отправку в пределах одной полезной нагрузки.

Использование общей партийной обработки

Эффективные объемные обновления базы данных и автоматическая обработка транзакций , в отличие от интерактивных приложений онлайн -обработки транзакций (OLTP). Стадия экстракта , преобразования, нагрузки (ETL) в заполнительных хранилищах данных по своей природе является пакетным процессом в большинстве реализаций.
Выполнение объемных операций на цифровых изображениях , таких как изменение размера, преобразование, водянка или иное редактирование группы файлов изображений.
Преобразование компьютерных файлов из одного формата в другой. Например, пакетное задание может преобразовать запатентованные и устаревшие файлы в общие стандартные форматы для запросов конечного пользователя и отображения.
Учебное машинное обучение . Например, веб-сайт электронной коммерции может захотеть обрабатывать транзакции клиентов в почасовую партию для обновления модели, которая дает рекомендации по сравнению с соответствующими продуктами , чтобы сохранить вычислительные ресурсы . ^{[ 14 ]}

Заметные среды планирования и исполнения партий

или платформа IBM Mainframe Z/OS Операционная система имеют, возможно, наиболее высоко изысканный и развитый набор пакетных обработчиков из -за его происхождения, долгой истории и продолжающейся эволюции. Сегодня такие системы обычно поддерживают сотни или даже тысячи одновременных онлайн и пакетных задач в рамках одного изображения операционной системы . Технологии, которые помогают одновременной партии и онлайн -обработке, включают язык контроля над работой (JCL), языки сценариев, такие как REXX , подсистема ввода работы ( JES2 и JES3 ), менеджер рабочей нагрузки (WLM), Manager Automatic Restart Manager (ARM), службы восстановления ресурсов (RR) , IBM DB2 Обмен данными, параллельный Sysplex , уникальные оптимизации производительности, такие как HiperDispatch , архитектура канала ввода -вывода и несколько другие

Программы UNIX cron, at, и batch (сегодня batch это вариант at) разрешить сложное планирование заданий. У Windows есть планировщик работы . Большинство высокопроизводительных вычислительных кластеров используют пакетную обработку, чтобы максимизировать использование кластера. ^{[ 15 ]}

Смотрите также

Фоновый процесс
Пакетный файл
Партийное переименование - чтобы автоматически переименовать множество файлов без вмешательства человека, чтобы сэкономить время и усилия
Batchpipes - для утилиты, которая повышает партийную производительность
Режимы обработки
Поддержка производства - для пакетной работы/расписания/потоковой поддержки
Высокопроизводительные вычисления

Примечания

^ Использование спутниковых компьютеров для этой цели началось ранее, например, в IBM 7094/7044 Прямой связанной системы .

Ссылки

^ «Прямая пара для IBM 7090» . SoftWarePreservationGroup.org . IBSYS была операционной системой для 7090, которая развивалась из SOS (операционная система Share)
^ «История операционных систем» (PDF) . Университет Вашингтона . Архивировано (PDF) из оригинала на 2022-10-09 . Получено 10 октября 2019 года .
^ «Почему ты не умрешь? С/360 IBM и его наследие на 50» . Реестр . 7 апреля 2014 года.
^ «Справочное руководство по аппаратному терминалу пользователя CDC» (PDF) . Битсаверс . Архивировано (PDF) из оригинала на 2022-10-09.
^ Уолден, Дэвид; Ван Влек, Том , ред. (2011). «Совместимая система совместного использования времени (1961-1973): пятидесятая годовщина памятного обзора» (PDF) . IEEE Computer Society. Архивировано (PDF) из оригинала на 2022-10-09 . Получено 20 февраля 2022 года . CTSS назывался «совместимым» в том смысле, что FMS можно запустить в B-Core как «задний» пользователь, почти так же эффективно, как и на обнаженной машине, а также потому, что программы, собранные для партии FMS, могут быть загружены и выполнены в Среда обмена временем «передний план» (с некоторыми ограничениями). ... эта функция позволила вычислительному центру постепенно переходить от партии к расписанию
^ «Компьютерный центр: в соответствии с System IBM/360 модель 67». Исследовательские новости . 20 (ноябрь/дек). Мичиганский университет: 10 . 1969.
^ IBM Corporation. "Что такое партийная обработка?" Полем ZOS Concepts . Получено 10 октября 2019 года .
^ Минелла, Майкл (2011-10-13). Pro Spring Parath . Просо ISBN 978-1-4302-3453-1 .
^ «Партийные приложения для платформы Java» . Java Community Process . Получено 2015-08-03 .
^ «JSR352 NULL» . Ibm.com. Архивировано с оригинала 2018-10-20 . Получено 2018-10-19 . JSR 352, спецификация открытого стандарта для переработки партии Java. ... используемые языки программирования развивались с течением времени на основе того, что было доступно
^ «Основные рамки работают в нерабочее время: переработка партии» . Концепции мэйнфрейма . IBM Corporation . Получено 20 июня 2013 года .
^ Обработка пакетов: дизайн - сборка - запуск: прикладные практики и принципы . Oreilly. 2009-02-24. ISBN 9780470257630 .
^ «Традиционно партия была ночной деятельностью: рабочие места обрабатывали миллионы миллионов ... сегодня пакетное окно когда -либо уменьшается с требованиями к доступности 24/7».
^ Гуткович, Бен (10 февраля 2023 г.). «Почему машинное обучение в реальном времени будет модным словом 2023 года» . Сверх связи . Получено 11 апреля 2023 года .
^ «Высокопроизводительный учебник, с контрольным списком и советами по оптимизации» . 25 января 2018 года. Многопользовательская, общая и интеллектуальная система обработки партии улучшает масштаб ..... Большинство кластеров HPC находятся в Linux

[5] Использование спутниковых компьютеров для этой цели началось ранее, например, в IBM 7094/7044 Прямой связанной системы .

[1] «Прямая пара для IBM 7090» . SoftWarePreservationGroup.org . IBSYS была операционной системой для 7090, которая развивалась из SOS (операционная система Share)

[2] «История операционных систем» (PDF) . Университет Вашингтона . Архивировано (PDF) из оригинала на 2022-10-09 . Получено 10 октября 2019 года .

[3] «Почему ты не умрешь? С/360 IBM и его наследие на 50» . Реестр . 7 апреля 2014 года.

[4] «Справочное руководство по аппаратному терминалу пользователя CDC» (PDF) . Битсаверс . Архивировано (PDF) из оригинала на 2022-10-09.

[6] Уолден, Дэвид; Ван Влек, Том , ред. (2011). «Совместимая система совместного использования времени (1961-1973): пятидесятая годовщина памятного обзора» (PDF) . IEEE Computer Society. Архивировано (PDF) из оригинала на 2022-10-09 . Получено 20 февраля 2022 года . CTSS назывался «совместимым» в том смысле, что FMS можно запустить в B-Core как «задний» пользователь, почти так же эффективно, как и на обнаженной машине, а также потому, что программы, собранные для партии FMS, могут быть загружены и выполнены в Среда обмена временем «передний план» (с некоторыми ограничениями). ... эта функция позволила вычислительному центру постепенно переходить от партии к расписанию

[7] «Компьютерный центр: в соответствии с System IBM/360 модель 67». Исследовательские новости . 20 (ноябрь/дек). Мичиганский университет: 10 . 1969.

[whatis-8] IBM Corporation. "Что такое партийная обработка?" Полем ZOS Concepts . Получено 10 октября 2019 года .

[9] Минелла, Майкл (2011-10-13). Pro Spring Parath . Просо ISBN 978-1-4302-3453-1 .

[10] «Партийные приложения для платформы Java» . Java Community Process . Получено 2015-08-03 .

[11] «JSR352 NULL» . Ibm.com. Архивировано с оригинала 2018-10-20 . Получено 2018-10-19 . JSR 352, спецификация открытого стандарта для переработки партии Java. ... используемые языки программирования развивались с течением времени на основе того, что было доступно

[12] «Основные рамки работают в нерабочее время: переработка партии» . Концепции мэйнфрейма . IBM Corporation . Получено 20 июня 2013 года .

[Rbook-13] Обработка пакетов: дизайн - сборка - запуск: прикладные практики и принципы . Oreilly. 2009-02-24. ISBN 9780470257630 .

[14] «Традиционно партия была ночной деятельностью: рабочие места обрабатывали миллионы миллионов ... сегодня пакетное окно когда -либо уменьшается с требованиями к доступности 24/7».

[15] Гуткович, Бен (10 февраля 2023 г.). «Почему машинное обучение в реальном времени будет модным словом 2023 года» . Сверх связи . Получено 11 апреля 2023 года .

[16] «Высокопроизводительный учебник, с контрольным списком и советами по оптимизации» . 25 января 2018 года. Многопользовательская, общая и интеллектуальная система обработки партии улучшает масштаб ..... Большинство кластеров HPC находятся в Linux

[ 1 ]

[ 2 ]

[ 3 ]

[ 4 ]

[ А ]

[ 5 ]

[ 6 ]

[ 7 ]

[ 8 ]

[ 9 ]

[ 10 ]

[ 11 ]

[ 12 ]

[ 13 ]

[ 14 ]

[ 15 ]