Многозадачные вычисления
Многозадачные вычисления ( МТС ) [1] [2] [3] [4] [5] [6] [7] в вычислительной науке — это подход к параллельным вычислениям , целью которого является преодоление разрыва между двумя вычислительными парадигмами : высокопроизводительные вычисления (HTC). [8] и высокопроизводительные вычисления (HPC).
Определение
[ редактировать ]MTC напоминает HTC, но он «отличается акцентом на использование множества вычислительных ресурсов в течение коротких периодов времени для выполнения многих вычислительных задач (т. е. включая как зависимые, так и независимые задачи), где основные показатели измеряются в секундах (например, FLOPS, задач/с, скорость ввода-вывода в МБ/с), в отличие от операций (например, заданий) в месяц. MTC означает высокопроизводительные вычисления, включающие несколько отдельных действий, связанных через операции файловой системы. Задачи могут быть небольшими или большими, однопроцессорными или однопроцессорными. многопроцессорный, с интенсивным использованием вычислений или с интенсивным использованием данных . Набор задач может быть статичным или динамическим, однородным или гетерогенным, слабосвязанным или тесно связанным. Совокупное количество задач, количество вычислений и объемы данных могут быть чрезвычайно большими. включает слабосвязанные приложения, которые, как правило, требуют интенсивного обмена данными, но не выражаются естественным образом с использованием стандартного интерфейса передачи сообщений, обычно встречающегося в HPC, что привлекает внимание к множеству вычислений, которые являются гетерогенными, но не «счастливо» параллельными». [6]
Райку и др. Далее говорится: «HPC — это нечто большее, чем тесно связанный MPI, а HTC — это нечто большее, чем досадно параллельные и длительные задания. Подобно приложениям HPC и самой науке, приложения становятся все более сложными, открывая новые двери для множества возможностей применения HPC по-новому. Если мы расширим нашу перспективу, у некоторых приложений настолько много простых задач, что управлять ими сложно. Приложениям, которые работают с большими объемами данных или производят их, необходимо сложное управление данными для масштабирования. Существуют приложения, которые включают в себя множество задач, каждая из которых состоит из. тесно связанные задачи MPI. Слабосвязанные приложения часто имеют зависимости между задачами и обычно используют файлы для межпроцессного взаимодействия. Эффективная поддержка такого рода приложений в существующих крупномасштабных системах потребует серьезных технических проблем и окажет большое влияние на науку». [6]
Связанные области
[ редактировать ]Некоторыми связанными областями являются множественные программы и множественные данные (MPMD), вычисления с высокой пропускной способностью (HTC), рабочие процессы, вычисления с большой емкостью или неприлично параллельные вычисления . Некоторые проекты, которые могут поддерживать рабочие нагрузки MTC, — это Condor , [9] Мапредукс , [10] Хадуп , [11] Боинк , [12] Кобальт [ постоянная мертвая ссылка ] HTC-режим, [13] Сокол , [14] и Свифт ., [15] [16]
Ссылки
[ редактировать ]- ^ Семинар IEEE по многозадачным вычислениям на сетях и суперкомпьютерах (MTAGS08), 2008 г., http://datasys.cs.iit.edu/events/MTAGS08/
- ^ Семинар ACM по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS09), 2009 г., http://datasys.cs.iit.edu/events/MTAGS09/
- ^ Семинар IEEE по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS10), 2010 г., http://datasys.cs.iit.edu/events/MTAGS10/
- ^ Семинар ACM по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS11), 2011 г., http://datasys.cs.iit.edu/events/MTAGS11/
- ^ Транзакции IEEE в параллельных и распределенных системах, специальный выпуск по многозадачным вычислениям, июнь 2011 г., http://datasys.cs.iit.edu/events/TPDS_MTC/
- ^ Jump up to: а б с И. Райку, И. Фостер, Ю. Чжао. «Многозадачные вычисления для сетей и суперкомпьютеров», семинар IEEE по многозадачным вычислениям в сетях и суперкомпьютерах (MTAGS08), 2008 г.
- ^ «Многозадачные вычисления: преодоление разрыва между производительностью и пропускной способностью», International Science Grid This Week (iSGTW), 28 января 2009 г., http://www.isgtw.org/?pid=1001602. Архивировано 1 января 2011 г. на сайте Вейбэк-машина
- ^ М. Ливни, Дж. Бэсни, Р. Раман, Т. Танненбаум. «Механизмы высокопроизводительных вычислений», журнал SPEEDUP 1 (1), 1997 г.
- ^ Д. Тейн, Т. Танненбаум, М. Ливни, «Распределенные вычисления на практике: опыт Кондора» Параллелизм и вычисления: практика и опыт 17 (2-4), стр. 323-356, 2005 г.
- ^ Дж. Дин, С. Гемават. «MapReduce: упрощенная обработка данных в больших кластерах». В ОСДИ, 2004 г.
- ^ А. Бялецкий, М. Кафарелла, Д. Каттинг, О. О'Мэлли. «Hadoop: платформа для запуска приложений в больших кластерах, построенных на стандартном оборудовании», http://lucene.apache.org/hadoop/. Архивировано 10 февраля 2007 г. на Wayback Machine , 2005 г.
- ^ Д. П. Андерсон, «BOINC: система вычислений и хранения общедоступных ресурсов», Международный семинар IEEE / ACM по грид-вычислениям, 2004 г.
- ^ Корпорация IBM. «Парадигма высокопроизводительных вычислений (HTC)», Решение IBM System Blue Gene: Разработка приложений Blue Gene/P, IBM RedBooks, 2008 г.
- ^ И. Райку, Ю. Чжао, К. Думитреску, И. Фостер, М. Уайльд. «Falkon: быстрая и легкая среда выполнения задач», IEEE/ACM SC, 2007 г.
- ^ Ю. Чжао, М. Хатеган, Б. Клиффорд, И. Фостер, Г. Лашевски, И. Райку, Т. Стеф-Праун, М. Уайльд. «Swift: быстрые, надежные, слабосвязанные параллельные вычисления», IEEE SWF, 2007 г.
- ^ М. Уайльд, М. Хатеган, Дж. М. Возняк, Б. Клиффорд, Д. С. Кац и И. Фостер. «Swift: язык для распределенных параллельных сценариев». Параллельные вычисления, 37:633–652, 2011.