ГридFTP

GridFTP — это расширение протокола передачи файлов (FTP) для распределенных вычислений . ^[1] Протокол был определен в рамках рабочей группы GridFTP Open Grid Forum . ^[2]^[3]^[4] Существует несколько реализаций протокола; наиболее широко используется пакет Globus Toolkit. ^{[ нужна ссылка ]}

Целью GridFTP является обеспечение более надежной и высокопроизводительной передачи файлов, например, для передачи очень больших файлов. GridFTP широко используется в крупных научных проектах, таких как Большой адронный коллайдер , а также во многих суперкомпьютерных центрах и других научных учреждениях.

GridFTP также решает проблему несовместимости систем хранения и доступа. Раньше каждый поставщик данных делал свои данные доступными по-своему, предоставляя библиотеку функций доступа. Это затрудняло получение данных из нескольких источников, требуя разных методов доступа для каждого и, таким образом, разделяя общие доступные данные на разделы. GridFTP обеспечивает единый способ доступа к данным, охватывая функции всех различных режимов доступа, развивая и расширяя общепринятый стандарт FTP. FTP был выбран в качестве основы из-за его широкого использования и потому, что он имеет четко определенную архитектуру для расширений протокола (которые могут быть обнаружены динамически).

Было разработано множество клиентов GridFTP. Особой популярностью пользуется система «программное обеспечение как услуга» Globus Online. ^{[ нужна ссылка ]}

Возможности GridFTP

GridFTP интегрируется с инфраструктурой безопасности Grid , которая обеспечивает аутентификацию и шифрование при передаче файлов с заданными пользователем уровнями конфиденциальности и целостности данных, а также для межсерверной передачи (то, что FTP называет протоколом обмена файлами , FXP).

GridFTP обеспечивает гораздо более эффективное использование полосы пропускания, чем традиционная технология потоков данных, за счет использования нескольких одновременных потоков TCP. ^[5] Файлы можно загружать по частям одновременно из нескольких источников; или даже в отдельных параллельных потоках из одного и того же источника, который по-прежнему может лучше использовать полосу пропускания. Чередование и чередование передач, опять же из нескольких или из одного источника, позволяют еще больше увеличить скорость.

Хотя FTP имеет возможность возобновить прерванную передачу файла с определенного места в файле, он не поддерживает передачу только определенной части файла. GridFTP позволяет отправлять часть файла. Такая функция полезна в приложениях, где для обработки требуются только небольшие части очень большого файла данных (мотивирующим примером является обработка данных эксперимента по физике высоких энергий, традиционное использование технологии Grid).

GridFTP обеспечивает отказоустойчивую реализацию FTP для решения проблем недоступности сети и серверов. Передачу также можно автоматически перезапустить в случае возникновения проблемы.

Базовое TCP-соединение в FTP имеет множество настроек, таких как размер окна и размер буфера. GridFTP позволяет автоматически (или вручную) согласовывать эти параметры для обеспечения оптимальной скорости и надежности передачи (оптимальные настройки, вероятно, будут разными для больших файлов и для больших групп файлов).

Ссылки

^ Олкок, В.; Бреснахан, Дж.; Кеттимуту, Р.; Линк, М. (2005). «Структура и сервер Globus Striped GridFTP». Конференция ACM/IEEE SC 2005 (SC'05) . п. 54. дои : 10.1109/SC.2005.72 . ISBN 1-59593-061-2 . S2CID 1039563 .
^ «Управление данными исследований упрощено. | Глобус» . www.globus.org . Проверено 9 июня 2020 г.
^ Олкок, В. (апрель 2003 г.). «GridFTP: расширения протокола FTP для Grid» (PDF) .
^ Мандриченко, Игорь (11 июля 2003 г.). «Усовершенствования протокола GridFTP» (PDF) .
^ Сарро, Луис Мануэль. (2012). Астростатистика и интеллектуальный анализ данных . Эйер, Лоран., О'Муллейн, Уильям. Дордрехт: Спрингер. ISBN 978-1-4614-3323-1 . OCLC 809767631 .

[1] Олкок, В.; Бреснахан, Дж.; Кеттимуту, Р.; Линк, М. (2005). «Структура и сервер Globus Striped GridFTP». Конференция ACM/IEEE SC 2005 (SC'05) . п. 54. дои : 10.1109/SC.2005.72 . ISBN 1-59593-061-2 . S2CID 1039563 .

[2] «Управление данными исследований упрощено. | Глобус» . www.globus.org . Проверено 9 июня 2020 г.

[3] Олкок, В. (апрель 2003 г.). «GridFTP: расширения протокола FTP для Grid» (PDF) .

[4] Мандриченко, Игорь (11 июля 2003 г.). «Усовершенствования протокола GridFTP» (PDF) .

[5] Сарро, Луис Мануэль. (2012). Астростатистика и интеллектуальный анализ данных . Эйер, Лоран., О'Муллейн, Уильям. Дордрехт: Спрингер. ISBN 978-1-4614-3323-1 . OCLC 809767631 .

[1]

[2]

[3]

[4]

[5]