Одновременная и гетерогенная многопоточность

Одновременная и гетерогенная многопоточность ( SHMT ) — это программная среда , которая использует преимущества гетерогенных вычислительных систем, содержащих смесь центральных процессоров (ЦП), графических процессоров (ГП) и специального оборудования для машинного обучения , например, тензорных процессоров ( ТПУ).

Каждый компонент обрабатывает информацию по-своему. Часто данным приходится перемещаться между процессорами, что может создавать узкие места, когда один процессор не работает, ожидая завершения работы другого.

Архитектура

Система определяет виртуальные процессоры и виртуальные операции (VOP). VOP разбиваются на одну или несколько операций высокого уровня (HLOP). Затем он распределяет операции между процессорами. Затем система выполнения динамически сопоставляет виртуальные процессоры с физическими процессорами, оценивая доступность ресурсов, чтобы все процессоры были заняты. Планировщик использует упрощенную политику кражи работы с учетом качества (QAWS).

Обычные среды выполнения назначают один процессор (набор) для каждой подзадачи, оставляя другие типы процессоров простаивающими. Другими словами, процессор(ы) работают (возможно, параллельно), а затем, когда эта подзадача завершается, следующая подзадача передается на графический процессор(ы). Когда они завершат следующую подзадачу, она передается TPU.

Добавление программной конвейерной обработки позволяет запускать вторую подзадачу с использованием частичных результатов первой подзадачи, что улучшает использование ресурсов.

SHMT делает еще один шаг вперед, определяя подзадачи, которые могут выполняться независимо от других на соответствующем типе процессора, что обеспечивает еще лучший параллелизм. Некоторые подзадачи могут выполняться на процессорах нескольких типов. SHMT может разделить одну подзадачу на такие типы процессоров. Таким образом, фундаментальный прорыв заключается в том, чтобы обеспечить одновременную работу большего количества процессоров, сокращая затраты времени и энергии.

Тест

Исследователи протестировали эту концепцию, используя типичную конфигурацию смартфона, измененную так, чтобы она напоминала сервер центра обработки данных.

Аппаратное обеспечение представляло собой модуль Jetson Nano от Nvidia, содержащий четырехъядерный процессор ARM Cortex-A57 (ЦП) и 128 ядер графического процессора архитектуры Maxwell . Google Edge TPU был подключен через слот M.2 Key E. Процессоры обменивались данными через встроенный интерфейс PCI Express (PCIe). Общие данные размещались на 64-битном диске LPDDR4 объемом 4 ГБ . Edge TPU добавляет 8 МБ памяти устройства. Ubuntu Linux 18.04. Операционной системой была

По сравнению с обычной системой производительность увеличилась в 1,95 раза, а энергопотребление снизилось на 51 % по ряду тестов, включая Блэка–Шоулза , DCT8X8, DWT, FFT , гистограмму, горячую точку, лапласиан , MF, Sobel, SRAD, и ГМЕАН.

См. также

• Асимметричная многопроцессорная обработка
• Параллелизм на уровне инструкций (ILP)
• Параллельные вычисления
• Одновременная многопоточность
• Суперскалярный процессор
• Симметричная многопроцессорная обработка (SMP)
  • Переменная СМП
• Поток (вычисления)