Многопоточность (компьютерная архитектура)

В компьютерной архитектуре многопоточность — это способность центрального процессора (ЦП) (или одного ядра в многоядерном процессоре ) обеспечивать несколько потоков выполнения .

Обзор

многопоточности Парадигма стала более популярной, поскольку попытки дальнейшего использования параллелизма на уровне инструкций застопорились с конца 1990-х годов. Это позволило концепции вычислений с пропускной способностью вновь выйти из более специализированной области обработки транзакций . Несмотря на то, что очень сложно дополнительно ускорить один поток или одну программу, большинство компьютерных систем фактически выполняют многозадачность среди нескольких потоков или программ. Таким образом, методы, повышающие производительность всех задач, приводят к общему повышению производительности.

Двумя основными методами повышения пропускной способности являются многопоточность и многопроцессорность .

Преимущества

Если поток получает много промахов в кэше , другие потоки могут продолжать использовать неиспользуемые вычислительные ресурсы, что может привести к более быстрому общему выполнению, поскольку эти ресурсы простаивали бы, если бы выполнялся только один поток. Кроме того, если поток не может использовать все вычислительные ресурсы ЦП (поскольку инструкции зависят от результатов друг друга), запуск другого потока может предотвратить простаивание этих ресурсов.

Недостатки

Несколько потоков могут мешать друг другу при совместном использовании аппаратных ресурсов, таких как кэши или резервные буферы трансляции (TLB). В результате время выполнения одного потока не улучшается и может ухудшиться, даже когда выполняется только один поток, из-за более низких частот или дополнительных этапов конвейера, которые необходимы для размещения оборудования переключения потоков.

Общая эффективность варьируется; Intel заявляет об улучшении производительности до 30% благодаря технологии Hyper-Threading . ^[1] в то время как синтетическая программа, просто выполняющая цикл неоптимизированных зависимых операций с плавающей запятой, фактически получает 100% прирост скорости при параллельном запуске. С другой стороны, настроенные вручную на языке ассемблера программы , использующие расширения MMX или AltiVec и выполняющие предварительную выборку данных (как это может делать хороший видеокодер), не страдают от промахов в кэше или простоя вычислительных ресурсов. Таким образом, такие программы не получают преимуществ от аппаратной многопоточности и действительно могут наблюдать снижение производительности из-за конкуренции за общие ресурсы.

С точки зрения программного обеспечения, аппаратная поддержка многопоточности более заметна для программного обеспечения и требует большего количества изменений как в прикладных программах, так и в операционных системах, чем многопроцессорность. Аппаратные методы, используемые для поддержки многопоточности, часто параллельны программным методам, используемым для многозадачности компьютеров . Планирование потоков также является серьезной проблемой в многопоточности.

Типы многопоточности

Чередованная/временная многопоточность

Грубая многопоточность

Самый простой тип многопоточности возникает, когда один поток выполняется до тех пор, пока не будет заблокирован событием, которое обычно приводит к остановке с большой задержкой. Такой остановкой может быть промах в кэше, из-за которого требуется доступ к внешней памяти, что может потребовать сотен циклов ЦП для возврата данных. Вместо того, чтобы ждать разрешения задержки, многопоточный процессор переключал выполнение на другой поток, который был готов к запуску. Только когда данные для предыдущего потока поступят, предыдущий поток будет снова помещен в список готовых к выполнению потоков.

Например:

Цикл $i$ : $инструкция j$ из потока $A.$ выдается
Цикл $i + 1$ инструкция $j + 1$ из потока $A.$ : выдается
Цикл $i +2$ : $инструкция j +2$ из потока $A , которая представляет собой инструкцию загрузки, которая отсутствует во всех кэшах.$ выдается
Цикл $i + 3$ : вызывается планировщик потоков, переключается на $B.$ поток
Цикл $i + 4$ : $инструкция k$ из потока $B.$ выдается
Цикл $i + 5$ инструкция $k + 1$ из потока $B.$ : выдается

Концептуально это похоже на совместную многозадачность, используемую в операционных системах реального времени , в которой задачи добровольно отказываются от времени выполнения, когда им нужно дождаться определенного типа события. Этот тип многопоточности известен как блочная, кооперативная или крупнозернистая многопоточность.

Цель аппаратной поддержки многопоточности — обеспечить быстрое переключение между заблокированным потоком и другим потоком, готовым к запуску. Переключение с одного потока на другой означает, что аппаратное обеспечение переключается с использования одного набора регистров на другой. Для достижения этой цели реплицируется аппаратное обеспечение видимых регистров программы, а также некоторых регистров управления процессором (таких как программный счетчик). Например, для быстрого переключения между двумя потоками процессор оснащен двумя наборами регистров.

Дополнительная аппаратная поддержка многопоточности позволяет выполнять переключение потоков за один цикл ЦП, что повышает производительность. Кроме того, дополнительное оборудование позволяет каждому потоку вести себя так, как если бы он выполнялся отдельно и не делился какими-либо аппаратными ресурсами с другими потоками, что сводит к минимуму количество изменений программного обеспечения, необходимых в приложении и операционной системе для поддержки многопоточности.

Многие семейства микроконтроллеров и встроенных процессоров имеют несколько банков регистров, позволяющих быстро переключать контекст для прерываний. Такие схемы можно рассматривать как разновидность блочной многопоточности между потоком пользовательской программы и потоками прерываний. ^{[ нужна ссылка ]}

Мелкозернистая многопоточность

Целью мелкозернистой многопоточности является устранение всех зависаний зависимостей данных из конвейера выполнения . Поскольку один поток относительно независим от других потоков, вероятность того, что одной инструкции на одном этапе конвейерной обработки потребуются выходные данные более старой инструкции в конвейере, меньше. Концептуально это похоже на вытесняющую многозадачность, используемую в операционных системах; аналогией может быть то, что интервал времени, отдаваемый каждому активному потоку, составляет один цикл ЦП.

Например:

Цикл $i + 1$ инструкция из потока $B.$ : выдается
Цикл $i + 2$ инструкция из потока $C.$ : выдается

Этот тип многопоточности сначала назывался бочковой обработкой, в которой элементы бочки представляют этапы конвейера и их исполняющие потоки. Чередованная, вытесняющая, мелкозернистая или временная многопоточность — это более современная терминология.

В дополнение к затратам на оборудование, обсуждаемым в многопоточности блочного типа, чередующаяся многопоточность требует дополнительных затрат на каждом этапе конвейера, отслеживающем идентификатор потока инструкции, которую он обрабатывает. Кроме того, поскольку в конвейере одновременно выполняется больше потоков, общие ресурсы, такие как кэши и TLB, должны быть больше, чтобы избежать перераспределения между различными потоками.

Одновременная многопоточность

Самый продвинутый тип многопоточности применяется к суперскалярным процессорам . В то время как обычный суперскалярный процессор выдает несколько инструкций из одного потока за каждый цикл ЦП, при одновременной многопоточности (SMT) суперскалярный процессор может выдавать инструкции из нескольких потоков за каждый цикл ЦП. Признавая, что любой отдельный поток имеет ограниченный объем параллелизма на уровне инструкций , этот тип многопоточности пытается использовать параллелизм, доступный в нескольких потоках, чтобы уменьшить потери, связанные с неиспользуемыми слотами задач.

Например:

Цикл $i$ : $инструкции j$ и $j +1$ из потока $A$ и инструкция $k$ из потока $B.$ одновременно выдаются
Цикл $i + 1$ : инструкция $j + 2$ из потока $A$ , инструкция $k + 1$ из потока $B$ и инструкция $m$ из потока $C$ выполняются одновременно.
Цикл $i + 2$ : инструкция $j + 3$ из потока $A$ и инструкции $m + 1$ и $m + 2$ из потока $C$ выполняются одновременно.

Чтобы отличить другие типы многопоточности от SMT, термин « временная многопоточность » используется для обозначения случаев, когда одновременно могут быть выданы инструкции только из одного потока.

В дополнение к аппаратным затратам, обсуждаемым для чередующейся многопоточности, SMT имеет дополнительные затраты на каждый этап конвейера, отслеживающий идентификатор потока каждой обрабатываемой инструкции. Опять же, общие ресурсы, такие как кэши и TLB, должны быть рассчитаны на большое количество обрабатываемых активных потоков.

Внедрения включают DEC (позже Compaq ) EV8 (не завершено), Intel Hyper-Threading Technology , IBM POWER5 / POWER6 / POWER7 / POWER8 / POWER9 , IBM z13 / z14 / z15 , Sun Microsystems UltraSPARC T2 , Cray XMT и AMD Bulldozer и Zen. микроархитектуры.

Особенности реализации

Основной областью исследований является планировщик потоков, который должен быстро выбирать из списка готовых к выполнению потоков для выполнения следующим, а также поддерживать списки готовых к выполнению и остановленных потоков. Важным подтемом являются различные схемы приоритетов потоков, которые может использовать планировщик. Планировщик потоков может быть реализован полностью программно, полностью аппаратно или в виде комбинации аппаратно-программного обеспечения.

Другая область исследований — какой тип событий должен вызывать переключение потока: промахи в кэше, межпотоковая связь, DMA завершение и т. д.

Если схема многопоточности реплицирует все видимое для программного обеспечения состояние, включая регистры привилегированного управления и TLB, то она позволяет виртуальные машины создавать для каждого потока. Это позволяет каждому потоку запускать свою собственную операционную систему на одном процессоре. С другой стороны, если сохраняется только состояние пользовательского режима, то требуется меньше оборудования, что позволит одновременно активировать больше потоков при той же площади кристалла или затратах.

См. также

Ссылки

^ «Технология Intel Hyper-Threading, Техническое руководство пользователя» (PDF) . п. 13. Архивировано из оригинала (PDF) 21 августа 2010 г.

Внешние ссылки

Обзор процессоров с явной многопоточностью , ACM , март 2003 г., Тео Унгерер, Борут Роби и Юрий Силц.
Операционная система | Разница между многозадачностью, многопоточностью и многопроцессорностью GeeksforGeeks, 6 сентября 2018 г.

[1] «Технология Intel Hyper-Threading, Техническое руководство пользователя» (PDF) . п. 13. Архивировано из оригинала (PDF) 21 августа 2010 г.

[1]

v т и Информатика
Note: This template roughly follows the 2012 ACM Computing Classification System.
Hardware	Printed circuit board Peripheral Integrated circuit Very Large Scale Integration Systems on Chip (SoCs) Energy consumption (Green computing) Electronic design automation Hardware acceleration Processor Size / Form
Computer systems organization	Computer architecture Computational complexity Dependability Embedded system Real-time computing
Networks	Network architecture Network protocol Network components Network scheduler Network performance evaluation Network service
Software organization	Interpreter Middleware Virtual machine Operating system Software quality
Software notations and tools	Programming paradigm Programming language Compiler Domain-specific language Modeling language Software framework Integrated development environment Software configuration management Software library Software repository
Software development	Control variable Software development process Requirements analysis Software design Software construction Software deployment Software engineering Software maintenance Programming team Open-source model
Theory of computation	Model of computation Formal language Automata theory Computability theory Computational complexity theory Logic Semantics
Algorithms	Algorithm design Analysis of algorithms Algorithmic efficiency Randomized algorithm Computational geometry
Mathematics of computing	Discrete mathematics Probability Statistics Mathematical software Information theory Mathematical analysis Numerical analysis Theoretical computer science
Information systems	Database management system Information storage systems Enterprise information system Social information systems Geographic information system Decision support system Process control system Multimedia information system Data mining Digital library Computing platform Digital marketing World Wide Web Information retrieval
Security	Cryptography Formal methods Security hacker Security services Intrusion detection system Hardware security Network security Information security Application security
Human–computer interaction	Interaction design Social computing Ubiquitous computing Visualization Accessibility
Concurrency	Concurrent computing Parallel computing Distributed computing Multithreading Multiprocessing
Artificial intelligence	Natural language processing Knowledge representation and reasoning Computer vision Automated planning and scheduling Search methodology Control method Philosophy of artificial intelligence Distributed artificial intelligence
Machine learning	Supervised learning Unsupervised learning Reinforcement learning Multi-task learning Cross-validation
Graphics	Animation Rendering Photograph manipulation Graphics processing unit Mixed reality Virtual reality Image compression Solid modeling
Applied computing	Quantum Computing E-commerce Enterprise software Computational mathematics Computational physics Computational chemistry Computational biology Computational social science Computational engineering Differentiable computing Computational healthcare Digital art Electronic publishing Cyberwarfare Electronic voting Video games Word processing Operations research Educational technology Document management
Category Outline Glossaries

v т и Параллельные вычисления
General	Distributed computing Parallel computing Massively parallel Cloud computing High-performance computing Multiprocessing Manycore processor GPGPU Computer network Systolic array
Levels	Bit Instruction Thread Task Data Memory Loop Pipeline
Multithreading	Temporal Simultaneous (SMT) Simultaneous and heterogenous Speculative (SpMT) Preemptive Cooperative Clustered multi-thread (CMT) Hardware scout
Theory	PRAM model PEM model Analysis of parallel algorithms Amdahl's law Gustafson's law Cost efficiency Karp–Flatt metric Slowdown Speedup
Elements	Process Thread Fiber Instruction window Array
Coordination	Multiprocessing Memory coherence Cache coherence Cache invalidation Barrier Synchronization Application checkpointing
Programming	Stream processing Dataflow programming Models Implicit parallelism Explicit parallelism Concurrency Non-blocking algorithm
Hardware	Flynn's taxonomy SISD SIMD Array processing (SIMT) Pipelined processing Associative processing MISD MIMD Dataflow architecture Pipelined processor Superscalar processor Vector processor Multiprocessor symmetric asymmetric Memory shared distributed distributed shared UMA NUMA COMA Massively parallel computer Computer cluster Beowulf cluster Grid computer Hardware acceleration
APIs	Ateji PX Boost Chapel HPX Charm++ Cilk Coarray Fortran CUDA Dryad C++ AMP Global Arrays GPUOpen MPI OpenMP OpenCL OpenHMPP OpenACC Parallel Extensions PVM pthreads RaftLib ROCm UPC TBB ZPL
Problems	Automatic parallelization Deadlock Deterministic algorithm Embarrassingly parallel Parallel slowdown Race condition Software lockout Scalability Starvation
Category: Parallel computing