Jump to content

Блокировать плавающую точку

Блочная плавающая запятая ( BFP ) — это метод, используемый для обеспечения арифметических операций, приближающихся к плавающей запятой, при использовании процессора с фиксированной запятой . BFP присваивает группе мантисс (неэкспонентную часть числа с плавающей запятой) одному показателю, а не одному мантиссе, которому присваивается собственный показатель степени. BFP может быть полезен для ограничения использования пространства в аппаратном обеспечении для выполнения тех же функций, что и алгоритмы с плавающей запятой, путем повторного использования показателя степени; некоторые операции над несколькими значениями между блоками также могут выполняться с меньшим объемом вычислений. [1]

Общий показатель находится по данным с наибольшей амплитудой в блоке. Чтобы найти значение показателя степени, необходимо найти количество ведущих нулей ( подсчитать ведущие нули ). Для этого количество сдвигов влево, необходимых для данных, должно быть нормализовано к динамическому диапазону используемого процессора. Некоторые процессоры имеют средства, позволяющие это выяснить самостоятельно, например, инструкции по определению экспоненты и нормализации. [2] [3]

Блочные алгоритмы с плавающей запятой были тщательно изучены Джеймсом Харди Уилкинсоном . [4] [5] [6]

BFP можно воссоздать в программном обеспечении для меньшего увеличения производительности.

Микромасштабируемые (MX) форматы

[ редактировать ]

Форматы микромасштабирования (MX) — это тип формата данных с плавающей запятой (BFP), специально разработанный для рабочих нагрузок искусственного интеллекта и машинного обучения. Формат MX, одобренный и стандартизированный такими крупными игроками отрасли, как AMD, Arm, Intel, Meta, Microsoft, NVIDIA и Qualcomm, представляет собой значительный прогресс в области форматов данных узкой точности для ИИ. [7] [8] [9]

Формат MX использует единый общий коэффициент масштабирования (экспоненту) для блока элементов, что значительно сокращает объем памяти и вычислительные ресурсы, необходимые для операций ИИ. Каждый блок из k элементов имеет общий коэффициент масштабирования, который хранится отдельно от отдельных элементов.

Первоначальная спецификация MX представляет несколько конкретных форматов, включая MXFP8, MXFP6, MXFP4 и MXINT8. Эти форматы поддерживают различные уровни точности:

  • MXFP8: 8-битная операция с плавающей запятой в двух вариантах (E5M2 и E4M3).
  • MXFP6: 6-битная операция с плавающей запятой в двух вариантах (E3M2 и E2M3).
  • MXFP4: 4-битные числа с плавающей запятой (E2M1).
  • MXINT8: 8-битное целое число.

Форматы MX доказали свою эффективность в различных задачах искусственного интеллекта, включая большие языковые модели (LLM), классификацию изображений, распознавание речи и системы рекомендаций. [10] Например, MXFP6 близко соответствует FP32 для задач вывода после тонкой настройки с учетом квантования, а MXFP4 можно использовать для обучения моделей генеративного языка с лишь незначительным снижением точности.

Формат MX был стандартизирован в рамках Open Compute Project (OCP) как Спецификация форматов микромасштабирования (MX) v1.0. [7] Также были опубликованы библиотеки эмуляции, в которых подробно рассказывается о подходе к науке о данных и выбираются результаты MX в действии. [11]

Аппаратная поддержка

[ редактировать ]

Следующее оборудование поддерживает операции BFP:

  • d-Матрица Джейхок II [12] [13]
  • Tenstorrent Grayskull e75 и e150 (BFP8, BFP4 и BFP2) [14]
  • Tenstorrent Wormhole n150 и n300 (BFP8, BFP4 и BFP2) [14]
  • APU Amd Strix Point (под торговой маркой серии Ryzen AI 300) поддерживает блок FP16 в NPU [15] [16]
  • AMD Versal AI Edge Series Gen 2 поддерживает типы данных MX6 и MX9.

См. также

[ редактировать ]
  1. ^ «Блокировать плавающую точку» . Словарь BDTI DSP . Беркли Дизайн Технолоджи, Инк. (BDTI). Архивировано из оригинала 11 июля 2018 г. Проверено 1 ноября 2015 г.
  2. ^ Чабра, Арун; Айер, Рамеш (декабрь 1999 г.). «TMS320C55x Реализация блока с плавающей запятой на TMS320C54x DSP» (PDF) (отчет о применении). Решения для цифровой обработки сигналов. Техасские инструменты . СПРА610. Архивировано (PDF) из оригинала 11 июля 2018 г. Проверено 11 июля 2018 г.
  3. ^ Элам, Дэвид; Иовеску, Сезар (сентябрь 2003 г.). «Реализация блочных операций с плавающей запятой для N-точечного БПФ на DSP TMS320C55x» (PDF) (отчет о применении). Программные приложения TMS320C5000. Техасские инструменты . СПРА948. Архивировано (PDF) из оригинала 11 июля 2018 г. Проверено 1 ноября 2015 г.
  4. ^ Уилкинсон, Джеймс Харди (1963). Ошибки округления в алгебраических процессах (1-е изд.). Энглвуд Клиффс, Нью-Джерси, США: Prentice-Hall, Inc. ISBN  978-0-486-67999-0 . МР   0161456 .
  5. ^ Мюллер, Жан-Мишель; Бризебар, Николя; де Динешен, Флоран; Жаннерод, Клод-Пьер; Лефевр, Винсент; Мелькионд, Гийом; Револь, Натали ; Стеле, Дэмиен; Торрес, Серж (2010). Справочник по арифметике с плавающей запятой (1-е изд.). Биркхаузер . дои : 10.1007/978-0-8176-4705-6 . ISBN  978-0-8176-4704-9 . LCCN   2009939668 .
  6. ^ Овертон, Майкл Л. (2001). Численные вычисления с использованием арифметики с плавающей запятой IEEE - включая одну теорему, одно практическое правило и сто одно упражнение (1-е изд.). Общество промышленной и прикладной математики (SIAM). ISBN  0-89871-482-6 . 9-780898-714821-90000.
  7. ^ Jump up to: а б «Открытый вычислительный проект» . Открытый вычислительный проект . Проверено 3 июня 2024 г.
  8. ^ Рухани, Бита Дарвиш; Чжао, Ричи; Еще, Анкит; Холл, Мэтью; Ходаморади, Алиреза; Дэн, Лето; Чоудхари, Дхрув; Роговица, Мариус; Деллинджер, Эрик (19 октября 2023 г.). «Микромасштабирование форматов данных для глубокого обучения». arXiv : 2310.10537 [ cs.LG ].
  9. ^ Д'Са, Рани Боркар, Рейнольд (17 октября 2023 г.). «Содействие развитию инфраструктуры искусственного интеллекта посредством стандартизации» . Блог Microsoft Azure . Проверено 3 июня 2024 г. {{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка )
  10. ^ Рухани, Бита; Чжао, Ричи; Эланго, Венмугил; Шафипур, Расул; Холл, Мэтью; Месмахосрошахи, Марал; Еще, Анкит; Мельник, Леви; Голуб, Максимилиан (12 апреля 2023 г.). «С общими микроэкспонентами небольшой сдвиг имеет большое значение». arXiv : 2302.08007 [ cs.LG ].
  11. ^ microsoft/microxcaling , Microsoft, 29 мая 2024 г. , получено 3 июня 2024 г.
  12. ^ Кларк, Питер (28 августа 2023 г.). «Платформа генеративного искусственного интеллекта на базе чиплетов повышает производительность LLM» . eeNews Европа . Проверено 23 апреля 2024 г.
  13. ^ [SPCL_Bcast] Архитектура генеративного вывода на основе чиплетов с блочными типами данных с плавающей запятой . Проверено 23 апреля 2024 г. - через www.youtube.com.
  14. ^ Jump up to: а б «Ускорители искусственного интеллекта Tenstorrent» (PDF) .
  15. ^ Боншор, Гэвин. «AMD анонсирует серию Ryzen AI 300 для мобильных устройств: Zen 5 с RDNA 3.5 и NPU XDNA2 с 50 TOPS» . www.anandtech.com . Проверено 3 июня 2024 г.
  16. ^ «AMD расширяет лидерство в области искусственного интеллекта и высокой производительности в центрах обработки данных и ПК с новыми процессорами AMD Instinct, Ryzen и EPYC на выставке Computex 2024» . Advanced Micro Devices, Inc. 2024-06-02 . Проверено 3 июня 2024 г.

Дальнейшее чтение

[ редактировать ]
Arc.Ask3.Ru: конец переведенного документа.
Arc.Ask3.Ru
Номер скриншота №: 0fec9d90fcdc08858cbd75ed4bb8fc35__1717916940
URL1:https://arc.ask3.ru/arc/aa/0f/35/0fec9d90fcdc08858cbd75ed4bb8fc35.html
Заголовок, (Title) документа по адресу, URL1:
Block floating point - Wikipedia
Данный printscreen веб страницы (снимок веб страницы, скриншот веб страницы), визуально-программная копия документа расположенного по адресу URL1 и сохраненная в файл, имеет: квалифицированную, усовершенствованную (подтверждены: метки времени, валидность сертификата), открепленную ЭЦП (приложена к данному файлу), что может быть использовано для подтверждения содержания и факта существования документа в этот момент времени. Права на данный скриншот принадлежат администрации Ask3.ru, использование в качестве доказательства только с письменного разрешения правообладателя скриншота. Администрация Ask3.ru не несет ответственности за информацию размещенную на данном скриншоте. Права на прочие зарегистрированные элементы любого права, изображенные на снимках принадлежат их владельцам. Качество перевода предоставляется как есть. Любые претензии, иски не могут быть предъявлены. Если вы не согласны с любым пунктом перечисленным выше, вы не можете использовать данный сайт и информация размещенную на нем (сайте/странице), немедленно покиньте данный сайт. В случае нарушения любого пункта перечисленного выше, штраф 55! (Пятьдесят пять факториал, Денежную единицу (имеющую самостоятельную стоимость) можете выбрать самостоятельно, выплаичвается товарами в течение 7 дней с момента нарушения.)