ДипСпид
 | |
| Оригинальный автор(ы) | Microsoft Исследования |
|---|---|
| Разработчик(и) | Майкрософт |
| Первоначальный выпуск | 18 мая 2020 г |
| Стабильная версия | v0.14.2 / 23 апреля 2024 г |
| Репозиторий | github |
| Написано в | Питон , CUDA , С++ |
| Тип | Библиотека программного обеспечения |
| Лицензия | Лицензия Апач 2.0 |
| Веб-сайт | глубокая скорость |
DeepSpeed — это с открытым исходным кодом библиотека оптимизации глубокого обучения для PyTorch . [1] Библиотека предназначена для снижения вычислительной мощности и использования памяти , а также для обучения больших распределенных моделей с лучшим параллелизмом на существующем компьютерном оборудовании . [2] [3] DeepSpeed оптимизирован для обучения с низкой задержкой и высокой производительностью. Он включает в себя оптимизатор нулевой избыточности (ZeRO) для обучения моделей с 1 триллионом или более параметров. [4] Возможности включают обучение смешанной точности, обучение с одним графическим процессором, несколькими графическими процессорами и несколькими узлами, а также параллелизм настраиваемых моделей. Исходный код DeepSpeed лицензируется по лицензии MIT и доступен на GitHub . [5]
Команда заявила, что добилась увеличения пропускной способности в 6,2 раза, ускорения конвергенции в 2,8 раза и уменьшения объема обмена данными в 4,6 раза. [6]
См. также [ править ]
- Сравнение программного обеспечения глубокого обучения
- Глубокое обучение
- Машинное обучение
- Тензорфлоу
Ссылки [ править ]
- ^ «Microsoft обновляет Windows и инструменты Azure с прицелом на будущее» . PCMag Великобритания . 22 мая 2020 г.
- ^ Егулалп, Сердар (10 февраля 2020 г.). «Microsoft ускоряет PyTorch с помощью DeepSpeed» . Инфомир .
- ^ «Microsoft представляет «пятый по мощности» суперкомпьютер в мире» . Неовин . 18 июня 2023 г.
- ^ «Microsoft обучает крупнейшую в мире языковую модель Transformer» . 10 февраля 2020 г.
- ^ «Майкрософт/ДипСпид» . 10 июля 2020 г. – через GitHub.
- ^ «DeepSpeed: Ускорение вывода и обучения крупномасштабных моделей посредством оптимизации и сжатия системы» . Исследования Майкрософт . 24 мая 2021 г. Проверено 19 июня 2021 г.
Дальнейшее чтение [ править ]
- Раджбхандари, Самьям; Рэсли, Джефф; Рувасе, Олатунджи; Хэ, Юйсюн (2019). «ZeRO: оптимизация памяти для обучения моделей с триллионом параметров». arXiv : 1910.02054 [ cs.LG ].
Внешние ссылки [ править ]
- ИИ в масштабе — Microsoft Research
- GitHub — Microsoft/DeepSpeed
- ZeRO и DeepSpeed: новые оптимизации системы позволяют обучать модели с более чем 100 миллиардами параметров — Microsoft Research
 | Эта статья о программном обеспечении, созданном, произведенном или разработанном Microsoft, представляет собой незавершенную статью . Вы можете помочь Википедии, расширив ее . |
- библиотеки С++
- Научные библиотеки Python (язык программирования)
- Бесплатное программное обеспечение с открытым исходным кодом
- Инструменты разработки Microsoft
- бесплатное программное обеспечение Майкрософт
- Microsoft Исследования
- Программное обеспечение, использующее лицензию MIT
- программное обеспечение 2020 года
- Программное обеспечение для глубокого обучения
- Программное обеспечение, использующее лицензию Apache
- Заглушки программного обеспечения Microsoft