Хуавей Пангу
 | |
| Разработчики) | Хуавей |
|---|---|
| Начальная версия | 3.0, 7 июля 2023 г |
| Стабильная версия | 3.0
/ 7 июля 2023 г |
| Доступно в | Китайский , английский , русский |
| Тип | Большая языковая модель |
| Лицензия | Собственный |
Huawei PanGu , PanGu , PanGu-Σ или PanGu-π ( китайский : 古大模型 ; пиньинь : pángǔ dà móxíng ) — это мультимодальная модель большого языка , разработанная Huawei . О нем было объявлено 7 июля 2023 года, и он позиционируется как конкурент других мультимодальных моделей большого языка . [1]
Название большой модели изучения языка, Паньгу , произошло от китайской мифологии и фольклора о Паньгу , первобытном персонаже, связанном с сотворением мира. [2]
История [ править ]
Раннее развитие [ править ]
В апреле 2023 года компания Huawei опубликовала документ, в котором подробно описывается разработка PanGu-Σ, колоссальной языковой модели, содержащей 1,085 триллиона параметров. компании Huawei Разработанный в рамках платформы MindSpore 5 , PanGu-Σ прошел более 100 дней обучения на кластерной системе, оснащенной 512 чипами-ускорителями искусственного интеллекта Ascend 910, обрабатывающими 329 миллиардов токенов на более чем 40 естественных языках и языках программирования . [3]
PanGu-Σ включает в себя эксперты случайной маршрутизации (RRE) и архитектуру декодера Transformer, что позволяет легко извлекать подмодели для различных приложений, таких как разговор, перевод, создание кода и интерпретация естественного языка. Модель обеспечивает в 6,3 раза более высокую производительность обучения по сравнению с моделями MoE с теми же гиперпараметрами. В китайском сегменте он превосходит предыдущие современные модели при выполнении 16 задач в режиме нулевого выстрела. Обученный на наборах данных из 40 доменов, включая китайский, английский, двуязычный и программный, PanGu-Σ превосходно понимает естественный язык , ведет дискуссии в открытом мире, отвечает на вопросы, выполняет машинный перевод и создает код. [4] [5]
Запустить [ править ]
Во время конференции разработчиков Huawei 7 июля 2023 года компания Huawei представила PanGu 3.0, большую языковую модель (LLM), специально разработанную для таких секторов, как правительство, финансы, производство, горнодобывающая промышленность и метеорология с использованием облачных решений Huawei Cloud . В следующем месяце Huawei выпустила Celia Virtual Assistant с расширенными функциями искусственного интеллекта, способного генерировать длинные текстовые ответы на основе голосовых команд пользователя и готового к выпуску вместе с HarmonyOS 4.0 для соответствующих устройств. [6] [7]
Программа LLM была разработана для предприятий, которые ищут преимущества в индустрии искусственного интеллекта, уделяя особое внимание выполнению задач, а не творческой работе, в отличие от традиционных моделей, используемых для общих целей, таких как чат-боты, поэзия и создание визуального контента. [8]
Используя ту же технологию, что и ChatGPT , LLM от Huawei имеет иерархическую архитектуру, позволяющую клиентам адаптировать модель к различным задачам и обучать ее на собственных наборах данных, что делает ее универсальной для различных отраслей. [9]
Обновления [ править ]
5 августа 2023 года компания Huawei в партнерстве с ECMWF разработала модель искусственного интеллекта, чтобы запустить глобальное прогнозирование погоды, использующее преимущества облачных решений Huawei с моделью Pangu-Weather Model с MindSpore наверху, доступ к которой доступен на веб-сайте Европейского центра. для среднесрочных прогнозов погоды (ECMWF), целью которого является предоставление точных данных о погоде. [10] [11]
19 декабря 2023 года Huawei Cloud объявила о предоставлении финансовых услуг на своей платформе AI Finance на базе Pangu на мировом рынке. Технический гигант представил этот продукт на саммите Huawei Cloud Fintech в 2023 году с целью изменить индустрию цифровых финансов с эффективными характеристиками и стимулировать финтех-компании на мировом рынке. Он включает в себя множество передовых функций и технологий с использованием искусственного интеллекта, анализа огромных данных и блокчейна. [12]
18 января 2024 года компания Huawei представила замененную базовую операционную систему HarmonyOS NEXT от HarmonyOS наряду с OpenHarmony и ОС Oniro, которая включает в себя модель Pangu AI, MindSpore AI Framework для Интернета вещей на интеллектуальных устройствах, интеллектуальных носимых устройствах, персональных вычислительных устройствах и мобильных устройствах. и автомобильная промышленность с технологиями беспилотного управления для различных типов оборудования, использующими преимущества чипов с поддержкой NPU HiSilicon . [13]
Технические характеристики [ править ]
Pangu Large Model 3.0, созданная для промышленности, имеет трехуровневую структуру 5+N+X. Первый уровень - L0 - это пять основных больших моделей Pangu, обеспечивающих различные навыки для удовлетворения отраслевых сценариев, такие как большие модели на естественном языке, большие визуальные модели, большие мультимодальные модели, большие модели прогнозирования и большие модели научных вычислений. Второй слой – L1 – это N крупных отраслевых моделей. При этом он предоставляет общеотраслевые большие модели, которые обучаются с использованием общедоступных отраслевых данных, включая правительственные дела, финансы, производство, горнодобывающую промышленность, погоду и многое другое. Он также использует собственные данные отраслевых клиентов о Pingu L0 и L1 и обучает свои собственные большие модели для клиентов. И последний третий уровень, уровень L2, предоставляет клиентам более подробные модели сценариев. Он больше ориентирован на конкретный сценарий применения или конкретный бизнес и предоставляет клиентам готовые модельные услуги. [14]
См. также [ править ]
Ссылки [ править ]
- ^ «Изменение отрасли с помощью искусственного интеллекта: Huawei Cloud запускает Pangu Models 3.0 и облачные сервисы Ascend AI» . Отдел новостей CITI . Отдел новостей CITI . Проверено 13 февраля 2024 г.
- ^ Наир, Арья М. (8 июля 2023 г.). «Huawei выпускает последнюю версию своей модели искусственного интеллекта глубокого обучения Pangu – GCC Business News» . Проверено 29 мая 2024 г.
- ^ Упадхьяй, Шьям Нандан. «Исследователи Huawei разработали LLM с 1,085 триллиона параметров» . АналитикаИндияМаг . АналитикаИндияМаг . Проверено 13 февраля 2024 г.
- ^ «Исследователи Huawei представляют Pangu-Σ: языковую модель с триллионом параметров и разреженной архитектурой» . Мультиплатформа.ай . Мультиплатформа.ай . Проверено 13 февраля 2024 г.
- ^ Тику, Аниш. «Исследователи Huawei разработали Pangu-Σ: большую языковую модель с разреженной архитектурой и 1,085 триллиона параметров» . marktechpost.com . marktechpost.com . Проверено 13 февраля 2024 г.
- ^ «Модели искусственного интеллекта Huawei Pangu для правительства, финансов, производства, горнодобывающей промышленности и метеорологии» . Отдел новостей ХК . Отдел новостей ХК . Проверено 13 февраля 2024 г.
- ^ Саркар, Эми. «Huawei запускает голосовой помощник с большой моделью Pangu AI» . Отдел новостей ХК . Отдел новостей ХК . Проверено 13 февраля 2024 г.
- ^ «Революция в глобальном ландшафте искусственного интеллекта: мегамодель PanGu от Huawei призвана преобразовать отрасли во всем мире» . ЛинкедИн . Гроссо Линк Сарл . Проверено 13 февраля 2024 г.
- ^ Джарретт, Миранда. «Huawei произведет революцию в приложениях искусственного интеллекта с помощью новой модели Pangu» . Дао Инсайты . Дао Инсайты . Проверено 13 февраля 2024 г.
- ^ Ли, Дэн. «Huawei Pangu-Weather Model дебютирует на европейском веб-сайте ECMWF» . Отдел новостей ХК . Отдел новостей ХК . Проверено 13 февраля 2024 г.
- ^ Мишра, Яш. «Huawei Cloud построит крупномасштабную высокоточную модель регионального прогноза погоды Pangu» . Отдел новостей ХК . Отдел новостей ХК . Проверено 13 февраля 2024 г.
- ^ Берч, Скотт. «Модель Huawei Cloud и Pangu AI меняет финансовую индустрию» . Журнал ФинТех . Журнал ФинТех . Проверено 13 февраля 2024 г.
- ^ ЧАНГ, ДЖЕКСОН. «Huawei HarmonyOS NEXT Galaxy Edition, анонсированная в новом видео, оставляет Android позади» . ТЕХЕБЛОГ . ТЕХБЛОГ . Проверено 13 февраля 2024 г.
- ^ «Huawei запускает новейшую модель искусственного интеллекта Pangu 3.0» . Бизнес сегодня (Малайзия) . Бизнес сегодня (Малайзия) . Проверено 13 февраля 2024 г.
Дифференцируемые вычисления |
|---|
