У Дао
| Оригинальный автор(ы) | Пекинская академия искусственного интеллекта |
|---|---|
| Первоначальный выпуск | 11 января 2021 г. |
| Веб-сайт | www |
У Дао ( китайский : 悟道 ; пиньинь : wùdào ; букв. «Дорога к осознанности») [1] — это мультимодальный искусственный интеллект , разработанный Пекинской академией искусственного интеллекта (BAAI). [2] [3] [4] Впервые о Wu Dao 1.0 было объявлено 11 января 2021 года; [1] [5] улучшенная версия Wu Dao 2.0 была анонсирована 31 мая. [6] [5] Его сравнивали с GPT-3 , [7] и построен по аналогичной архитектуре; для сравнения, GPT-3 имеет 175 миллиардов параметров. [8] [9] — переменные и входные данные в модели машинного обучения — в то время как у Дао есть 1,75 триллиона параметров. [6] [10] У Дао обучался на 4,9 терабайтах изображений и текстов (включая 1,2 терабайта текста на китайском языке и 1,2 терабайта текста на английском языке), [6] [11] в то время как GPT-3 обучался на 45 терабайтах текстовых данных. [12] Тем не менее, растущий объем работ подчеркивает важность увеличения как данных, так и параметров. [13] Председатель BAAI заявил, что У Дао был попыткой «создать самую большую и мощную возможную модель ИИ». [8] У Дао 2.0 называли «самой большой языковой системой искусственного интеллекта». [4] Комментаторы это интерпретировали как попытку «конкурировать с США». [14] [15] . Примечательно, что тип архитектуры, используемый для Wu Dao 2.0, представляет собой модель смешанных экспертов (MoE), [5] в отличие от ГПТ-3, которая является "плотной" моделью: [16] в то время как модели MoE требуют гораздо меньших вычислительных мощностей для обучения, чем плотные модели с тем же количеством параметров, [16] Модели MoE с триллионом параметров показали производительность, сравнимую с моделями, которые в сотни раз меньше. [16]
Создатели Wu Dao продемонстрировали его способность выполнять обработку естественного языка и распознавание изображений, а также генерировать текст и изображения. [5] Модель может не только писать эссе, стихи и куплеты на традиционном китайском языке, но и генерировать замещающий текст на основе статического изображения, а также создавать почти фотореалистичные изображения на основе описаний на естественном языке. Wu Dao также продемонстрировал свою способность питать виртуальных идолов (с небольшой помощью компании Microsoft , дочерней Xiaoice ) и предсказывать трехмерные структуры белков, таких как AlphaFold . [5]
История
[ редактировать ]Разработка Wu Dao началась в октябре 2020 года, через несколько месяцев после выпуска GPT-3 в мае 2020 года . [1] Первая версия модели, Wu Dao 1.0, «инициировала крупномасштабные исследовательские проекты». [17] через четыре родственные модели. [18] [17]
- У Дао – Вэнь Юань , предварительно обученная языковая модель с 2,6 миллиардами параметров, была разработана для таких задач, как ответы в открытой области, анализ настроений и исправление грамматики. [17]
- У Дао – Вэнь Лань , мультимодальная графическая модель с 1 миллиардом параметров, была обучена на 50 миллионах пар изображений для выполнения подписей к изображениям. [17]
- У Дао – Вэнь Хуэй , генеративная языковая модель с 11,3 миллиардами параметров, была разработана для «существенных проблем общего искусственного интеллекта с когнитивной точки зрения»; Synced утверждает, что он может «создавать стихи, снимать видео, рисовать изображения, извлекать текст, выполнять сложные рассуждения и т. д.». [17]
- У Дао-Вэнь Су , основанный на языковой модели Google BERT и обученный на 100-гигабайтной базе данных UNIPARC (а также на тысячах генных последовательностей), был разработан для прогнозирования биомолекулярной структуры и задач сворачивания белков. [17]
УДао Корпора
[ редактировать ]WuDao Corpora (также называемая WuDaoCorpora) в версии 2.0 представляла собой большой набор данных, созданный для обучения Wu Dao 2.0. Он содержит 3 терабайта текста, извлеченного из веб-данных, 90 терабайт графических данных (включающих 630 миллионов пар текст/изображение) и 181 гигабайт китайских диалогов (включающих 1,4 миллиарда раундов диалога). [19] У Дао 2.0 обучался с использованием FastMoE, варианта смешанной архитектуры экспертов, опубликованного Google . [18] В июне 2021 года TheNextWeb сообщил, что «подробности о том, как именно обучался У Дао, что было в его различных наборах данных и для каких практических приложений его можно использовать, остаются скудными». [8] Директор по политике OpenAI назвал У Дао примером «диффузии моделей» — неологизма, описывающего ситуацию, в которой несколько организаций разрабатывают модели, аналогичные моделям OpenAI. [20]
Ссылки
[ редактировать ]- ^ Jump up to: а б с Научно-исследовательский институт Чжиюань (11 января 2021 г.). «Ориентированный на познание, научно-исследовательский институт Чжиюань объединился с несколькими подразделениями для выпуска сверхмасштабной новой модели предварительного обучения «Удао·Вэньхуэй» » .
- ^ Бейли, Рональд (11 июня 2021 г.). «Представлена удивительная новая китайская языковая модель на базе искусственного интеллекта Wu Dao 2.0» . Причина .
- ^ «Рекордная модель искусственного интеллекта WuDao 2.0 представлена в Пекине» . China.org.cn . 3 июня 2021 г.
- ^ Jump up to: а б «Может ли ИИ помочь инвесторам найти следующую горячую технологию? Ряд компаний делают ставку на это» . Удача .
- ^ Jump up to: а б с д и Тарантола А. (2 июня 2021 г.). «Гигантский мультимодальный искусственный интеллект Китая — это не пони с одним трюком» . Engadget .
- ^ Jump up to: а б с Фэн, Коко (2 июня 2021 г.). «Языковая модель искусственного интеллекта, финансируемая Пекином, превосходит Google и OpenAI по чистым цифрам» . Южно-Китайская Морнинг Пост .
- ^ «WuDao 2.0, самый мощный китайский искусственный интеллект от OpenAI и Google» . lantidiplomatico.it . 6 июня 2021 г.
- ^ Jump up to: а б с Грин, Тристан (3 июня 2021 г.). «Китайский искусственный интеллект У Дао в 10 раз больше, чем GPT-3, и он умеет петь» . ТНВ | Нейронный .
- ^ Мотт, Натаниэль (3 июня 2021 г.). «Китай заявляет, что ИИ WuDao 2.0 — даже лучший собеседник, чем OpenAI и Google» . Аппаратное обеспечение Тома .
- ^ «Wu Dao 2.0, крупнейшая в мире мультимодальная модель искусственного интеллекта с глубоким обучением» . Коммерция . 3 июня 2021 г.
- ^ Хейккиля, Мелисса (9 июня 2021 г.). «Познакомьтесь с Wu Dao 2.0, китайской моделью искусственного интеллекта, заставляющей Запад попотеть» . Политик .
- ^ Б. Браун, Том (2020). «Языковые модели изучаются немногими». arXiv : 2005.14165 [ cs.CL ].
- ^ Хоффманн, Джордан (2022). «Обучение оптимальных для вычислений моделей большого языка». arXiv : 2203.15556 [ cs.CL ].
- ^ "Китайская нейросеть WuDao 2.0 с 1,75 трлн параметров превосходит аналоги от Google и OpenAI" . 3DNews - Daily Digital Digest .
- ^ Мертенс, Дженнифер (5 июня 2021 г.). «Китай разрабатывает ИИ, чтобы конкурировать с Соединенными Штатами» .
- ^ Jump up to: а б с Артече, Микель (2021). «Эффективное крупномасштабное языковое моделирование с привлечением экспертов». arXiv : 2112.10684 [ cs.CL ].
- ^ Jump up to: а б с д и ж «Китайский GPT-3? BAAI представляет сверхмасштабную интеллектуальную модель Wu Dao 1.0 | Синхронизировано» . syncedreview.com . 23 марта 2021 г.
- ^ Jump up to: а б Шрайнер, Максимилиан (13 июня 2021 г.). «Голосовой искусственный интеллект из Китая: Wu Dao 2.0 в 10 раз больше, чем GPT-3» .
- ^ «ресурс» . ресурс.wudaoai.cn .
- ^ Виггерс, Кайл (4 июня 2021 г.). «AI Weekly: Масштабная мультимодальная модель Китая подчеркивает пробел в исследованиях ИИ» . ВенчурБит .