У Дао
| Оригинальный автор(ы) | Пекинская академия искусственного интеллекта |
|---|---|
| Первоначальный выпуск | 11 января 2021 г. |
| Веб-сайт | www |
У Дао ( китайский : У Дао ; пиньинь : wùdào ; букв. «Дорога к осознанию») [ 1 ] — это мультимодальный искусственный интеллект , разработанный Пекинской академией искусственного интеллекта (BAAI). [ 2 ] [ 3 ] [ 4 ] Впервые о Wu Dao 1.0 было объявлено 11 января 2021 года; [ 1 ] [ 5 ] улучшенная версия Wu Dao 2.0 была анонсирована 31 мая. [ 6 ] [ 5 ] Его сравнивали с GPT-3 , [ 7 ] и построен по аналогичной архитектуре; для сравнения, GPT-3 имеет 175 миллиардов параметров. [ 8 ] [ 9 ] — переменные и входные данные в модели машинного обучения — в то время как у Дао есть 1,75 триллиона параметров. [ 6 ] [ 10 ] У Дао обучался на 4,9 терабайтах изображений и текстов (включая 1,2 терабайта текста на китайском языке и 1,2 терабайта текста на английском языке), [ 6 ] [ 11 ] в то время как GPT-3 обучался на 45 терабайтах текстовых данных. [ 12 ] Тем не менее, растущий объем работ подчеркивает важность увеличения как данных, так и параметров. [ 13 ] Председатель BAAI заявил, что У Дао был попыткой «создать самую большую и мощную возможную модель ИИ». [ 8 ] У Дао 2.0 называли «самой большой языковой системой искусственного интеллекта». [ 4 ] Комментаторы это интерпретировали как попытку «конкурировать с США». [ 14 ] [ 15 ] . Примечательно, что тип архитектуры, используемый для Wu Dao 2.0, представляет собой модель смешанных экспертов (MoE), [ 5 ] в отличие от ГПТ-3, которая является "плотной" моделью: [ 16 ] в то время как модели MoE требуют гораздо меньше вычислительной мощности для обучения, чем плотные модели с тем же количеством параметров, [ 16 ] Модели MoE с триллионом параметров показали производительность, сравнимую с моделями, которые в сотни раз меньше. [ 16 ]
Создатели Wu Dao продемонстрировали его способность выполнять обработку естественного языка и распознавание изображений, а также генерировать текст и изображения. [ 5 ] Модель может не только писать эссе, стихи и куплеты на традиционном китайском языке, но и генерировать замещающий текст на основе статического изображения, а также создавать почти фотореалистичные изображения на основе описаний на естественном языке. Wu Dao также продемонстрировал свою способность питать виртуальных идолов (с небольшой помощью компании Microsoft , дочерней Xiaoice ) и предсказывать трехмерные структуры белков, таких как AlphaFold . [ 5 ]
История
[ редактировать ]Разработка Wu Dao началась в октябре 2020 года, через несколько месяцев после выпуска GPT-3 в мае 2020 года . [ 1 ] Первая версия модели, Wu Dao 1.0, «инициировала крупномасштабные исследовательские проекты». [ 17 ] через четыре родственные модели. [ 18 ] [ 17 ]
- У Дао – Вэнь Юань , предварительно обученная языковая модель с 2,6 миллиардами параметров, была разработана для таких задач, как ответы в открытой области, анализ настроений и исправление грамматики. [ 17 ]
- У Дао – Вэнь Лань , мультимодальная графическая модель с 1 миллиардом параметров, была обучена на 50 миллионах пар изображений для выполнения подписей к изображениям. [ 17 ]
- У Дао – Вэнь Хуэй , генеративная языковая модель с 11,3 миллиардами параметров, была разработана для «существенных проблем общего искусственного интеллекта с когнитивной точки зрения»; Synced утверждает, что он может «создавать стихи, снимать видео, рисовать изображения, извлекать текст, выполнять сложные рассуждения и т. д.». [ 17 ]
- У Дао-Вэнь Су , основанный на языковой модели Google BERT и обученный на 100-гигабайтной базе данных UNIPARC (а также на тысячах генных последовательностей), был разработан для прогнозирования биомолекулярной структуры и задач сворачивания белков. [ 17 ]
УДао Корпора
[ редактировать ]WuDao Corpora (также называемая WuDaoCorpora) в версии 2.0 представляла собой большой набор данных, созданный для обучения Wu Dao 2.0. Он содержит 3 терабайта текста, извлеченного из веб-данных, 90 терабайт графических данных (включающих 630 миллионов пар текст/изображение) и 181 гигабайт китайских диалогов (включающих 1,4 миллиарда раундов диалога). [ 19 ] У Дао 2.0 обучался с использованием FastMoE, варианта смешанной архитектуры экспертов, опубликованного Google . [ 18 ] В июне 2021 года TheNextWeb сообщил, что «подробности о том, как именно обучался У Дао, что было в его различных наборах данных и для каких практических приложений его можно использовать, остаются скудными». [ 8 ] Директор по политике OpenAI назвал У Дао примером «диффузии моделей» — неологизма, описывающего ситуацию, в которой несколько организаций разрабатывают модели, аналогичные моделям OpenAI. [ 20 ]
Ссылки
[ редактировать ]- ^ Перейти обратно: а б с Научно-исследовательский институт Чжиюань (11 января 2021 г.). «Ориентированный на познание, научно-исследовательский институт Чжиюань объединился с несколькими подразделениями для выпуска сверхмасштабной новой модели предварительного обучения «Удао·Вэньхуэй» » .
- ^ Бейли, Рональд (11 июня 2021 г.). «Представлена удивительная новая китайская языковая модель на базе искусственного интеллекта Wu Dao 2.0» . Причина .
- ^ «Рекордная модель искусственного интеллекта WuDao 2.0 представлена в Пекине» . China.org.cn . 3 июня 2021 г.
- ^ Перейти обратно: а б «Может ли ИИ помочь инвесторам найти следующую горячую технологию? Ряд компаний делают на это ставку» . Удача .
- ^ Перейти обратно: а б с д и Тарантола А. (2 июня 2021 г.). «Гигантский мультимодальный искусственный интеллект Китая — это не пони с одним трюком» . Engadget .
- ^ Перейти обратно: а б с Фэн, Коко (2 июня 2021 г.). «Языковая модель искусственного интеллекта, финансируемая Пекином, превосходит Google и OpenAI по чистым цифрам» . Южно-Китайская Морнинг Пост .
- ^ «WuDao 2.0, самый мощный китайский искусственный интеллект от OpenAI и Google» . lantidiplomatico.it . 6 июня 2021 г.
- ^ Перейти обратно: а б с Грин, Тристан (3 июня 2021 г.). «Китайский искусственный интеллект Wu Dao в 10 раз больше, чем GPT-3, и он умеет петь» . ТНВ | Нейронный .
- ^ Мотт, Натаниэль (3 июня 2021 г.). «Китай заявляет, что ИИ WuDao 2.0 — даже лучший собеседник, чем OpenAI и Google» . Аппаратное обеспечение Тома .
- ^ «Wu Dao 2.0, крупнейшая в мире мультимодальная модель искусственного интеллекта с глубоким обучением» . Коммерция . 3 июня 2021 г.
- ^ Хейккиля, Мелисса (9 июня 2021 г.). «Познакомьтесь с Wu Dao 2.0, китайской моделью искусственного интеллекта, заставляющей Запад попотеть» . Политик .
- ^ Б. Браун, Том (2020). «Языковые модели изучаются немногими». arXiv : 2005.14165 [ cs.CL ].
- ^ Хоффманн, Джордан (2022). «Обучение оптимальных для вычислений моделей большого языка». arXiv : 2203.15556 [ cs.CL ].
- ^ "Китайская нейросеть WuDao 2.0 с 1,75 трлн параметров превосходит аналоги от Google и OpenAI" . 3DNews - Daily Digital Digest .
- ^ Мертенс, Дженнифер (5 июня 2021 г.). «Китай разрабатывает ИИ, чтобы конкурировать с Соединенными Штатами» .
- ^ Перейти обратно: а б с Артече, Микель (2021). «Эффективное крупномасштабное языковое моделирование с привлечением экспертов». arXiv : 2112.10684 [ cs.CL ].
- ^ Перейти обратно: а б с д и ж «Китайский GPT-3? BAAI представляет супермасштабную интеллектуальную модель «Wu Dao 1.0» | Синхронизировано» . syncedreview.com . 23 марта 2021 г.
- ^ Перейти обратно: а б Шрайнер, Максимилиан (13 июня 2021 г.). «Голосовой ИИ из Китая: Wu Dao 2.0 в 10 раз больше, чем GPT-3» .
- ^ «ресурс» . ресурс.wudaoai.cn .
- ^ Виггерс, Кайл (4 июня 2021 г.). «AI Weekly: Масштабная мультимодальная модель Китая подчеркивает пробел в исследованиях ИИ» . ВенчурБит .