Ладонь

Из Википедии, бесплатной энциклопедии
Ладонь
Разработчики) Google ИИ
Предшественник ЛаМДА
Преемник Близнецы
Доступно в Английский
Тип Большая языковая модель
Веб-сайт есть .Google /обнаружить /palm2 /  Edit this on Wikidata

PaLM ( языковая модель путей с 540 миллиардами параметров, преобразователя на основе ) — это большая языковая модель разработанная Google AI . [1] Исследователи также обучили уменьшенные версии PaLM, модели с 8 и 62 миллиардами параметров, чтобы проверить влияние масштаба модели. [2]

PaLM способен решать широкий спектр задач, включая рассуждения на основе здравого смысла , арифметические рассуждения, объяснение шуток , генерацию кода и перевод . [2] [3] [4] [5] В сочетании с подсказками по цепочке мыслей PaLM достиг значительно более высокой производительности при работе с наборами данных, требующими рассуждения, состоящего из нескольких шагов, таких как словесные задачи и логические вопросы . [1] [2]

Модель была впервые анонсирована в апреле 2022 года и оставалась частной до марта 2023 года, когда Google запустил API для PaLM и ряда других технологий. [6] Первоначально API был доступен ограниченному числу разработчиков, которые присоединились к списку ожидания, прежде чем он был выпущен для широкой публики. [7]

Google и DeepMind разработали версию PaLM 540B под названием Med-PaLM , которая точно настроена на медицинские данные и превосходит предыдущие модели по критериям ответов на медицинские вопросы . [8] [9] Med-PaLM был первым, кто получил проходной балл по вопросам медицинского лицензирования в США, и помимо точных ответов как на вопросы с множественным выбором, так и на открытые вопросы, он также предоставляет аргументацию и способен оценить свои собственные ответы. [10]

Google также расширила PaLM, используя преобразователь зрения , чтобы создать PaLM-E , современную модель языка видения, которую можно использовать для роботизированных манипуляций . [11] [12] Модель может выполнять задачи по робототехнике конкурентоспособно без необходимости переобучения или доводки . [13]

В мае 2023 года Google анонсировала PaLM 2 на ежегодной конференции Google I/O . [14] Сообщается, что PaLM 2 представляет собой модель с 340 миллиардами параметров, обученную на 3,6 триллионах токенов. [15]

В июне 2023 года Google анонсировала AudioPaLM для перевода речи в речь, который использует архитектуру и инициализацию PaLM-2. [16]

Обучение [ править ]

PaLM предварительно обучен на высококачественном корпусе из 780 миллиардов токенов, которые включают в себя различные задачи на естественном языке и варианты использования. Этот набор данных включает в себя отфильтрованные веб-страницы, книги, статьи в Википедии , новостные статьи, исходный код, полученный из репозиториев с открытым исходным кодом на GitHub , и в социальных сетях . разговоры [1] [2] Он основан на наборе данных, который использовался для обучения Google модели LaMDA . [2] Часть набора данных, посвященная разговорам в социальных сетях, составляет 50% корпуса, что помогает модели в ее диалоговых возможностях. [2]

PaLM 540B обучался на двух модулях TPU v4 с 3072 чипами TPU v4 в каждом модуле, подключенных к 768 хостам, подключенным с использованием комбинации параллелизма модели и данных , что было самой большой конфигурацией TPU. [2] [17] Это позволило провести эффективное обучение в большом масштабе с использованием 6144 чипов и стало рекордом высочайшей эффективности обучения, достигнутой для LLM в этом масштабе: использование аппаратных FLOP составило 57,8%. [3]

См. также [ править ]

Ссылки [ править ]

  1. ^ Перейти обратно: а б с Наранг, Шаран; Чоудери, Ааканша. «Языковая модель Pathways (PaLM): масштабирование до 540 миллиардов параметров для достижения революционной производительности» . ai.googleblog.com . Проверено 17 марта 2023 г.
  2. ^ Перейти обратно: а б с д Это ж г Чоудери, Ааканша; Наранг, Шаран; Девлин, Джейкоб; и другие. (2022). «PaLM: масштабирование языкового моделирования с помощью путей». arXiv : 2204.02311 [ cs.CL ].
  3. ^ Перейти обратно: а б Анадиотис, Джордж (12 апреля 2022 г.). «Google устанавливает планку для языковых моделей искусственного интеллекта с помощью PaLM» . ВенчурБит . Проверено 17 марта 2023 г.
  4. ^ Бастиан, Матиас (5 апреля 2022 г.). «Google PaLM: гигантский языковой ИИ может объяснять шутки» . декодер . Проверено 17 марта 2023 г.
  5. ^ «Google: почему никто не говорит о PaLM» . ищуalpha.com . 12 декабря 2022 г. Проверено 17 марта 2023 г.
  6. ^ Винсент, Джеймс (14 марта 2023 г.). «Google открывает свою языковую модель искусственного интеллекта PaLM, чтобы бросить вызов OpenAI и GPT-3» . Грань . Проверено 17 марта 2023 г.
  7. ^ Хаффман, Скотт; Вудворд, Джош. «PaLM API и MakerSuite: доступный способ начать прототипирование и создание генеративных приложений искусственного интеллекта» . Проверено 17 марта 2023 г.
  8. ^ Сингхал, Каран; Азиз, Шекуфе; Ты, Тао; и другие. (2022). «Большие языковые модели кодируют клинические знания». arXiv : 2212.13138 [ cs.CL ].
  9. ^ «MedPaLM: Новые чат-боты скоро будут лучше, чем ожидание врача» . Медицинский футурист . 17 января 2023 г. Проверено 17 марта 2023 г.
  10. ^ Матиас, Йоси; Коррадо, Грег (14 марта 2023 г.). «Наши последние обновления исследований в области искусственного интеллекта в области здравоохранения» . Google . Проверено 17 марта 2023 г.
  11. ^ Дрисс, Дэнни; Ся, Фэй; Саджади, Мехди С.М.; и другие. (2023). «PaLM-E: воплощенная мультимодальная языковая модель». arXiv : 2303.03378 [ cs.LG ].
  12. ^ Дрисс, Дэнни; Флоренс, Пит. «PaLM-E: воплощенная мультимодальная языковая модель» . ai.googleblog.com . Проверено 17 марта 2023 г.
  13. ^ Эдвардс, Бендж (7 марта 2023 г.). «PaLM-E от Google — это универсальный роботизированный мозг, который принимает команды» . Арс Техника . Проверено 17 марта 2023 г.
  14. ^ Лардинуа, Фредерик (10 мая 2023 г.). «Google запускает PaLM 2, модель большого языка нового поколения» . ТехКранч . Архивировано из оригинала 10 мая 2023 года . Проверено 10 мая 2023 г.
  15. ^ Элиас, Дженнифер (16 мая 2023 г.). «Новейшая модель искусственного интеллекта Google использует для обучения почти в пять раз больше текстовых данных, чем ее предшественница» . CNBC . Проверено 18 мая 2023 г.
  16. ^ «АудиоПаЛМ» . google-research.github.io . Проверено 30 июня 2023 г.
  17. ^ «Эмпирический анализ оптимального для вычислений обучения модели большого языка» . www.deepmind.com . Проверено 17 марта 2023 г.
Retrieved from "https://en.wikipedia.org/w/index.php?title=PaLM&oldid=1220801795"