ЛаМДА

Из Википедии, бесплатной энциклопедии

ЛаМДА
Разработчики) Google Мозг
Преемник Ладонь
Доступно в Английский
Тип Большая языковая модель
Лицензия Собственный

LaMDA ( Языковая модель для диалоговых приложений ) — семейство моделей разговорного большого языка, разработанное Google . Первоначально разработанный и представленный как Meena в 2020 году, LaMDA первого поколения был анонсирован во время выступления Google I/O 2021 года , а второе поколение было анонсировано в следующем году. В июне 2022 года LaMDA привлекла широкое внимание, когда инженер Google Блейк Лемуан заявил, что чат-бот стал разумным . Научное сообщество в значительной степени отвергло утверждения Лемуана, хотя это привело к разговорам об эффективности теста Тьюринга , который определяет, может ли компьютер сойти за человека. В феврале 2023 года Google анонсировала Bard (теперь Gemini), диалоговый чат-бот с искусственным интеллектом на базе LaMDA, чтобы противостоять росту популярности OpenAI от ChatGPT .

История [ править ]

Предыстория [ править ]

28 января 2020 года Google представила Meena, нейронной сети на основе чат-бота с 2,6 миллиардами параметров, который, по утверждению Google, превосходит все другие существующие чат-боты. [1] [2] Ранее в 2012 году компания наняла ученого-компьютерщика Рэя Курцвейла для разработки нескольких чат-ботов для компании, в том числе одного по имени Даниэль. [3] Исследовательская группа Google Brain , разработавшая Meena, надеялась опубликовать чат-бота в ограниченном объеме, но руководители компаний отказались на том основании, что Meena нарушила «принципы искусственного интеллекта Google в отношении безопасности и справедливости». Позже Meena была переименована в LaMDA, поскольку ее данные и вычислительная мощность увеличились, и команда Google Brain снова попыталась развернуть программное обеспечение в Google Assistant компании , программном обеспечении виртуального помощника , а также открыть его для публичной демо-версии. Оба запроса в очередной раз были отклонены руководством компании. В конечном итоге это привело к тому, что два ведущих исследователя LaMDA, Дэниел Де Фрейтас и Ноам Шазир, в отчаянии покинули компанию. [4]

Первое поколение [ править ]

LaMDA Google анонсировала модель разговорного большого языка Во время выступления Google I/O 18 мая 2021 года , основанную на искусственном интеллекте . [5] [6] Аббревиатура расшифровывается как «Языковая модель для диалоговых приложений». [5] [7] LaMDA , построенная на seq2seq архитектуре трансформаторов на основе и нейронных сетях , разработанных Google Research в 2017 году, была обучена человеческим диалогам и историям, что позволяет ей участвовать в открытых разговорах. [8] Google заявляет, что ответы, генерируемые LaMDA, были «разумными, интересными и соответствующими контексту». [9] LaMDA имеет доступ к нескольким системам обработки символьного текста , включая базу данных, часы реального времени и календарь, математический калькулятор и систему перевода на естественный язык, что обеспечивает превосходную точность в задачах, поддерживаемых этими системами, и делает его одним из первых чат-боты с двойным процессом . LaMDA также не является апатридом , поскольку его « разумности показатель » точно настраивается путем «предварительного обуславливания» каждого поворота диалога путем добавления многих из самых последних диалоговых взаимодействий для каждого пользователя. [10] LaMDA настроен на девять уникальных показателей эффективности: разумность, специфичность, интересность, безопасность, обоснованность, информативность, точность цитирования, полезность и последовательность ролей. [11]

Второе поколение [ править ]

11 мая 2022 года Google представила LaMDA 2, преемника LaMDA, во время основного доклада Google I/O 2022 года. Новое воплощение модели извлекает примеры текста из многочисленных источников, используя их для формулирования уникальных «естественных разговоров» на темы, на которые она, возможно, не была обучена реагировать. [12]

Заявления о разумности [ править ]

Заявления Лемуана о том, что LaMDA может быть разумным, спровоцировали дискуссии о том, остается ли тест Тьюринга , изображенный выше, точным ориентиром в определении общего искусственного интеллекта . [13]

11 июня 2022 года газета The Washington Post Google сообщила, что инженер Блейк Лемуан был отправлен в оплачиваемый административный отпуск после того, как Лемуан сообщил руководителям компании Блезу Агуэра-и-Аркас и Джен Дженнаи, что LaMDA стал разумным . Лемуан пришел к такому выводу после того, как чат-бот дал сомнительные ответы на вопросы, касающиеся самоидентификации , моральных ценностей , религии и Айзека Азимова трех законов робототехники . [14] [15] Google опроверг эти утверждения, настаивая на том, что существуют веские доказательства того, что LaMDA не обладает разумом. [16] В интервью Wired Лемуан повторил свои утверждения о том, что LaMDA был «человеком», как того требует Тринадцатая поправка к Конституции США , сравнив его с «инопланетным разумом земного происхождения». Он также сообщил, что Google уволил его после того, как он нанял адвоката от имени LaMDA после того, как чат-бот попросил Лемуана сделать это. [17] [18] 22 июля Google уволила Лемуана, заявив, что Блейк нарушил их политику «по защите информации о продуктах», и отвергла его претензии как «совершенно необоснованные». [19] [20] Внутренние разногласия, вызванные инцидентом, побудили руководителей Google принять решение не публиковать LaMDA, что ранее рассматривалось. [4]

Заявления Лемуана были отвергнуты научным сообществом. [21] Многие эксперты отвергли идею о том, что LaMDA разумна, в том числе бывший Нью-Йоркского университета профессор психологии Гэри Маркус , Дэвид Пфау из дочерней компании Google DeepMind , Эрик Бриньольфссон из Института человекоцентрированного искусственного интеллекта Стэнфордского университета и профессор Университета Суррея Адриан Хилтон. . [13] [22] Ян ЛеКун , возглавляющий исследовательскую группу по искусственному интеллекту Meta Platforms , заявил, что нейронные сети, такие как LaMDA, «недостаточно мощны, чтобы достичь истинного интеллекта». [23] Профессор Калифорнийского университета в Санта-Крусе Макс Кремински отметил, что архитектура LaMDA «не поддерживает некоторые ключевые возможности человеческого сознания» и что веса ее нейронной сети были «заморожены», предполагая, что это типичная модель большого языка. [24] Однако философ Ник Бостром отметил, что отсутствие точных и согласованных критериев для определения того, является ли система сознательной, требует некоторой неопределенности. [25] IBM Watson Ведущий разработчик Дэвид Ферруччи сравнил, насколько LaMDA выглядела как человек, и Watson, когда она была впервые представлена. [26] Бывший специалист по этике Google в области искусственного интеллекта Тимнит Гебру назвал Лемуана жертвой «цикла ажиотажа», инициированного исследователями и средствами массовой информации. [27] Заявления Лемуана также вызвали дискуссию о том, остается ли тест Тьюринга полезным для определения прогресса исследователей в создании общего искусственного интеллекта . [13] Уилл Омерус из Post полагает, что тест на самом деле позволил определить, машинного интеллекта обманывать людей, способны ли системы [28] в то время как Брайан Кристиан из The Atlantic сказал, что спор был примером эффекта ELIZA . [29]

Продукты [ править ]

Тестовая кухня AI [ править ]

С выпуском LaMDA 2 в мае 2022 года Google также запустила AI Test Kitchen — мобильное приложение для операционной системы Android на базе LaMDA, способное по запросу предоставлять списки предложений на основе сложной цели. [30] [31] Первоначально открытое только для сотрудников Google, приложение должно было быть доступно «избранным ученым, исследователям и политикам» по приглашению где-то в этом году. [32] В августе компания начала разрешать пользователям в США подписаться на ранний доступ. [33] В ноябре Google выпустила обновление «второго сезона» приложения, интегрировавшее ограниченную форму Imagen модели преобразования текста в изображение от Google Brain . [34] Третья версия AI Test Kitchen находилась в разработке к январю 2023 года и, как ожидается, будет запущена на I/O позже в том же году. [35] После майского доклада I/O 2023 года Google добавила MusicLM, музыкальный генератор на базе искусственного интеллекта, впервые представленный в январе, в приложение AI Test Kitchen. [36] [37] В августе приложение было исключено из Google Play и Apple App Store и вместо этого полностью перешло в онлайн. [38]

Бард [ править ]

6 февраля 2023 года Google анонсировала Bard, диалогового чат-бота с искусственным интеллектом на базе LaMDA, в ответ на неожиданную популярность OpenAI от чат-бота ChatGPT . [39] [40] [41] Google позиционирует чат-бота как «совместную службу искусственного интеллекта», а не как поисковую систему . [42] [43] Бард стал доступен для раннего доступа 21 марта. [44] [45] [46]

Другие продукты [ править ]

Помимо Барда, Пичаи также представил Generative Language API, интерфейс прикладного программирования , также основанный на LaMDA, который, как он объявил, будет открыт для сторонних разработчиков в марте 2023 года. [39]

Метод [ править ]

LaMDA использует языковую модель преобразователя, предназначенную только для декодера. [47] Он предварительно обучен на текстовом корпусе , включающем как документы, так и диалоги, состоящие из 1,56 триллиона слов. [48] а затем обучается с помощью точной настройки данных, генерируемых вручную аннотированными ответами, для обеспечения разумности, интересности и безопасности. [49] Тесты Google показали, что LaMDA превзошла человеческие ответы в области интересности. [50] Модель преобразователя LaMDA и внешняя система поиска информации взаимодействуют для повышения точности фактов, предоставляемых пользователю. [51]

Были протестированы три разные модели, самая крупная из которых имела 137 миллиардов невстраивающихся параметров: [52]

Гиперпараметры модели трансформатора
Параметры Слои Единицы измерения ( модель d ) Руководители
10 2560 40
16 4096 64
137Б 64 8192 128

См. также [ править ]

Ссылки [ править ]

Общие [ править ]

  • Топпилан, Ромал; Де Фрейтас, Даниэль; Холл, Джейми; Шазир, Ноам; Кулшрешта, Апурв; Ченг, Хэн-Цзы; Джин, Алисия; Босс, Тейлор; Бейкер, Лесли; Ду, Ю; Ли, ЯГуан; Ли, Хонгрэ; Чжэн, Хуайсю Стивен; Гафури, Амин; Менегали, Марсело; Хуан, Яньпин; Крикун, Максим; Лепихин Дмитрий; Цинь, Джеймс; Чен, Дехао; Сюй, Юаньчжун; Чен, Чжифэн; Робертс, Адам; Босма, Мартен; Чжао, Винсент; Чжоу, Яньци; Чанг, Чун-Чинг; Кривоконь Игорь; Раш, Уилл; Пикетт, Марк; Шринивасан, Пранеш; Мужчина, Лайчи; Мейер-Хеллстерн, Кэтлин; Рингел Моррис, Мередит; Доши, Талси; Делос Сантос, Ренелито; Герцог, Тодзю; Соракер, Джонни; Зевенберген, Бен; Прабхакаран, Винодкумар; Диас, Марк; Хатчинсон, Бен; Олсон, Кристен; Молина, Алехандра; Хоффман-Джон, Эрин; Ли, Джош; Арройо, Лора; Раджакумар, Рави; Бутрина, Алена; Ламм, Мэтью; Кузьмина Виктория; Фентон, Джо; Коэн; Аарон; Бернштейн, Рэйчел; Курцвейл, Рэй; Агера-Аркас, Блез; Кюи, Клэр; Крок, Мэриан; Чи, Эд; Ле, Куок (20 января 2022 г.). «LaMDA: языковые модели для диалоговых приложений». arXiv : 2201.08239 [ cs.CL ].

Цитаты [ править ]

  1. ^ Джонсон, Хари (28 января 2020 г.). «Meena — это попытка Google создать настоящий диалоговый ИИ» . ВенчурБит . Архивировано из оригинала 1 октября 2022 года . Проверено 11 марта 2023 г.
  2. ^ Небеса, Уильям Дуглас (30 января 2020 г.). «Google заявляет, что ее новый чат-бот Meena — лучший в мире» . Обзор технологий Массачусетского технологического института . Архивировано из оригинала 2 августа 2020 года . Проверено 11 марта 2023 г.
  3. ^ Поппер, Бен (27 мая 2016 г.). «Рэй Курцвейл создает чат-бота для Google» . Грань . Архивировано из оригинала 27 мая 2016 года . Проверено 11 марта 2023 г.
  4. ^ Перейти обратно: а б Круппа, Майлз; Шехнер, Сэм (7 марта 2023 г.). «Как Google стал осторожнее относиться к искусственному интеллекту и дал Microsoft возможность» . Журнал "Уолл Стрит . ISSN   0099-9660 . Архивировано из оригинала 7 марта 2023 года . Проверено 9 марта 2023 г.
  5. ^ Перейти обратно: а б Кондон, Стефани (18 мая 2021 г.). «Google I/O 2021: Google представляет новую модель разговорного языка LaMDA» . ЗДНЕТ . Архивировано из оригинала 18 мая 2021 года . Проверено 12 июня 2022 г.
  6. ^ Рот, Эмма (5 марта 2023 г.). «Познакомьтесь с компаниями, пытающимися не отставать от ChatGPT» . Грань . Архивировано из оригинала 5 марта 2023 года . Проверено 9 марта 2023 г.
  7. ^ Фаулер, Джеффри А. (21 марта 2023 г.). «Что скажешь, Бард? Что новый ИИ Google делает правильно, неправильно и странно» . Вашингтон Пост . ISSN   0190-8286 . Архивировано из оригинала 21 марта 2023 года . Проверено 16 октября 2023 г.
  8. ^ Агуэра-и-Аркас, Блез (9 июня 2022 г.). «По мнению Блеза Агуэра-и-Аркаса, искусственные нейронные сети делают шаги к сознанию» . Экономист . ISSN   0013-0613 . Архивировано из оригинала 9 июня 2022 года . Проверено 12 июня 2022 г.
  9. ^ Ченг, Хэн-Цзы; Топпилан, Ромал (21 января 2022 г.). «LaMDA: к безопасным, обоснованным и высококачественным моделям диалога для всего» . Гугл ИИ . Архивировано из оригинала 25 марта 2022 года . Проверено 12 июня 2022 г.
  10. ^ Топпилан и др. 2022 , с. 6.
  11. ^ Топпилан и др. 2022 , стр. 5–6.
  12. ^ Виггерс, Кайл (11 мая 2022 г.). «Google подробно описывает свою новейшую языковую модель и AI Test Kitchen, демонстрацию исследований искусственного интеллекта» . ТехКранч . Архивировано из оригинала 11 мая 2022 года . Проверено 12 июня 2022 г.
  13. ^ Перейти обратно: а б с Хан, Джереми (13 июня 2022 г.). «Эксперты по искусственному интеллекту говорят, что заявление исследователя Google о том, что его чат-бот стал «разумным», абсурдно, но также подчеркивает большие проблемы в этой области» . Удача . Архивировано из оригинала 13 июня 2022 года . Проверено 18 июня 2022 г.
  14. ^ Тику, Ниташа (11 июня 2022 г.). «Инженер Google, который считает, что ИИ компании ожил» . Вашингтон Пост . ISSN   0190-8286 . Архивировано из оригинала 11 июня 2022 года . Проверено 12 июня 2022 г.
  15. ^ Ласкомб, Ричард (12 июня 2022 г.). «Инженер Google ушел в отпуск после того, как сказал, что чат-бот с искусственным интеллектом стал разумным » Хранитель . ISSN   0261-3077 . Архивировано из оригинала 12 июня 2022 года . Проверено 18 июня 2022 г.
  16. ^ Вламис, Келси (12 июня 2022 г.). «Прочитайте разговоры, которые помогли инженеру Google убедить, что чат-бот с искусственным интеллектом стал разумным: «Я часто пытаюсь понять, кто и что я есть» » . Бизнес-инсайдер . Архивировано из оригинала 12 июня 2022 года . Проверено 12 июня 2022 г.
  17. ^ Леви, Стивен (17 июня 2022 г.). «Блейк Лемуан говорит, что ИИ LaMDA от Google сталкивается с «фанатизмом» » . Проводной . Архивировано из оригинала 18 июня 2022 года . Проверено 18 июня 2022 г.
  18. ^ Нгуен, Бритни (23 июня 2022 г.). «Отстраненный инженер Google говорит, что ИИ, которого он считает разумным, нанял адвоката» . Бизнес-инсайдер . Архивировано из оригинала 23 июня 2022 года . Проверено 29 июня 2022 г.
  19. ^ Хуши, Аканкша (23 июля 2022 г.). «Google увольняет инженера-программиста, который утверждал, что ее чат-бот с искусственным интеллектом разумен » Рейтер . Архивировано из оригинала 23 июля 2022 года . Проверено 23 июля 2022 г.
  20. ^ Кларк, Митчелл (22 июля 2022 г.). «Инженер, утверждавший, что ИИ Google разумен, уволен» . Грань . Архивировано из оригинала 23 июля 2022 года . Проверено 24 июля 2022 г.
  21. ^ Мец, Рэйчел (13 июня 2022 г.). «Нет, ИИ Google не разумен» . CNN Бизнес . Архивировано из оригинала 15 июня 2022 года . Проверено 19 июня 2022 г.
  22. ^ Спарклс, Мэтью (13 июня 2022 г.). «Действительно ли искусственный интеллект LaMDA от Google обрел разум?» . Новый учёный . Архивировано из оригинала 13 июня 2022 года . Проверено 20 июня 2022 г.
  23. ^ Грант, Николь; Мец, Кейд (12 июня 2022 г.). «Инженер Google, утверждающий, что его ИИ разумен» . Нью-Йорк Таймс . ISSN   0362-4331 . Архивировано из оригинала 12 июня 2022 года . Проверено 18 июня 2022 г.
  24. ^ Альба, Дэйви (14 июня 2022 г.). «Дебаты в Google по поводу «разумных» ботов затмевают более глубокие проблемы искусственного интеллекта» . Новости Блумберга . Архивировано из оригинала 14 июня 2022 года . Проверено 19 июня 2022 г.
  25. ^ Лейт, Сэм (7 июля 2022 г.). «Ник Бостром: Как мы можем быть уверены, что машина не находится в сознании?» . Зритель . Проверено 28 апреля 2024 г.
  26. ^ Голдман, Шэрон (16 июня 2022 г.). «AI Weekly: Дебаты LaMDA о «разумном» искусственном интеллекте вызывают воспоминания о IBM Watson» . ВенчурБит . Архивировано из оригинала 19 июня 2022 года . Проверено 19 июня 2022 г.
  27. ^ Джонсон, Хари (14 июня 2022 г.). «LaMDA и ловушка разумного ИИ» . Проводной . Архивировано из оригинала 14 июня 2022 года . Проверено 18 июня 2022 г.
  28. ^ Омерус, Уилл (17 июня 2022 г.). «ИИ Google прошел знаменитый тест — и показал, как этот тест не работает» . Вашингтон Пост . ISSN   0190-8286 . Архивировано из оригинала 18 июня 2022 года . Проверено 19 июня 2022 г.
  29. ^ Кристиан, Брайан (21 июня 2022 г.). «Как сотрудник Google попался на эффект Элизы» . Атлантический океан . Архивировано из оригинала 21 июня 2022 года . Проверено 8 февраля 2023 г.
  30. ^ Лоу, Черлинн (11 мая 2022 г.). «Google AI Test Kitchen позволяет экспериментировать с моделью естественного языка» . Engadget . Архивировано из оригинала 11 мая 2022 года . Проверено 12 июня 2022 г.
  31. ^ Винсент, Джеймс (11 мая 2022 г.). «Google проводит бета-тестирование будущего искусственного интеллекта» . Грань . Архивировано из оригинала 11 мая 2022 года . Проверено 12 июня 2022 г.
  32. ^ Бхаттачарья, Ананья (11 мая 2022 г.). «Google так нервничает по поводу того, что скажет ее новый бот, что сделал приложение доступным только по приглашению» . Кварц . Архивировано из оригинала 12 мая 2022 года . Проверено 12 июня 2022 г.
  33. ^ Винсент, Джеймс (25 августа 2022 г.). «Google открыл список ожидания, чтобы поговорить со своим экспериментальным чат-ботом с искусственным интеллектом» . Грань . Архивировано из оригинала 25 августа 2022 года . Проверено 27 августа 2022 г.
  34. ^ Винсент, Джеймс (2 ноября 2022 г.). «Модель Google для преобразования текста в изображение Imagen впервые (очень ограниченно) публично представлена» . Грань . Архивировано из оригинала 10 ноября 2022 года . Проверено 15 февраля 2023 г.
  35. ^ Грант, Нико (20 января 2023 г.). «Google обращается за помощью к Ларри Пейджу и Сергею Брину в борьбе с искусственным интеллектом» . Нью-Йорк Таймс . ISSN   0362-4331 . Архивировано из оригинала 20 января 2023 года . Проверено 6 февраля 2023 г.
  36. ^ Виггерс, Кайл (11 мая 2023 г.). «Познакомьтесь с музыкальным генератором Google на базе искусственного интеллекта» . ТехКранч . Архивировано из оригинала 11 мая 2023 года . Проверено 10 июня 2023 г.
  37. ^ Миллман, Итан (11 мая 2023 г.). «Мы слышали о будущем музыки. Пока это звучит ужасно» . Катящийся камень . Архивировано из оригинала 11 мая 2023 года . Проверено 10 июня 2023 г.
  38. ^ Брэдшоу, Кайл (1 августа 2023 г.). «Google исключил из списка приложение AI Test Kitchen для Android и iOS [обновлено]» . 9to5Google . Архивировано из оригинала 2 августа 2023 года . Проверено 11 октября 2023 г.
  39. ^ Перейти обратно: а б Альба, Дэйви ; С любовью, Юлия (6 февраля 2023 г.). «Google выпускает конкурента ChatGPT AI «Bard» для первых тестировщиков» . Лос-Анджелес Таймс . ISSN   0458-3035 . Архивировано из оригинала 6 февраля 2023 года . Проверено 6 февраля 2023 г.
  40. ^ Шехнер, Сэм; Круппа, Майлз (6 февраля 2023 г.). «Google открывает соперника ChatGPT Bard для тестирования, поскольку война ИИ накаляется» . Журнал "Уолл Стрит . ISSN   0099-9660 . Архивировано из оригинала 6 февраля 2023 года . Проверено 6 февраля 2023 г.
  41. ^ Ньева, Ричард (6 февраля 2023 г.). «Google представляет ограниченного выпуска конкурента ChatGPT под названием Bard» . Форбс . Архивировано из оригинала 7 февраля 2023 года . Проверено 6 февраля 2023 г.
  42. ^ Моллман, Стив (3 марта 2023 г.). «Глава компании Google, конкурента ChatGPT, Барда, заверяет сотрудников, что это «совместная служба искусственного интеллекта», а не «поиск» » . Удача . Архивировано из оригинала 4 марта 2023 года . Проверено 9 марта 2023 г.
  43. ^ Элиас, Дженнифер (3 марта 2023 г.). «Руководители Google на раздражительном общем собрании рассказали сотрудникам, что Bard AI занимается не только поиском» . CNBC . Архивировано из оригинала 4 марта 2023 года . Проверено 11 марта 2023 г.
  44. ^ Грант, Нико (21 марта 2023 г.). «Google выпускает Bard, своего конкурента в гонке по созданию чат-ботов с искусственным интеллектом» . Нью-Йорк Таймс . ISSN   0362-4331 . Архивировано из оригинала 21 марта 2023 года . Проверено 21 марта 2023 г.
  45. ^ Лидтке, Михаэль (21 марта 2023 г.). «Искусственный интеллект Google «Бард» переходит на следующий этап» . Вашингтон Пост . ISSN   0190-8286 . Архивировано из оригинала 21 марта 2023 года . Проверено 21 марта 2023 г.
  46. ^ Винсент, Джеймс (21 марта 2023 г.). «Google открывает ранний доступ к своему конкуренту ChatGPT Bard — вот наши первые впечатления» . Грань . Архивировано из оригинала 21 марта 2023 года . Проверено 21 марта 2023 г.
  47. ^ Топпилан и др. 2022 , раздел 3.
  48. ^ Топпилан и др. 2022 г. , раздел 3 и приложение Е.
  49. ^ Топпилан и др. 2022 г. , раздел 5 и 6.
  50. ^ Хагер, Райн (16 июня 2022 г.). «Как работает искусственный интеллект LaMDA от Google и почему он кажется намного умнее, чем есть на самом деле» . Андроид Полиция . Архивировано из оригинала 16 июня 2022 года . Проверено 19 июня 2022 г.
  51. ^ Топпилан и др. 2022 г. , раздел 6.2.
  52. ^ Топпилан и др. 2022 , раздел 3 и приложение Д.

Внешние ссылки [ править ]