ЛаМДА
Разработчик(и) | Google Мозг |
---|---|
Преемник | Ладонь |
Доступно в | Английский |
Тип | Большая языковая модель |
Лицензия | Собственный |
LaMDA ( Языковая модель для диалоговых приложений ) — семейство моделей разговорного большого языка, разработанное Google . Первоначально разработанный и представленный как Meena в 2020 году, LaMDA первого поколения был анонсирован во время выступления Google I/O 2021 года , а второе поколение было анонсировано в следующем году. В июне 2022 года LaMDA привлекла широкое внимание, когда инженер Google Блейк Лемуан заявил, что чат-бот стал разумным . Научное сообщество в значительной степени отвергло утверждения Лемуана, хотя это привело к разговорам об эффективности теста Тьюринга , который определяет, может ли компьютер сойти за человека. В феврале 2023 года Google анонсировала Bard (теперь Gemini), диалоговый чат-бот с искусственным интеллектом на базе LaMDA, чтобы противостоять росту популярности OpenAI от ChatGPT .
История
[ редактировать ]Фон
[ редактировать ]28 января 2020 года Google представила Meena, нейронной сети на основе чат-бота с 2,6 миллиардами параметров, который, по утверждению Google, превосходит все другие существующие чат-боты. [1] [2] Ранее в 2012 году компания наняла ученого-компьютерщика Рэя Курцвейла для разработки нескольких чат-ботов для компании, в том числе одного по имени Даниэль. [3] Исследовательская группа Google Brain , разработавшая Meena, надеялась опубликовать чат-бота в ограниченном объеме, но руководители компаний отказались на том основании, что Meena нарушает «принципы искусственного интеллекта Google в отношении безопасности и справедливости». Позже Meena была переименована в LaMDA, поскольку ее данные и вычислительная мощность увеличились, и команда Google Brain снова попыталась развернуть программное обеспечение в Google Assistant компании , программном обеспечении виртуального помощника , а также открыть его для публичной демо-версии. Оба запроса в очередной раз были отклонены руководством компании. В конечном итоге это привело к тому, что два ведущих исследователя LaMDA, Дэниел Де Фрейтас и Ноам Шазир, в отчаянии покинули компанию. [4]
Первое поколение
[ редактировать ]Google анонсировала модель разговорного большого языка Во время выступления Google I/O 18 мая 2021 года LaMDA, основанную на искусственном интеллекте . [5] [6] Аббревиатура расшифровывается как «Языковая модель для диалоговых приложений». [5] [7] LaMDA, построенная на seq2seq архитектуре трансформаторов на основе и нейронных сетях , разработанных Google Research в 2017 году, была обучена человеческим диалогам и историям, что позволяет ей участвовать в открытых разговорах. [8] Google заявляет, что ответы, генерируемые LaMDA, были «разумными, интересными и соответствующими контексту». [9] LaMDA имеет доступ к нескольким системам обработки символьного текста , включая базу данных, часы реального времени и календарь, математический калькулятор и систему перевода на естественный язык, что обеспечивает превосходную точность в задачах, поддерживаемых этими системами, и делает его одним из первых чат-боты с двойным процессом . LaMDA также не является апатридом , поскольку его « разумности показатель » точно настраивается путем «предварительного обуславливания» каждого поворота диалога путем добавления многих из самых последних диалоговых взаимодействий для каждого пользователя. [10] LaMDA настроен на девять уникальных показателей эффективности: разумность, специфичность, интересность, безопасность, обоснованность, информативность, точность цитирования, полезность и последовательность ролей. [11]
Второе поколение
[ редактировать ]11 мая 2022 года Google представила LaMDA 2, преемника LaMDA, во время основного доклада Google I/O 2022 года. Новое воплощение модели извлекает примеры текста из многочисленных источников, используя их для формулирования уникальных «естественных разговоров» на темы, на которые она, возможно, не была обучена реагировать. [12]
Заявления о разумности
[ редактировать ]11 июня 2022 года газета The Washington Post сообщила, что инженер Google Блейк Лемуан был отправлен в оплачиваемый административный отпуск после того, как Лемуан сообщил руководителям компании Блезу Агуэра-и-Аркас и Джен Дженнаи, что LaMDA стал разумным . Лемуан пришел к такому выводу после того, как чат-бот дал сомнительные ответы на вопросы, касающиеся самоидентификации , моральных ценностей , религии и Айзека Азимова трех законов робототехники . [14] [15] Google опроверг эти утверждения, настаивая на том, что существуют веские доказательства того, что LaMDA не обладает разумом. [16] В интервью Wired Лемуан повторил свои утверждения о том, что LaMDA был «человеком», как того требует Тринадцатая поправка к Конституции США , сравнив его с «инопланетным разумом земного происхождения». Он также сообщил, что Google уволил его после того, как он нанял адвоката от имени LaMDA после того, как чат-бот попросил Лемуана сделать это. [17] [18] 22 июля Google уволила Лемуана, заявив, что Блейк нарушил их политику «по защите информации о продуктах», и отвергла его претензии как «совершенно необоснованные». [19] [20] Внутренние разногласия, вызванные инцидентом, побудили руководителей Google принять решение не публиковать LaMDA, что ранее рассматривалось. [4]
Заявления Лемуана были широко отвергнуты научным сообществом. [21] Многие эксперты отвергли идею о том, что LaMDA разумна, в том числе бывший Нью-Йоркского университета профессор психологии Гэри Маркус , Дэвид Пфау из дочерней компании Google DeepMind , Эрик Бриньольфссон из Института человекоцентрированного искусственного интеллекта в Стэнфордском университете и профессор Университета Суррея Адриан Хилтон. . [13] [22] Ян ЛеКун , возглавляющий исследовательскую группу по искусственному интеллекту Meta Platforms , заявил, что нейронные сети, такие как LaMDA, «недостаточно мощны, чтобы достичь истинного интеллекта». [23] Профессор Калифорнийского университета в Санта-Крусе Макс Кремински отметил, что архитектура LaMDA «не поддерживает некоторые ключевые возможности человеческого сознания» и что веса ее нейронной сети были «заморожены», предполагая, что это типичная модель большого языка. [24] Философ Ник Бостром , однако, отметил, что отсутствие точных и согласованных критериев для определения того, является ли система сознательной, требует некоторой неопределенности. [25] IBM Watson Ведущий разработчик Дэвид Ферруччи сравнил, насколько LaMDA выглядела как человек, и Watson, когда она была впервые представлена. [26] Бывший специалист по этике Google в области искусственного интеллекта Тимнит Гебру назвал Лемуана жертвой «цикла ажиотажа», инициированного исследователями и средствами массовой информации. [27] Заявления Лемуана также вызвали дискуссию о том, остается ли тест Тьюринга полезным для определения прогресса исследователей в создании общего искусственного интеллекта . [13] Уилл Омерус из Post полагает, что тест на самом деле позволил определить, способны ли системы машинного интеллекта обманывать людей, [28] в то время как Брайан Кристиан из The Atlantic сказал, что спор был примером эффекта ELIZA . [29]
Продукты
[ редактировать ]Тестовая кухня с искусственным интеллектом
[ редактировать ]С выпуском LaMDA 2 в мае 2022 года Google также запустила AI Test Kitchen — мобильное приложение для операционной системы Android на базе LaMDA, способное по запросу предоставлять списки предложений на основе сложной цели. [30] [31] Первоначально открытое только для сотрудников Google, приложение должно было быть доступно «избранным ученым, исследователям и политикам» по приглашению где-то в этом году. [32] В августе компания начала разрешать пользователям в США подписаться на ранний доступ. [33] В ноябре Google выпустила обновление «второго сезона» приложения, интегрировавшее ограниченную форму Imagen модели преобразования текста в изображение от Google Brain . [34] Третья версия AI Test Kitchen находилась в разработке к январю 2023 года и, как ожидается, будет запущена на I/O позже в том же году. [35] После майского доклада I/O 2023 года Google добавила MusicLM, музыкальный генератор на базе искусственного интеллекта, впервые представленный в январе, в приложение AI Test Kitchen. [36] [37] В августе приложение было исключено из Google Play и Apple App Store и вместо этого полностью перешло в онлайн. [38]
Бард
[ редактировать ]6 февраля 2023 года Google анонсировала Bard, диалогового чат-бота с искусственным интеллектом на базе LaMDA, в ответ на неожиданную популярность OpenAI от чат-бота ChatGPT . [39] [40] [41] Google позиционирует чат-бота как «совместную службу искусственного интеллекта», а не как поисковую систему . [42] [43] Бард стал доступен для раннего доступа 21 марта. [44] [45] [46]
Другие продукты
[ редактировать ]Помимо Барда, Пичаи также представил Generative Language API, интерфейс прикладного программирования, также основанный на LaMDA, который, как он объявил, будет открыт для сторонних разработчиков в марте 2023 года. [39]
Метод
[ редактировать ]LaMDA использует языковую модель преобразователя, предназначенную только для декодера. [47] Он предварительно обучен на текстовом корпусе , включающем как документы, так и диалоги, состоящие из 1,56 триллиона слов. [48] а затем обучается с помощью точной настройки данных, генерируемых вручную аннотированными ответами, для обеспечения разумности, интересности и безопасности. [49] Тесты Google показали, что LaMDA превзошла человеческие ответы в области интересности. [50] Модель преобразователя LaMDA и внешняя система поиска информации взаимодействуют для повышения точности фактов, предоставляемых пользователю. [51]
Были протестированы три разные модели, самая крупная из которых имела 137 миллиардов невстраивающихся параметров: [52]
Параметры | Слои | Единицы измерения ( модель d ) | Руководители |
---|---|---|---|
2Б | 10 | 2560 | 40 |
8Б | 16 | 4096 | 64 |
137Б | 64 | 8192 | 128 |
См. также
[ редактировать ]- БЕРТ (языковая модель)
- Китайская комната
- Этика искусственного интеллекта
- Близнецы (языковая модель)
- Обработка естественного языка
- Философия искусственного интеллекта
- Оперативное проектирование
Ссылки
[ редактировать ]Общий
[ редактировать ]- Топпилан, Ромал; Де Фрейтас, Даниэль; Холл, Джейми; Шазир, Ноам; Кулшрешта, Апурв; Ченг, Хенг-Цзы; Джин, Алисия; Босс, Тейлор; Бейкер, Лесли; Ду, Ю; Ли, Ягуан; Ли, Хонгрэ; Чжэн, Хуайсю Стивен; Гафури, Амин; Менегали, Марсело; Хуан, Яньпин; Крикун, Максим; Лепихин Дмитрий; Цинь, Джеймс; Чен, Дехао; Сюй, Юаньчжун; Чен, Чжифэн; Робертс, Адам; Босма, Мартен; Чжао, Винсент; Чжоу, Яньци; Чанг, Чун-Чинг; Кривоконь Игорь; Раш, Уилл; Пикетт, Марк; Шринивасан, Пранеш; Мужчина, Лайчи; Мейер-Хеллстерн, Кэтлин; Рингел Моррис, Мередит; Доши, Тулси; Делос Сантос, Ренелито; Герцог, Тодзю; Соракер, Джонни; Зевенберген, Бен; Прабхакаран, Винодкумар; Диас, Марк; Хатчинсон, Бен; Олсон, Кристен; Молина, Алехандра; Хоффман-Джон, Эрин; Ли, Джош; Аройо, Лора; Раджакумар, Рави; Бутрина, Алена; Ламм, Мэтью; Кузьмина, Виктория; Фентон, Джо; Коэн; Аарон; Бернштейн, Рэйчел; Курцвейл, Рэй; Агера-Аркас, Блез; Кюи, Клэр; Крок, Мэриан; Чи, Эд; Ле, Куок (20 января 2022 г.). «LaMDA: языковые модели для диалоговых приложений». arXiv : 2201.08239 [ cs.CL ].
Цитаты
[ редактировать ]- ^ Джонсон, Хари (28 января 2020 г.). «Meena — это попытка Google создать настоящий диалоговый ИИ» . ВенчурБит . Архивировано из оригинала 1 октября 2022 года . Проверено 11 марта 2023 г.
- ^ Небеса, Уильям Дуглас (30 января 2020 г.). «Google заявляет, что ее новый чат-бот Meena — лучший в мире» . Обзор технологий Массачусетского технологического института . Архивировано из оригинала 2 августа 2020 года . Проверено 11 марта 2023 г.
- ^ Поппер, Бен (27 мая 2016 г.). «Рэй Курцвейл создает чат-бота для Google» . Грань . Архивировано из оригинала 27 мая 2016 года . Проверено 11 марта 2023 г.
- ^ Jump up to: а б Круппа, Майлз; Шехнер, Сэм (7 марта 2023 г.). «Как Google стал осторожнее относиться к искусственному интеллекту и дал Microsoft возможность» . Уолл Стрит Джорнал . ISSN 0099-9660 . Архивировано из оригинала 7 марта 2023 года . Проверено 9 марта 2023 г.
- ^ Jump up to: а б Кондон, Стефани (18 мая 2021 г.). «Google I/O 2021: Google представляет новую модель разговорного языка LaMDA» . ЗДНЕТ . Архивировано из оригинала 18 мая 2021 года . Проверено 12 июня 2022 г.
- ^ Рот, Эмма (5 марта 2023 г.). «Познакомьтесь с компаниями, пытающимися не отставать от ChatGPT» . Грань . Архивировано из оригинала 5 марта 2023 года . Проверено 9 марта 2023 г.
- ^ Фаулер, Джеффри А. (21 марта 2023 г.). «Что скажешь, Бард? Что новый ИИ Google делает правильно, неправильно и странно» . Вашингтон Пост . ISSN 0190-8286 . Архивировано из оригинала 21 марта 2023 года . Проверено 16 октября 2023 г.
- ^ Агуэра-и-Аркас, Блез (9 июня 2022 г.). «По мнению Блеза Агуэра-и-Аркаса, искусственные нейронные сети делают шаги к сознанию» . Экономист . ISSN 0013-0613 . Архивировано из оригинала 9 июня 2022 года . Проверено 12 июня 2022 г.
- ^ Ченг, Хенг-Цзы; Топпилан, Ромал (21 января 2022 г.). «LaMDA: к безопасным, обоснованным и высококачественным моделям диалога для всего» . Гугл ИИ . Архивировано из оригинала 25 марта 2022 года . Проверено 12 июня 2022 г.
- ^ Топпилан и др. 2022 , с. 6.
- ^ Топпилан и др. 2022 , стр. 5–6.
- ^ Виггерс, Кайл (11 мая 2022 г.). «Google подробно описывает свою новейшую языковую модель и AI Test Kitchen, демонстрацию исследований искусственного интеллекта» . ТехКранч . Архивировано из оригинала 11 мая 2022 года . Проверено 12 июня 2022 г.
- ^ Jump up to: а б с Хан, Джереми (13 июня 2022 г.). «Эксперты по искусственному интеллекту говорят, что утверждение исследователя Google о том, что его чат-бот стал «разумным», абсурдно, но также подчеркивает большие проблемы в этой области» . Удача . Архивировано из оригинала 13 июня 2022 года . Проверено 18 июня 2022 г.
- ^ Тику, Ниташа (11 июня 2022 г.). «Инженер Google, который считает, что ИИ компании ожил» . Вашингтон Пост . ISSN 0190-8286 . Архивировано из оригинала 11 июня 2022 года . Проверено 12 июня 2022 г.
- ^ Ласкомб, Ричард (12 июня 2022 г.). «Инженер Google ушел в отпуск после того, как сказал, что чат-бот с искусственным интеллектом стал разумным » Хранитель . ISSN 0261-3077 . Архивировано из оригинала 12 июня 2022 года . Проверено 18 июня 2022 г.
- ^ Вламис, Келси (12 июня 2022 г.). «Прочитайте разговоры, которые помогли инженеру Google убедить, что чат-бот с искусственным интеллектом стал разумным: «Я часто пытаюсь понять, кто и что я есть» » . Бизнес-инсайдер . Архивировано из оригинала 12 июня 2022 года . Проверено 12 июня 2022 г.
- ^ Леви, Стивен (17 июня 2022 г.). «Блейк Лемуан говорит, что ИИ LaMDA от Google сталкивается с «фанатизмом» » . Проводной . Архивировано из оригинала 18 июня 2022 года . Проверено 18 июня 2022 г.
- ^ Нгуен, Бритни (23 июня 2022 г.). «Отстраненный инженер Google говорит, что ИИ, которого он считает разумным, нанял адвоката» . Бизнес-инсайдер . Архивировано из оригинала 23 июня 2022 года . Проверено 29 июня 2022 г.
- ^ Хуши, Аканкша (23 июля 2022 г.). «Google увольняет инженера-программиста, который утверждал, что ее чат-бот с искусственным интеллектом разумен » Рейтер . Архивировано из оригинала 23 июля 2022 года . Проверено 23 июля 2022 г.
- ^ Кларк, Митчелл (22 июля 2022 г.). «Инженер, утверждавший, что ИИ Google разумен, уволен» . Грань . Архивировано из оригинала 23 июля 2022 года . Проверено 24 июля 2022 г.
- ^ Мец, Рэйчел (13 июня 2022 г.). «Нет, ИИ Google не разумен» . CNN Бизнес . Архивировано из оригинала 15 июня 2022 года . Проверено 19 июня 2022 г.
- ^ Спарклз, Мэтью (13 июня 2022 г.). «Действительно ли искусственный интеллект LaMDA от Google обрел разум?» . Новый учёный . Архивировано из оригинала 13 июня 2022 года . Проверено 20 июня 2022 г.
- ^ Грант, Николь; Мец, Кейд (12 июня 2022 г.). «Инженер Google, утверждающий, что его ИИ разумен» . Нью-Йорк Таймс . ISSN 0362-4331 . Архивировано из оригинала 12 июня 2022 года . Проверено 18 июня 2022 г.
- ^ Альба, Дэйви (14 июня 2022 г.). «Дебаты в Google по поводу «разумных» ботов затмевают более глубокие проблемы искусственного интеллекта» . Новости Блумберга . Архивировано из оригинала 14 июня 2022 года . Проверено 19 июня 2022 г.
- ^ Лейт, Сэм (7 июля 2022 г.). «Ник Бостром: Как мы можем быть уверены, что машина не находится в сознании?» . Зритель . Проверено 28 апреля 2024 г.
- ^ Голдман, Шэрон (16 июня 2022 г.). «AI Weekly: Дебаты LaMDA о «разумном» искусственном интеллекте вызывают воспоминания о IBM Watson» . ВенчурБит . Архивировано из оригинала 19 июня 2022 года . Проверено 19 июня 2022 г.
- ^ Джонсон, Хари (14 июня 2022 г.). «LaMDA и ловушка разумного ИИ» . Проводной . Архивировано из оригинала 14 июня 2022 года . Проверено 18 июня 2022 г.
- ^ Омерус, Уилл (17 июня 2022 г.). «ИИ Google прошел знаменитый тест — и показал, как этот тест не работает» . Вашингтон Пост . ISSN 0190-8286 . Архивировано из оригинала 18 июня 2022 года . Проверено 19 июня 2022 г.
- ^ Кристиан, Брайан (21 июня 2022 г.). «Как сотрудник Google попался на эффект Элизы» . Атлантика . Архивировано из оригинала 21 июня 2022 года . Проверено 8 февраля 2023 г.
- ^ Лоу, Черлинн (11 мая 2022 г.). «Google AI Test Kitchen позволяет экспериментировать с моделью естественного языка» . Engadget . Архивировано из оригинала 11 мая 2022 года . Проверено 12 июня 2022 г.
- ^ Винсент, Джеймс (11 мая 2022 г.). «Google проводит бета-тестирование будущего искусственного интеллекта» . Грань . Архивировано из оригинала 11 мая 2022 года . Проверено 12 июня 2022 г.
- ^ Бхаттачарья, Ананья (11 мая 2022 г.). «Google так нервничает по поводу того, что скажет ее новый бот, что сделал приложение доступным только по приглашению» . Кварц . Архивировано из оригинала 12 мая 2022 года . Проверено 12 июня 2022 г.
- ^ Винсент, Джеймс (25 августа 2022 г.). «Google открыл список ожидания, чтобы поговорить со своим экспериментальным чат-ботом с искусственным интеллектом» . Грань . Архивировано из оригинала 25 августа 2022 года . Проверено 27 августа 2022 г.
- ^ Винсент, Джеймс (2 ноября 2022 г.). «Модель искусственного интеллекта Google Imagen для преобразования текста в изображение впервые (очень ограниченно) публично представлена» . Грань . Архивировано из оригинала 10 ноября 2022 года . Проверено 15 февраля 2023 г.
- ^ Грант, Нико (20 января 2023 г.). «Google обращается за помощью к Ларри Пейджу и Сергею Брину в борьбе с искусственным интеллектом» . Нью-Йорк Таймс . ISSN 0362-4331 . Архивировано из оригинала 20 января 2023 года . Проверено 6 февраля 2023 г.
- ^ Виггерс, Кайл (11 мая 2023 г.). «Познакомьтесь с музыкальным генератором Google на базе искусственного интеллекта» . ТехКранч . Архивировано из оригинала 11 мая 2023 года . Проверено 10 июня 2023 г.
- ^ Миллман, Итан (11 мая 2023 г.). «Мы слышали о будущем музыки. Пока это звучит ужасно» . Роллинг Стоун . Архивировано из оригинала 11 мая 2023 года . Проверено 10 июня 2023 г.
- ^ Брэдшоу, Кайл (1 августа 2023 г.). «Google исключил из списка приложение AI Test Kitchen для Android и iOS [обновлено]» . 9to5Google . Архивировано из оригинала 2 августа 2023 года . Проверено 11 октября 2023 г.
- ^ Jump up to: а б Альба, Дэйви ; С любовью, Юлия (6 февраля 2023 г.). «Google выпускает конкурента ChatGPT AI «Bard» для первых тестировщиков» . Лос-Анджелес Таймс . ISSN 0458-3035 . Архивировано из оригинала 6 февраля 2023 года . Проверено 6 февраля 2023 г.
- ^ Шехнер, Сэм; Круппа, Майлз (6 февраля 2023 г.). «Google открывает соперника ChatGPT Bard для тестирования, поскольку война ИИ накаляется» . Уолл Стрит Джорнал . ISSN 0099-9660 . Архивировано из оригинала 6 февраля 2023 года . Проверено 6 февраля 2023 г.
- ^ Ньева, Ричард (6 февраля 2023 г.). «Google представляет ограниченного выпуска конкурента ChatGPT под названием Bard» . Форбс . Архивировано из оригинала 7 февраля 2023 года . Проверено 6 февраля 2023 г.
- ^ Моллман, Стив (3 марта 2023 г.). «Глава конкурента Google ChatGPT, Бард, заверяет сотрудников, что это «совместная служба искусственного интеллекта», а не «поиск» » . Удача . Архивировано из оригинала 4 марта 2023 года . Проверено 9 марта 2023 г.
- ^ Элиас, Дженнифер (3 марта 2023 г.). «Руководители Google на раздражительном общем собрании рассказали сотрудникам, что Bard AI занимается не только поиском» . CNBC . Архивировано из оригинала 4 марта 2023 года . Проверено 11 марта 2023 г.
- ^ Грант, Нико (21 марта 2023 г.). «Google выпускает Bard, своего конкурента в гонке по созданию чат-ботов с искусственным интеллектом» . Нью-Йорк Таймс . ISSN 0362-4331 . Архивировано из оригинала 21 марта 2023 года . Проверено 21 марта 2023 г.
- ^ Лидтке, Михаэль (21 марта 2023 г.). «Искусственный интеллект «Бард» от Google переходит на следующий этап» . Вашингтон Пост . ISSN 0190-8286 . Архивировано из оригинала 21 марта 2023 года . Проверено 21 марта 2023 г.
- ^ Винсент, Джеймс (21 марта 2023 г.). «Google открывает ранний доступ к своему конкуренту ChatGPT Bard — вот наши первые впечатления» . Грань . Архивировано из оригинала 21 марта 2023 года . Проверено 21 марта 2023 г.
- ^ Топпилан и др. 2022 , раздел 3.
- ^ Топпилан и др. 2022 г. , раздел 3 и приложение Е.
- ^ Топпилан и др. 2022 г. , раздел 5 и 6.
- ^ Хагер, Райн (16 июня 2022 г.). «Как работает искусственный интеллект LaMDA от Google и почему он кажется намного умнее, чем есть на самом деле» . Андроид Полиция . Архивировано из оригинала 16 июня 2022 года . Проверено 19 июня 2022 г.
- ^ Топпилан и др. 2022 г. , раздел 6.2.
- ^ Топпилан и др. 2022 г. , раздел 3 и приложение Д.