Внимание — это все, что вам нужно
« Внимание — это все, что вам нужно » — знаковое событие 2017 года. [1] [2] исследовательская работа, написанная восемью учёными, работающими в Google, в которой представлена новая архитектура глубокого обучения , известная как преобразователь, основанная на механизмах внимания, предложенных Богданау и др. в 2014 году. Некоторые считают его основополагающим документом для современного искусственного интеллекта , поскольку преобразователи стали основной архитектурой больших языковых моделей, подобных тем, которые основаны на GPT . [3] [4] В то время основное внимание в исследованиях уделялось улучшению методов Seq2seq для машинного перевода , но даже в своей статье авторы увидели потенциал для других задач, таких как ответы на вопросы и для того, что сейчас называется мультимодальным генеративным искусственным интеллектом . [5]
Название статьи является отсылкой к песне « All You Need Is Love » группы «Битлз» . [6]
По состоянию на 2024 год [update] статью процитировали более 100 000 раз. [7]
Авторы
[ редактировать ]Авторы статьи: Ашиш Васвани , Ноам Шазир, Ники Пармар, Якоб Ушкорейт, Лайон Джонс, Эйдан Гомес , Лукаш Кайзер и Илья Полосухин. Все восемь авторов внесли «равный вклад» в статью; указанный порядок был рандомизирован. Статья Wired подчеркивает разнообразие группы: [6]
Шесть из восьми авторов родились за пределами США; двое других — дети двух немцев, имеющих грин-карты, которые временно находились в Калифорнии, и американца в первом поколении, чья семья бежала от преследований, соответственно.
К 2023 году все восемь авторов покинули Google и основали собственные стартапы в области искусственного интеллекта (кроме Лукаша Кайзера, который присоединился к OpenAI ). [6] [7]
Ссылки
[ редактировать ]- ^ С любовью, Юлия (10 июля 2023 г.). «Исследователь искусственного интеллекта, который помог написать знаковую статью, покидает Google» . Новости Блумберга . Проверено 1 апреля 2024 г.
- ^ Голдман, Шэрон (20 марта 2024 г.). « Создатели «Внимание — это все, что вам нужно» смотрят не только на «Трансформеры для искусственного интеллекта» в Nvidia GTC: «Миру нужно что-то лучшее» » . ВенчурБит . Проверено 1 апреля 2024 г.
- ^ Тэйвз, Роб (3 сентября 2023 г.). «Трансформеры произвели революцию в области искусственного интеллекта. Что их заменит?» . Форбс . Архивировано из оригинала 26 сентября 2023 года . Проверено 3 декабря 2023 г.
- ^ Мурджа, Мадхумита (23 июля 2023 г.). «Трансформеры: ученые Google, которые совершили революцию в области искусственного интеллекта» . Файнэншл Таймс . Архивировано из оригинала 28 декабря 2023 года . Проверено 22 марта 2024 г.
- ^ Васвани, Ашиш ; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н ; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание — это все, что вам нужно» (PDF) . Достижения в области нейронных систем обработки информации . 30 . Карран Ассошиэйтс, Инк.
- ^ Jump up to: а б с Леви, Стивен. «8 сотрудников Google изобрели современный искусственный интеллект. Вот внутренняя история» . Проводной . ISSN 1059-1028 . Проверено 20 марта 2024 г.
- ^ Jump up to: а б «Познакомьтесь с суперзвездами искусственного интеллекта с оборотом в 4 миллиарда долларов, которых потерял Google» . Блумберг . 13 июля 2023 г. – через www.bloomberg.com.
Внешние ссылки
[ редактировать ]- Внимание — это все, что вам нужно в исследовательских публикациях Google.
 | Эта Google статья, связанная с , незавершена . Вы можете помочь Википедии, расширив ее . |
 | Эта искусственному интеллекту статья, посвященная , незавершена . Вы можете помочь Википедии, расширив ее . |