Ашиш Васвани
Ашиш Васвани | |
|---|---|
| Рожденный | 1986 |
| Альма-матер | |
| Известный | Трансформатор (архитектура глубокого обучения) |
| Научная карьера | |
| Поля | |
| Учреждения |
|
| Диссертация | Меньшие, более быстрые и точные модели статистического машинного перевода (2014 г.) |
| Докторантура |
|
| Веб-сайт | https://www.isi.edu/~avaswani/ |
Ашиш Васвани — учёный-компьютерщик , занимающийся глубоким обучением . [1] который известен своим значительным вкладом в область искусственного интеллекта (ИИ) и обработки естественного языка (НЛП). Он является одним из соавторов основополагающей статьи « Внимание — это все, что вам нужно ». [2] который представил модель Трансформера , новую архитектуру, использующую механизм самообслуживания и с тех пор ставшую основой многих современных моделей НЛП. Архитектура- трансформер — это ядро языковых моделей , которые используются в таких приложениях, как ChatGPT . [3] [4] [5] Он был соучредителем Adept AI Labs. [6] [7] и бывший научный сотрудник Google Brain . [8] [9]
Карьера
[ редактировать ]Васвани получил степень инженера в области компьютерных наук в BIT Mesra в 2002 году. В 2004 году он переехал в США, чтобы продолжить высшее образование в Университете Южной Калифорнии . [10] Он защитил докторскую диссертацию в Университете Южной Калифорнии под руководством профессора Дэвида Чанга. [11] Он работал исследователем в Google, [12] где он был частью команды Google Brain . Он был соучредителем Adept AI Labs, но с тех пор покинул компанию. [13] [14]
Известные работы
[ редактировать ]Самая известная работа Васвани — статья « Внимание — это все, что вам нужно », опубликованная в 2017 году. [15] В документе представлена модель Трансформера , которая избегает использования повторения в «последовательность за последовательностью» задачах самообслуживания и полностью полагается на механизмы . Модель сыграла важную роль в разработке нескольких последующих современных моделей НЛП , включая BERT , [16] ГПТ-2 и ГПТ-3 .
Ссылки
[ редактировать ]- ^ «Ашиш Васвани» . ученый.google.com . Проверено 11 июля 2023 г.
- ^ Васвани, Ашиш ; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н ; Кайзер, Лукаш; Полосухин, Илья (2017). «Внимание — это все, что вам нужно» (PDF) . Достижения в области нейронных систем обработки информации . 30 . Карран Ассошиэйтс, Инк.
- ^ «Внутри мозга ChatGPT» . stackbuilders.com . Проверено 12 июля 2023 г.
- ^ «Понимание ChatGPT, объясненное ChatGPT» . Прогрессивная аналитика . 18 января 2023 г. Проверено 12 июля 2023 г.
- ^ Ситхараман, Дипа; Джин, Бербер (08 мая 2023 г.). «Лихорадка ChatGPT заставляет инвесторов вкладывать миллиарды в стартапы в области искусственного интеллекта, бизнес-план не требуется» . Уолл Стрит Джорнал . ISSN 0099-9660 . Проверено 12 июля 2023 г.
- ^ «Представляем Адепта» .
- ^ «Ведущие исследователи искусственного интеллекта из Google привлекли финансирование в размере 8 миллионов долларов от Thrive Capital» . Экономические времена . 4 мая 2023 г.
- ^ Васвани, Ашиш; Шазир, Ноам; Пармар, Ники; Ушкорейт, Якоб; Джонс, Лион; Гомес, Эйдан Н.; Кайзер, Лукаш; Полосухин Илья (21 мая 2017 г.). «Внимание – это все, что вам нужно». arXiv : 1706.03762 [ cs.CL ].
- ^ Шид, Сэм (10 июня 2022 г.). «Гуру ИИ покидают крупные технологические компании, чтобы работать над новыми модными стартапами» . CNBC . Проверено 12 июля 2023 г.
- ^ Команда OfficeChai (4 февраля 2023 г.). «Индийские исследователи, чья работа привела к созданию ChatGPT» . ОфисЧай .
- ^ «Веб-страница Ашиша Васвани в ISI» . www.isi.edu .
- ^ «Трансформер: новая архитектура нейронной сети для понимания языка» . ai.googleblog.com . 31 августа 2017 г.
- ^ Раджеш, Ананья Мариам; Ху, Кристал; Раджеш, Ананья Мариам; Ху, Кристал (16 марта 2023 г.). «ИИ-стартап Adept привлекает $350 млн нового финансирования» . Рейтер – через www.reuters.com.
- ^ Тонг, Анна; Ху, Кристал; Тонг, Анна; Ху, Кристал (04 мая 2023 г.). «Ведущие исследователи искусственного интеллекта из Google привлекают финансирование от Thrive Capital» . Рейтер . Проверено 11 июля 2023 г.
- ^ «Выпускники USC проложили путь к ChatGPT» . ОСК Витерби | Инженерная школа .
- ^ Девлин, Джейкоб; Чанг, Мин-Вэй; Ли, Кентон; Тутанова Кристина (24 мая 2019 г.). «БЕРТ: Предварительная подготовка глубоких двунаправленных преобразователей для понимания языка». arXiv : 1810.04805 [ cs.CL ].
| Международный | |
|---|---|
| Национальный | |
| академики | |
