Джамба (языковая модель)
| Разработчик(и) | Лаборатории AI21 |
|---|---|
| Первоначальный выпуск | 28 марта 2024 г. |
| Тип | |
| Лицензия | Лицензия Апач 2.0 |
Jamba с открытым весом — это модель большого языка (LLM), разработанная AI21 Labs . [1] [2] Он использует модель на основе Mamba, построенную на новой модели пространства состояний (SSM) и гибридной архитектуре трансформатора. [3] [1] [4] Это модель с 52 миллиардами параметров, обученная с использованием метода смешанных экспертов (MoE) с 12 миллиардами активных параметров (количество активных параметров на один токен). [2] [1] Jamba может разместить до 256 тыс. токенов в своем контекстном окне и является крупнейшим созданным LLM-вариантом Mamba, или 140 тыс. токенов в одном графическом процессоре емкостью 80 ГБ. [2] [3]
Jamba показывает хорошие результаты по ряду ключевых показателей, включая пропускную способность и эффективность, превосходя или сопоставляя другие современные модели в своем классе по широкому спектру тестов производительности, имея при этом значительно большие контекстные ограничения, что позволяет использовать сценарии, требующие более высокого контекста. . [1] [2] Модель выпускается с открытыми весами под лицензией Apache 2.0 . [5] [4]
В ближайшем будущем компания планирует выпустить бета-версию, настроенную по инструкции, на платформе AI21. [6]
Характеристики
[ редактировать ]- Размер контекстного окна : 256 тыс. токенов. [6]
- Параметры : 52 миллиарда [6]
- Архитектура : гибридный трансформатор Mamba (SSM) с участием экспертов (MoE) [6]
См. также
[ редактировать ]- Мамба – архитектура глубокого обучения
- Смесь экспертов – техника глубокого обучения
- AI21 Labs – Тель-Авиве (Израиль). компания в области искусственного интеллекта, базирующаяся в
Ссылки
[ редактировать ]- ^ Перейти обратно: а б с д «Представляем Jamba: новаторскую модель SSM-трансформатора AI21» . www.ai21.com . Проверено 29 марта 2024 г.
- ^ Перейти обратно: а б с д Кернер, Шон Майкл (28 марта 2024 г.). «AI21 Labs совершенствует трансформаторы искусственного интеллекта поколения с помощью Jamba» . ВенчурБит . Проверено 29 марта 2024 г.
- ^ Перейти обратно: а б «Jamba от AI21 Labs наполняет Mamba, чтобы привнести больше контекста в LLM на основе трансформаторов» . КремниевыйУГОЛ . 28 марта 2024 г. Проверено 29 марта 2024 г.
- ^ Перейти обратно: а б «MLTimes — время изучать искусственный интеллект» . mltimes.se . Проверено 29 марта 2024 г.
- ^ АИ21. «Представляем Jamba: новаторскую модель гибридного SSM-трансформатора AI21 с открытым исходным кодом» . www.prnewswire.com . Проверено 29 марта 2024 г.
{{cite web}}: CS1 maint: числовые имена: список авторов ( ссылка ) - ^ Перейти обратно: а б с д «AI21 Labs расширяет возможности трансформаторов поколения AI за счет интеграции Jamba» . Глобальное деревенское пространство | Технология . 28 марта 2024 г. Проверено 29 марта 2024 г.