ДБРКС
| Разработчик(и) | Mosaic ML и Databricks Команда |
|---|---|
| Первоначальный выпуск | 27 марта 2024 г. |
| Репозиторий | https://github.com/databricks/dbrx |
| Лицензия | Открытая лицензия на блоки данных |
| Веб-сайт | https://www.databricks.com/blog/introducing-dbrx-new-state-art-open-llm |
DBRX (LLM) с открытым исходным кодом, — это модель большого языка разработанная командой Mosaic ML в Databricks и выпущенная 27 марта 2024 года. [1] [2] [3] Это , созданная смешанными экспертами модель Трансформера , с общим числом параметров 132 миллиарда. Для каждого токена активны 36 миллиардов параметров (4 из 16 экспертов). [4] Выпущенная модель поставляется либо в базовой версии модели , либо в варианте , настроенном с помощью инструкций . [5]
DRBX превосходит другие известные модели с открытым исходным кодом, такие как Meta 2 от LLaMA , Mixtral от Mistral AI и xAI от Grok , а также модели с закрытым исходным кодом, такие как GPT-3.5, в нескольких тестах, начиная от понимания языка, навыков программирования и математики. [4] [6] [7] По состоянию на 28 марта 2024 года это делает DBRX самой мощной в мире моделью с открытым исходным кодом. [8]
Обучался за 2,5 месяца. [8] на 3072 устройствах Nvidia H100, подключенных с пропускной способностью 3,2 терабайта в секунду ( InfiniBand ), при стоимости обучения в 10 миллионов долларов США. [1]
Ссылки
[ редактировать ]- ^ Jump up to: а б «Представляем DBRX: новый современный открытый LLM» . Блоки данных . 27 марта 2024 г. Проверено 28 марта 2024 г.
- ^ «Новая программа LLM с открытым исходным кодом Databricks нацелена на разработку по индивидуальному заказу | TechTarget» . Бизнес-аналитика . Проверено 28 марта 2024 г.
- ^ Гошал, Анирбан (27 марта 2024 г.). «DBRX LLM от Databricks с открытым исходным кодом превосходит Llama 2, Mixtral и Grok» . Инфомир . Проверено 28 марта 2024 г.
- ^ Jump up to: а б «Новый LLM с открытым исходным кодом, DBRX претендует на звание самого мощного — вот результаты» . ГИЗМОЧИНА . 28 марта 2024 г.
- ^ Виггерс, Кайл (27 марта 2024 г.). «Компания Databricks потратила 10 миллионов долларов на новую модель генеративного искусственного интеллекта DBRX» . ТехКранч . Проверено 29 марта 2024 г.
- ^ «Databricks выпускает DBRX: LLM с открытым исходным кодом, который превосходит GPT-3.5 и Llama 2» . Техжурнал Европа . 27 марта 2024 г. Проверено 28 марта 2024 г.
- ^ «Компания по обработке данных и искусственного интеллекта DataBrix запустила универсальную модель большого языка (LLM) DBRX, которая вышла.. — МК» . 매일경제 . 28 марта 2024 г. Проверено 28 марта 2024 г.
- ^ Jump up to: а б Найт, Уилл. «Внутри создания самой мощной в мире модели искусственного интеллекта с открытым исходным кодом» . Проводной . ISSN 1059-1028 . Проверено 28 марта 2024 г.