Мистраль ИИ
 | |
| Тип компании | Частный |
|---|---|
| Промышленность | Искусственный интеллект |
| Основан | 28 апреля 2023 г. |
| Основатели |
|
| Штаб-квартира | Париж , Франция |
| Продукты |
|
| Веб-сайт | мистраль |
Mistral AI — французская компания, специализирующаяся на продуктах искусственного интеллекта (ИИ). Основана в апреле 2023 года бывшими сотрудниками Meta Platforms и Google DeepMind . [1] компания быстро завоевала известность в секторе искусственного интеллекта.
Компания специализируется на производстве с открытым исходным кодом больших языковых моделей . [2] подчеркивая основополагающую важность программного обеспечения с открытым исходным кодом и позиционируя себя как альтернативу проприетарным моделям. [3]
В октябре 2023 года Mistral AI привлекла 385 миллионов евро. [4] К декабрю 2023 года его стоимость оценивалась более чем в 2 миллиарда долларов. [5] [6] [7]
В июне 2024 года Mistral AI объявила о новом раунде финансирования на сумму 600 миллионов евро (645 миллионов долларов США), что значительно увеличило ее оценку до 5,8 миллиарда евро (6,2 миллиарда долларов США). [8] Этот раунд проводился венчурной фирмой General Catalyst при участии существующих инвесторов. [9]
Mistral AI опубликовала три модели с открытым исходным кодом, доступные в виде весов. [10] Кроме того, еще три модели — Small, Medium и Large — доступны только через API. [11] [12]
По оценкам , компания находится на четвертом месте в глобальной гонке ИИ и на первом месте за пределами района залива Сан-Франциско . [13] Mistral AI стремится «демократизировать» ИИ, сосредоточив внимание на инновациях с открытым исходным кодом. [14]
История [ править ]
Mistral AI была основана в апреле 2023 года Артуром Меншем, Гийомом Ламплем и Тимоти Лакруа. [ нужна ссылка ]
До того, как стать сооснователем Mistral AI, Артур Менш работал в Google DeepMind , лаборатории искусственного интеллекта Google, а Гийом Лампле и Тимоти Лакруа работали в Meta Platforms . [15] Сооснователи познакомились, будучи студентами Политехнической школы . Мистраль назван в честь сильного ветра , дующего во Франции. [16]
В июне 2023 года стартап осуществил первый сбор средств в размере 105 миллионов евро (117 миллионов долларов США) с участием инвесторов, в том числе американского фонда Lightspeed Venture Partners , Эрика Шмидта , Ксавье Нила и JCDecaux . оценивается Оценка Financial Times в 240 миллионов евро (267 миллионов долларов).
27 сентября 2023 года компания предоставила свою модель языковой обработки «Mistral 7B» по бесплатной лицензии Apache 2.0 . Эта модель имеет 7 миллиардов параметров, небольшой размер по сравнению с конкурентами.
10 декабря 2023 года Mistral AI объявила, что привлекла 385 миллионов евро (428 миллионов долларов США) в рамках своего второго сбора средств. В этом раунде финансирования, в частности, участвуют калифорнийский фонд Andreessen Horowitz , BNP Paribas и издатель программного обеспечения Salesforce . [17]
11 декабря 2023 года компания выпустила модель Mixtral 8x7B с 46,7 миллиардами параметров, но использующую только 12,9 миллиарда на токен благодаря сочетанию экспертной архитектуры. Модель владеет 5 языками (французским, испанским, итальянским, английским и немецким) и превосходит, по тестам разработчиков, модель «LLama 2 70B» от Meta . Также предлагается версия, обученная следовать инструкциям и называемая «Mixtral 8x7B Instruct». [18]
26 февраля 2024 года Microsoft объявила о новом партнерстве с компанией с целью расширения своего присутствия в быстро развивающейся индустрии искусственного интеллекта . В соответствии с соглашением богатые языковые модели Mistral будут доступны в облаке Microsoft Azure , а многоязычный разговорный помощник «Le Chat» будет запущен в стиле ChatGPT . [19]
10 апреля 2024 года компания выпустила смесь экспертных моделей Mixtral 8x22B, предлагающую более высокую производительность в различных тестах по сравнению с другими открытыми моделями. [ нужна ссылка ]
16 апреля 2024 года в отчетах стало известно, что Mistral ведет переговоры о привлечении 500 миллионов евро, сделка, которая более чем удвоит ее текущую оценку как минимум до 5 миллиардов евро. [20]
Модели [ править ]
Модели весом с открытым
Мистраль 7Б [ править ]
Mistral 7B — это языковая модель параметров 7.3B, использующая архитектуру преобразователей. Официально выпущен 27 сентября 2023 г. через магнитную ссылку BitTorrent . [21] и обнимающее лицо . [22] Модель выпущена под лицензией Apache 2.0 . В сообщении в блоге релиза утверждается, что модель превосходит LLaMA 2 13B во всех протестированных тестах и находится на одном уровне с LLaMA 34B во многих протестированных тестах. [23]
Mistral 7B использует внимание сгруппированных запросов (GQA), которое является вариантом стандартного механизма внимания. Вместо того, чтобы вычислять внимание по всем скрытым состояниям, он учитывает группы скрытых состояний. [24]
Были выпущены как базовая модель, так и модель «инструктирования», последняя из которых получила дополнительную настройку для выполнения подсказок в стиле чата. Точная настройка модели предназначена только для демонстрационных целей и не имеет встроенных средств защиты или модерации. [23]
Микстрал 8x7B [ править ]
Как и первая модель Mistral, Mixtral 8x7B был выпущен по ссылке BitTorrent, опубликованной в Твиттере 9 декабря 2023 года. [2] а через два дня были выпущены Hugging Face и сообщение в блоге. [18]
В отличие от предыдущей модели Mistral, Mixtral 8x7B использует редкую смесь экспертной архитектуры. Модель имеет 8 отдельных групп «экспертов», что дает модели в общей сложности 46,7 млрд полезных параметров. [25] [26] Каждый отдельный токен может использовать только 12,9 млрд параметров, что обеспечивает скорость и стоимость, которые повлечет за собой модель с 12,9 млрд параметров. [18]
Тестирование Mistral AI показывает, что модель превосходит LLaMA 70B и GPT-3.5 в большинстве тестов . [27]
В марте 2024 года исследование, проведенное Patronus AI, сравнивающее эффективность LLM в тесте из 100 вопросов с подсказками для создания текста из книг, защищенных законом об авторском праве США, показало, что Open AI от GPT-4 , Mixtral, Meta AI. от LLaMA-2 , а Claude2 из Anthropic дословно генерировал текст, защищенный авторским правом, в 44%, 22%, 10% и 8% ответов соответственно. [28] [29]
Микстрал 8х22Б [ править ]
Как и предыдущие открытые модели Mistral, Mixtral 8x22B был выпущен по ссылке BitTorrent в Твиттере 10 апреля 2024 года. [30] вскоре после этого был выпущен релиз на Hugging Face. [31]
Кодестрал 22Б [ править ]
Codestral - первая модель Mistral с открытым весом, ориентированная на код. Codestral был запущен 29 мая 2024 года. Это облегченная модель, специально созданная для задач генерации кода. На момент выпуска эта модель превосходит Llama3 70B от Meta и DeepSeek Coder 33B (78,2–91,6%), еще одну модель, ориентированную на код, в тесте HumanEval FIM. [32] Mistral утверждает, что Codestral свободно владеет более чем 80 языками программирования [33] Codestral имеет собственную лицензию, которая запрещает использование Codestral в коммерческих целях. [34]
Модели только для API [ править ]
В отличие от Mistral 7B, Mixtral 8x7B и Mixtral 8x22B, следующие модели имеют закрытый исходный код и доступны только через Mistral API. [35]
Мистраль Большой [ править ]
Mistral Large был запущен 26 февраля 2024 года, и Mistral утверждает, что он уступает в мире только GPT-4 от OpenAI.
Он свободно говорит на английском, французском, испанском, немецком и итальянском языках, при этом Мистраль утверждает, что понимает как грамматику, так и культурный контекст, а также обеспечивает возможности кодирования. По состоянию на начало 2024 года это флагманский ИИ Mistral. [36] Он также доступен в Microsoft Azure.
Мистраль Медиум [ править ]
Mistral Medium прошел обучение на различных языках, включая английский, французский, итальянский, немецкий, испанский и программирование, и получил оценку 8,6 по MT-Bench. [37] По производительности он находится выше Claude и ниже GPT-4 в тесте LMSys ELO Arena. [38]
Количество параметров и архитектура Mistral Medium неизвестны, поскольку Mistral не опубликовал о нем общедоступную информацию.
Мистраль Малый [ править ]
Как и модель Large, модель Small была запущена 26 февраля 2024 года. Это легкая модель с низкой задержкой и лучшей производительностью, чем Mixtral 8x7B. [39]
Ссылки [ править ]
- ^ «Французский стартап-единорог Mistral AI воплощает в себе надежды на искусственный интеллект» . Le Monde.fr. 12 декабря 2023 г. Проверено 16 декабря 2023 г.
- ↑ Перейти обратно: Перейти обратно: а б «Суетливый стартап просто выбрасывает модель искусственного интеллекта, превосходящую GPT-3.5, в торрент-ссылку» . Гизмодо. 12 декабря 2023 г. Проверено 16 декабря 2023 г.
- ^ «Выведение открытых моделей искусственного интеллекта на передний план» . Мистраль ИИ. 27 сентября 2023 г. Проверено 4 января 2024 г.
- ^ Мец, Кейд (10 декабря 2023 г.). «Mistral, французский стартап в области искусственного интеллекта, оценивается в раунде финансирования в 2 миллиарда долларов» . Нью-Йорк Таймс.
- ^ Финк, Чарли. «На этой неделе в XR: эпическая победа над Google, Mistral AI привлекает 415 миллионов долларов, 56,5 миллионов долларов на основной искусственный интеллект» . Форбс . Проверено 16 декабря 2023 г.
- ^ «Французский стартап в области искусственного интеллекта, возможно, молча начал революцию в области искусственного интеллекта» . Индостан Таймс. 12 декабря 2023 г.
- ^ «Французский стартап в сфере искусственного интеллекта Mistral получил оценку в 2 млрд евро» . ft.com Файнэншл Таймс.
- ^ Харпал, Арджун (24 мая 2024 г.). «Генеральные директора AI-стартапов, поддерживаемых Microsoft и Amazon, — это новые технологические рок-звезды» . CNBC . Проверено 13 июня 2024 г.
- ^ «Утроение ИИ Mistral | General Catalyst» . www.generalcatalyst.com . Проверено 13 июня 2024 г.
- ^ «Модели с открытым весом и большие языковые модели Mistral AI» . docs.mistral.ai . Проверено 4 января 2024 г.
- ^ «Конечные точки и большие языковые модели Mistral AI» . docs.mistral.ai.
- ^ «Конечные точки и тесты | Большие языковые модели Mistral AI» . docs.mistral.ai . Проверено 6 марта 2024 г.
- ^ Брэттон, Лаура (12 июня 2024 г.). «Французский конкурент OpenAI Mistral AI сейчас стоит 6 миллиардов долларов. Это все еще небольшая часть от его основных конкурентов» . Кварц (публикация) . Проверено 13 июня 2024 г.
- ^ Уэбб, Мария (2 января 2024 г.). «Mistral AI: исследование новейшего европейского технического единорога» . techopedia.com . Проверено 13 июня 2024 г.
- ^ «Французский стартап-единорог Mistral AI воплощает в себе надежды на искусственный интеллект» . Le Monde.fr . 12 декабря 2023 г.
- ^ Журнал Сэма Шехнера | Фотографии Эдуарда Жакине для The Wall Street. «9-месячный стартап в области искусственного интеллекта бросает вызов гигантам Кремниевой долины» . ВСЖ . Проверено 31 марта 2024 г.
- ^ «Mistral привлекает 385 миллионов евро и становится французским единорогом — le Monde Informatique» . 11 декабря 2023 г.
- ↑ Перейти обратно: Перейти обратно: а б с «Микстраль экспертов» . мистраль.ай . 11 декабря 2023 г. Проверено 4 января 2024 г.
- ^ Баблешвар (26 февраля 2024 г.). «Mistral Large, флагманский LLM компании Mistral AI, дебютирует на платформе Azure AI Models-as-a-Service» . techcommunity.microsoft.com . Проверено 26 февраля 2024 г.
- ^ «Mistral ведет переговоры о привлечении 500 млн евро при оценке в 5 млрд евро» . www.ft.com . Проверено 19 апреля 2024 г.
- ^ Голдман, Шэрон (08 декабря 2023 г.). «Mistral AI баксы отменяют тенденцию, удаляя торрент-ссылку на новую LLM с открытым исходным кодом» . ВенчурБит . Проверено 4 января 2024 г.
- ^ Колдьюи, Девин (27 сентября 2023 г.). «Mistral AI делает свою первую большую языковую модель бесплатной для всех» . ТехКранч . Проверено 4 января 2024 г.
- ↑ Перейти обратно: Перейти обратно: а б «Мистраль 7Б» . мистраль.ай . Мистраль ИИ. 27 сентября 2023 г. Проверено 4 января 2024 г.
- ^ Цзян, Альберт К.; Саблероль, Александр; Менш, Артур; Бэмфорд, Крис; Чаплот, Девендра Сингх; Дома, Диего; Брессан, Флориан; Лендьел, Джанна; Лампле, Гийом (10 октября 2023 г.). «Мистраль 7Б». arXiv : 2310.06825v1 [ cs.CL ].
- ^ «Разъяснение смеси экспертов» . Huggingface.co . Проверено 4 января 2024 г.
- ^ Мари, Бенджамин (15 декабря 2023 г.). «Mixtral-8x7B: понимание и работа с разреженным составом экспертов» . Середина . Проверено 4 января 2024 г.
- ^ Франзен, Карл (11 декабря 2023 г.). «Mistral шокирует сообщество искусственного интеллекта, поскольку последняя модель с открытым исходным кодом превосходит производительность GPT-3.5» . ВенчурБит . Проверено 4 января 2024 г.
- ^ Филд, Хайден (6 марта 2024 г.). «Исследователи протестировали ведущие модели искусственного интеллекта на предмет нарушения авторских прав с использованием популярных книг, и GPT-4 показал худшие результаты» . CNBC . Проверено 6 марта 2024 г.
- ^ «Представляем CopyrightCatcher, первый API обнаружения авторских прав для LLM» . Патронус ИИ. 6 марта 2024 г. . Проверено 6 марта 2024 г.
- ^ @MistralAI (10 апреля 2024 г.). «Торрент» ( Твит ) – через Twitter .
- ^ "mistralai/Mixtral-8x22B-v0.1 · Обнимающее лицо" . Huggingface.co . Проверено 5 мая 2024 г.
- ^ А.И., Мистраль (29 мая 2024 г.). «Кодестрал: Привет, мир!» . мистраль.ай . Проверено 30 мая 2024 г.
- ^ Шарма, Шубхам (29 мая 2024 г.). «Mistral анонсирует Codestral, свою первую модель искусственного интеллекта, ориентированную на программирование» . ВенчурБит . Проверено 30 мая 2024 г.
- ^ Виггерс, Кайл (29 мая 2024 г.). «Mistral выпускает Codestral, свою первую генеративную модель искусственного интеллекта для кода» . ТехКранч . Проверено 30 мая 2024 г.
- ^ «Цены и ограничения | Большие языковые модели Mistral AI» . docs.mistral.ai . Проверено 22 января 2024 г.
- ^ А.И., Мистраль (26 февраля 2024 г.). «О Большом» . мистраль.ай . Проверено 6 марта 2024 г.
- ^ А.И., Мистраль (11 декабря 2023 г.). «Платформа» . мистраль.ай . Проверено 22 января 2024 г.
- ^ «Таблица лидеров арены чат-ботов LMSys — пространство для обнимающих лиц от lmsys» . Huggingface.co . Проверено 22 января 2024 г.
- ^ А.И., Мистраль (26 февраля 2024 г.). «О Большом» . мистраль.ай . Проверено 6 марта 2024 г.