ОдиннадцатьЛабс
 | |
| Тип компании | Частная компания |
|---|---|
| Промышленность | Искусственный интеллект |
| Основан | 2022 |
| Основатели |
|
| Штаб-квартира | Нью-Йорк, США |
| Веб-сайт | одиннадцать лабораторий |
| Часть серии о |
| Искусственный интеллект |
|---|
 |
ElevenLabs — компания-разработчик программного обеспечения, которая специализируется на разработке программного обеспечения для синтеза естественной речи с использованием глубокого обучения .
Она была признана одной из крупнейших компаний, стоящих за продолжающимся бумом искусственного интеллекта . [1]
История
[ редактировать ]ElevenLabs была основана в 2022 году Петром Домбковским, бывшим инженером по машинному обучению Google , и Матеушем Станишевским, бывшим стратегом по развертыванию Palantir . [2] Оба выросли в Польше, и, как сообщается, вдохновением для создания ElevenLabs послужил просмотр плохо дублированных американских фильмов. [3] [4]
Домбковский и Станишевский изначально рассматривали разные варианты финансирования, включая возможность сотрудничества со стартап-акселератором. В январе 2023 года они объявили, что получили предварительный посевной раунд на 2 миллиона долларов. Специализация стартапа на голосовом интеллекте с использованием искусственного интеллекта, все еще развивающейся области в Европе, сыграла значительную роль в привлечении инвесторов. Предварительное финансирование в основном осуществлялось Credo Ventures, к которому присоединилась Concept Ventures. [5]
В январе 2023 года ElevenLabs публично выпустила бета-версию своей платформы . [6]
В июне 2023 года ElevenLabs привлекла раунд финансирования серии A на сумму 19 миллионов долларов при оценке около 100 миллионов долларов. [7] [8] несмотря на то, что у компании нет офиса и всего 15 сотрудников. [4] [8] Раунд финансирования возглавляли венчурная фирма Andreessen Horowitz , бывший генеральный директор GitHub Нат Фридман и предприниматель Дэниел Гросс . В нем также приняли участие такие известные личности, как SV Angel , Майк Кригер (сооснователь Instagram), Брендан Ирибе (сооснователь Oculus), Мустафа Сулейман (соучредитель Deepmind) и Тим О'Рейли (основатель компании Deepmind). О'Рейли Медиа). Также было объявлено, что Андреессен Горовиц присоединится к совету директоров ElevenLabs. [3]
22 января 2024 года ElevenLabs привлекла дополнительные 80 миллионов долларов США в рамках серии B , в результате чего общая оценка компании достигла 1,1 миллиарда долларов. Раунд финансирования возглавили Andreessen Horowitz, Friedman, Gross и Sequoia Capital . Кроме того, компания анонсировала ряд новых продуктов, включая Voice Marketplace, AI Dubbing Studio и мобильное приложение. [9]
Продукты
[ редактировать ]ElevenLabs в первую очередь известна своим браузерным программным обеспечением для преобразования текста в речь с помощью искусственного интеллекта Speech Synthesis, которое может воспроизводить реалистичную речь путем синтеза голосовых эмоций и интонации . [10] Компания заявляет, что ее модели обучены интерпретировать контекст в тексте и соответствующим образом корректировать интонацию и темп. [11] Он использует передовые алгоритмы для анализа контекстуальных аспектов текста с целью обнаружения таких эмоций, как гнев, печаль, счастье или тревога, что позволяет системе понимать настроения пользователя. [12] в результате чего достигается более реалистичная и человечная интонация. Стартап находится в процессе патентования этой технологии. [5] На бета-сайте пользователи могут отправлять текст и создавать аудиофайлы из голосов, выбранных по умолчанию. Платным пользователям предоставляется возможность загружать собственные образцы голоса для создания новых вокальных стилей с помощью инструмента клонирования голоса компании. [13]
Голосовая библиотека — это функция компании, позволяющая делиться уникальными голосовыми профилями, созданными с использованием технологии Voice Design. Эти предварительно разработанные голосовые профили позволяют пользователям выбирать голос, который лучше всего соответствует их потребностям, а не создавать его с нуля. [14] Сейчас в библиотеке более 1000 голосов, созданных сообществом. Другой инструмент под названием VoiceLab позволяет пользователям клонировать голоса всего из нескольких коротких фрагментов аудио и создавать совершенно новые синтетические голоса. [3]
20 июня 2023 года ElevenLabs выпустила инструмент распознавания искусственного интеллекта под названием AI Speech Classifier, который, по утверждению компании, является первым в своем роде. [3] Инструмент доступен через API и предназначен для определения того, является ли загруженный аудиосэмпл результатом собственной технологии искусственного интеллекта ElevenLabs. [4] Компания выразила намерение сотрудничать с другими разработчиками искусственного интеллекта в создании универсальной системы обнаружения, которая могла бы быть внедрена во всей отрасли. [15]
В июле 2023 года ElevenLabs анонсировала «Проекты», инструмент для создания длинного устного контента, такого как аудиокниги и сегменты диалогов, с контекстно-зависимыми синтетическими или пользовательскими голосами. [4] [16] Инструмент был выпущен в сентябре. В августе ElevenLabs расширила возможности генерации голоса до 28 языков. Используя собственную модель искусственного интеллекта, он автоматически распознает такие языки, как корейский , голландский и вьетнамский , что позволяет генерировать «эмоционально насыщенную» многоязычную речь. Компания также объявила, что ее технология официально вышла из бета-фазы . [17] [18]
В октябре 2023 года ElevenLabs представила AI Dubbing — инструмент, способный переводить речь более чем на 20 языков. Эта функция способна сохранять исходный голос, эмоции и интонацию говорящего, используя запатентованные методы для решения таких задач, как удаление шума, дифференциация говорящего, транскрипция и синхронизация переведенной речи с исходным звуком. [19]
В мае 2024 года ElevenLabs запустила модель преобразования текста в музыку . [20] В июне 2024 года ElevenLabs выпустила приложение ElevenLabs Reader для iOS и Android, которое позволяет пользователям слушать статьи, PDF-файлы и электронные публикации с помощью AI Voices на своем телефоне. [21] В июле 2024 года ElevenLabs выпустила «Voice Isolator», который удаляет фоновый шум из звука. [22]
Использование
[ редактировать ]Сценарии использования ElevenLabs охватывают целый ряд секторов.
Создатели контента использовали ElevenLabs для подкастов, повествования и комедийных шоу. [23] [24] [25] В марте 2023 года комик Дрю Кэри использовал инструмент клонирования голоса ElevenLabs, чтобы воссоздать свой голос для эпизода своего радиошоу Friday Night Freakout . [11] В апреле 2023 года польский теле- и радиоведущий Ярослав Кузняр использовал синтезированную версию своего голоса для проведения серии подкастов о вторжении России в Украину . [26] Сет Годин также использовал ElevenLabs для озвучивания своего подкаста, посвященного искусственному интеллекту. [3]
Тим Грин , бывший игрок НФЛ и автор, использует технологию клонирования голоса ElevenLabs на базе искусственного интеллекта для своего подкаста «Ничего недосказанного Тима Грина». [27] У Грина была диагностирована медленно прогрессирующая форма бокового амиотрофического склероза . Способность Грина к вербальному общению была нарушена. Технология искусственного интеллекта позволяет ему вести глубокие беседы с различными гостями, используя клонированную версию своего голоса из более ранних записей. Такое инновационное использование технологии ElevenLabs позволяет Грину продолжать участвовать в важных дискуссиях, несмотря на его состояние.
В марте 2023 года Super-Hi-Fi, служба автоматизации потокового вещания, в партнерстве с ElevenLabs запустила полностью автоматизированную радиослужбу под названием «AI Radio», используя программное обеспечение ElevenLabs для озвучивания своего виртуального диджея из подсказок, созданных с помощью ChatGPT . [28] ElevenLabs также использовалась для озвучивания игр и озвучивания игровых персонажей в сотрудничестве со шведским разработчиком игр Paradox Interactive и британской компанией Magicave. [3] [29]
Издатели и авторы использовали ElevenLabs для озвучивания аудиокниг и информационных бюллетеней. [5] [30] 13 июня 2023 года Storytel объявила об эксклюзивном партнерстве с ElevenLabs. Благодаря этому сотрудничеству ElevenLabs будет создавать голоса, специально адаптированные для основных рынков Storytel, и производить аудиокниги с озвучкой с помощью искусственного интеллекта. Функция изменения голоса под названием VoiceSwitcher была реализована для повышения персонализации пользователей, обеспечивая уникальные впечатления от прослушивания, адаптированные для каждого человека. [31] [32]
ElevenLabs использовался для создания аудио для дублирования видео на разные языки, в том числе создателями контента. [5] [8] Платформа способна точно воспроизвести практически любой акцент на любом языке. [33] Поклонники знаменитостей использовали ElevenLabs для создания вдохновляющих сообщений, используя голоса своих любимых знаменитостей. [34]
В феврале репортер VICE банка Джозеф Кокс опубликовал данные о том, что он записал пять минут своего разговора, а затем использовал ElevenLabs для создания голосовых дипфейков, которые обошли систему голосовой аутентификации . [35]
В июле представитель США Дженнифер Векстон использовала ElevenLabs, чтобы создать копию своего голоса после потери голоса из-за прогрессивного супрануклеарного паралича, подобного болезни Паркинсона (PSP). [36]
ElevenLabs устанавливает четкие правила использования своей технологии, запрещая клонирование голосов в оскорбительных целях, таких как мошенничество, дискриминация, разжигание ненависти или оскорбление в Интернете, хотя компания поддерживает использование своей платформы для «карикатур, пародий и сатиры» и «художественная и политическая речь, способствующая общественным дебатам». Компания заявляет о своих полномочиях приостанавливать действие учетных записей и контента пользователей, уличенных в нарушении настоящих правил, а также подчеркивает свое обязательство сотрудничать с властями и сообщать о любых незаконных действиях в соответствии с применимыми нормами. законы. [3] В январе компания признала, что ее платформу использовали для «случаев злоупотребления клонированием голоса». [37] и ужесточила меры защиты от неправомерного использования своих технологий. [38]
Прием
[ редактировать ]После запуска в январе 2023 года ElevenLabs быстро набрала обороты и получила высокую оценку за качество вывода голоса, быстрое время генерации и «щедрый уровень бесплатного пользования». Его также хвалили за способность точно произносить имена с уникальным или необычным произношением, что устраняет общий недостаток аналогичных инструментов, которые часто ориентированы в первую очередь на западные имена. [39] С момента запуска по июнь 2023 года компания достигла более миллиона зарегистрированных пользователей. [3] [4] [40]
Критика и споры
[ редактировать ]ElevenLabs подверглась критике после того, как пользователи смогли злоупотребить ее программным обеспечением для создания противоречивых заявлений в стиле знаменитостей, государственных чиновников и других известных личностей. [41] [42] [43] [44] [38] особенно привлекло внимание после того, как пользователи 4chan использовали этот инструмент для обмена сообщениями, разжигающими ненависть. [45] [15] Способность программного обеспечения точно воспроизводить реальные голоса вызвала этические проблемы , а критики сравнили это с дипфейкингом . [46] В ответ компания заявила, что будет работать над смягчением потенциальных злоупотреблений посредством мер безопасности и проверки личности . [6] Впоследствии компания ограничила доступ к функции клонирования голоса только для платных подписчиков. [47] ссылаясь на требование предоставления платежной информации как на средство улучшения подотчетности, [48] и ввел бан для пользователей, которые неоднократно нарушают условия обслуживания.
В преддверии демократических праймериз в Нью-Гэмпшире в январе 2024 года тысячам жителей были разосланы роботизированные звонки, предположительно от Джо Байдена, призывающие избирателей пропустить голосование в день праймериз. Генеральная прокуратура Нью-Гэмпшира начала расследование инцидента и связала его с компанией, базирующейся в Техасе, а эксперты по звуку пришли к выводу, что звонок был сделан с использованием ElevenLabs. В ответ на инцидент генеральный директор Мати Станишевски заявил, что компания «призвана предотвращать неправомерное использование аудиоинструментов искусственного интеллекта», но не прокомментировал конкретные инциденты. [49]
Дополнительные опасения были высказаны по поводу этичности источника обучающих данных ElevenLabs: несколько актеров озвучивания утверждали, что ElevenLabs использовали образцы их голосов без их согласия. [50] Таким образом, ElevenLabs, наряду с другими компаниями в своей категории, рассматривается как потенциальный вызов для сектора озвучки. [18]
См. также
[ редактировать ]Ссылки
[ редактировать ]- ^ Канеткар, Каллум Берроуз, Ридди. «Упущенная выгода реальна для венчурных капиталистов, которые прямо сейчас платят большие премии за инвестиции в стартапы в области искусственного интеллекта» . Бизнес-инсайдер . Проверено 10 декабря 2023 г.
{{cite web}}: CS1 maint: несколько имен: список авторов ( ссылка ) - ^ Канеткар, Риддхи. «Этот стартап, основанный бывшими сотрудниками Google и Palantir, использует искусственный интеллект для создания реалистичной озвучки. Вот презентация из 14 слайдов, с помощью которой ElevenLabs собрала 2 миллиона долларов» . Бизнес-инсайдер . Проверено 9 февраля 2023 г.
- ^ Jump up to: а б с д и ж г час «А теперь послушайте: стартап ElevenLabs, занимающийся клонированием голоса, получил 19 миллионов долларов от a16z и других крупных игроков» . ВенчурБит . 20 июня 2023 г. . Проверено 25 июля 2023 г.
- ^ Jump up to: а б с д и Виггерс, Кайл (20 июня 2023 г.). «Платформа генерации голоса ElevenLabs привлекла $19 млн и запускает инструмент обнаружения» . ТехКранч . Проверено 25 июля 2023 г.
- ^ Jump up to: а б с д Канеткар, Риддхи. «Горячий стартап в области искусственного интеллекта ElevenLabs, основанный бывшими сотрудниками Google и Palantir, собирается привлечь $18 миллионов при оценке в $100 миллионов. Посмотрите презентацию из 14 слайдов, которую он использовал для своего предварительного предложения стоимостью $2 миллиона» . Бизнес-инсайдер . Проверено 25 июля 2023 г.
- ^ Jump up to: а б «Новый голосовой инструмент искусственного интеллекта уже используется для создания дипфейковых аудиоклипов со знаменитостями» . Engadget . Проверено 3 февраля 2023 г.
- ^ «Испытания и невзгоды голосовых технологий искусственного интеллекта» . Файнэншл Таймс . 21 июня 2023 г. . Проверено 25 июля 2023 г.
- ^ Jump up to: а б с Хант, Саймон (20 июня 2023 г.). «Фирма ElevenLabs, занимающаяся искусственным интеллектом, достигла оценки в 100 миллионов долларов в течение нескольких месяцев после запуска» . Вечерний стандарт . Проверено 25 июля 2023 г.
- ^ «ElevenLabs выпускает новые продукты голосового искусственного интеллекта и привлекает 80 миллионов долларов в рамках серии B» . 22 января 2024 г.
- ^ «Генераторный ИИ применяется для дубляжа фильмов: стартап ElevenLabs, занимающийся аудиоИИ, собирает предварительную посевную информацию» . Просеянный . 23 января 2023 г. . Проверено 3 февраля 2023 г.
- ^ Jump up to: а б Эшворт, Бун (12 апреля 2023 г.). «ИИ может клонировать голос вашего любимого ведущего подкаста» . Проводной . Проверено 25 апреля 2023 г.
- ^ ПРОВОДНОЙ Персонал. «Этот подкаст не ведется клонами AI Voice. Мы клянемся» . Проводной . ISSN 1059-1028 . Проверено 25 июля 2023 г.
- ^ Фрауэнфельдер, Марк (12 января 2023 г.). «Программное обеспечение позволяет создавать новые синтетические голоса с нуля» . Боинг-Боинг . Проверено 3 февраля 2023 г.
- ^ «Поскольку генеративный искусственный интеллект процветает, этот британский стартап получает 2 миллиона долларов на имитацию человеческих голосов — TFN» . Новости технического финансирования . 25 января 2023 г. . Проверено 5 февраля 2023 г.
- ^ Jump up to: а б Томпсон, Стюарт А. (12 марта 2023 г.). «Благодаря искусственному интеллекту делать дипфейки становится дешевле и проще», The New York Times . ISSN 0362-4331 . Проверено 25 июля 2023 г.
- ^ Бонк, Лоуренс. «Новый мощный инструмент искусственного интеллекта от ElevenLabs позволяет создать полноценную аудиокнигу за считанные минуты» . Жизненный провод . Проверено 25 июля 2023 г.
- ^ «Генератор голоса с искусственным интеллектом от ElevenLabs теперь может имитировать ваш голос на 30 языках» . Гизмодо . 22 августа 2023 г. . Проверено 25 сентября 2023 г.
- ^ Jump up to: а б Виггерс, Кайл (22 августа 2023 г.). «Инструменты ElevenLabs для генерации голоса выходят из бета-версии» . ТехКранч . Проверено 25 сентября 2023 г.
- ^ Шарма, Шубхам (10 октября 2023 г.). «ElevenLabs представляет AI Dubbing, переводящий видео и аудио на 20 языков» . ВенчурБит . Проверено 28 ноября 2023 г.
- ^ Моррисон, Райан (10 мая 2024 г.). «ElevenLabs запускает новый генератор музыки с искусственным интеллектом — и вам нужно послушать эти клипы, чтобы оценить его» . Путеводитель Тома . Проверено 14 мая 2024 г.
- ^ «ElevenLabs запускает Reader, приложение для преобразования текста в аудио» . Воображаемый . 25 июня 2024 г. Проверено 24 июля 2024 г.
- ^ Шарма, Шубхам (4 июля 2024 г.). «ElevenLabs запускает бесплатный изолятор голоса с искусственным интеллектом, чтобы бросить вызов Adobe» . ВенчурБит . Проверено 24 июля 2024 г.
- ^ Ниббс, Кейт. «Подкасты о генеративном искусственном интеллекте уже здесь. Приготовьтесь скучать» . Проводной . ISSN 1059-1028 . Проверено 25 июля 2023 г.
- ^ Сучу, Питер. «Пародия на арест престолонаследия на YouTube включает «повествование», созданное искусственным интеллектом Рона Ховарда» . Форбс . Проверено 25 июля 2023 г.
- ^ Фадулу, Лола (6 июля 2023 г.). «Может ли ИИ быть забавным? Эта труппа так думает» . Нью-Йорк Таймс . ISSN 0362-4331 . Проверено 25 июля 2023 г.
- ^ «Искусственный интеллект читает голосом Ярослава Кузняра. Революция в радио и подкастах» . Press.pl (на польском языке). 9 апреля 2023 г. . Проверено 25 апреля 2023 г.
- ^ «Тим Грин: ничто не осталось недосказанным» .
- ^ Маклейн, Пол (29 марта 2023 г.). «Радио AI демонстрирует партнерство с искусственным интеллектом» . Радиомир . Проверено 25 апреля 2023 г.
- ^ «Magicave анонсирует игру Beneath The Six с ИИ-рассказчиком» . ВенчурБит . 6 июля 2023 г. . Проверено 26 июля 2023 г.
- ^ «Фирма, производящая голоса, генерируемые искусственным интеллектом, прекращает работу после того, как 4chan использует голоса знаменитостей для злоупотреблений» . www.vice.com . 30 января 2023 г. . Проверено 3 февраля 2023 г.
- ^ Андерсон, Портер (13 июня 2023 г.). « Голоса искусственного интеллекта в аудиокнигах: Storytel в партнерстве с ElevenLabs» . Издательские перспективы . Проверено 25 июля 2023 г.
- ^ «Storytel вступает в стратегическое партнерство с ElevenLabs и объявляет о предстоящем запуске новой функции VoiceSwitcher» . Bloomberg.com . 13 июня 2023 г. . Проверено 25 июля 2023 г.
- ^ Уайз, Джеймс (30 июня 2023 г.). «Представьте, что ваш ребенок требует денег. Вот только это не он — это мошенничество с искусственным интеллектом» . Хранитель . ISSN 0261-3077 . Проверено 25 июля 2023 г.
- ^ Хантер-Тилни, Людовик (27 мая 2023 г.). «Может ли ИИ сделать меня музыкальной звездой?» . Файнэншл Таймс . Проверено 25 июля 2023 г.
- ^ Ньюман, Лили Хэй. «Голосовые дипфейки, генерируемые искусственным интеллектом, пока не так уж и хороши» . Проводной . ISSN 1059-1028 . Проверено 25 июля 2023 г.
- ^ Эрик Хэл Шварц (15 июля 2024 г.). «Женщина-конгрессменка США потеряла голос из-за болезни, теперь искусственный интеллект вернул его» . ТехРадар . Проверено 24 июля 2024 г.
- ^ Херн, Алекс; Милмо, Дэн (24 февраля 2023 г.). «Все, что вы хотели знать об ИИ, но боялись спросить» . Хранитель . ISSN 0261-3077 . Проверено 25 июля 2023 г.
- ^ Jump up to: а б Милмо, Дэн; Херн, Алекс (20 мая 2023 г.). «Выборы в Великобритании и США находятся под угрозой из-за дезинформации, вызванной искусственным интеллектом, говорят эксперты» . Хранитель . ISSN 0261-3077 . Проверено 25 июля 2023 г.
- ^ Десаи, Саахил (17 июля 2023 г.). «Голосовой робот просто лишил меня дара речи» . Атлантика . Проверено 25 сентября 2023 г.
- ^ «Ваш клон ИИ может обмануть семью, ваш банк, но не вашу видеовстречу — брифинг технических новостей — подкасты WSJ» . ВСЖ . Проверено 25 июля 2023 г.
- ^ Хименес, Хорхе (31 января 2023 г.). «Компания, занимающаяся искусственным интеллектом, обещает перемены после инструмента «клонирования голоса», с помощью которого знаменитости говорили ужасные вещи» . ПК-геймер . Проверено 3 февраля 2023 г.
- ^ «Люди по-прежнему ужасны: инструмент клонирования голоса с использованием искусственного интеллекта неправильно используется для создания дипфейковых клипов знаменитостей» . PCMag Ближний Восток . 31 января 2023 г. . Проверено 25 июля 2023 г.
- ^ «Интернет в ярости: пользователь 4Chan использует голосовой симулятор искусственного интеллекта, чтобы подделать голос Эммы Уотсон и заставить ее прочитать автобиографию Гитлера – FandomWire» . fandomwire.com . 2 февраля 2023 г. . Проверено 3 февраля 2023 г.
- ^ «Гонка программного обеспечения для генеративного искусственного интеллекта началась» . Удача . Проверено 3 февраля 2023 г.
- ^ Винсент, Джеймс (31 января 2023 г.). «Пользователи 4chan используют инструмент клонирования голоса с помощью искусственного интеллекта для создания ненавистнических высказываний знаменитостей» . Грань . Проверено 3 февраля 2023 г.
- ^ «Увидеть — значит поверить? Глобальная борьба с дипфейками» . news.yahoo.com . Проверено 3 февраля 2023 г.
- ^ @elevenlabsio (31 января 2023 г.). «Спасибо всем за советы. Нам нравится то, что вы создаете, но некоторые злоумышленники используют нашу технологию в злонамеренных целях. Мы решили предпринять следующие шаги для решения проблем» ( Твиттер ) . Проверено 25 апреля 2023 г. - через Twitter .
- ^ @elevenlabsio (31 января 2023 г.). «Это сохранит доступ к нашим инструментам и позволит нам бороться с возможным неправомерным использованием. Платежные реквизиты не всегда предотвращают злоупотребления, но они делают пользователей VoiceLab менее анонимными и заставляют их дважды подумать, прежде чем делиться ненадлежащим контентом» ( твит ) . Проверено 25 апреля 2023 г. - через Twitter .
- ^ Ниббс, Кейт. «Исследователи говорят, что дипфейковый робот-звонок Байдена, скорее всего, был сделан с помощью инструментов AI-стартапа ElevenLabs» . Проводной . ISSN 1059-1028 . Проверено 15 февраля 2024 г.
- ^ «Ваши любимые актеры озвучивания обвиняют сайты искусственного интеллекта, копирующие голоса без согласия» . Котаку . 13 февраля 2023 г. . Проверено 10 декабря 2023 г.