Преобразование голоса на основе поиска
| Разработчик(и) | Команда проекта РВК |
|---|---|
| Первоначальный выпуск | 2024 |
| Репозиторий | Гитхаб |
| Написано в | Питон |
| Операционная система | Windows , Linux , MacOS |
| Доступно в | Английский , упрощенный китайский , японский , корейский , французский , турецкий , португальский |
| Тип | Программное обеспечение для преобразования голоса |
| Лицензия | МОЯ лицензия |
Преобразование голоса на основе поиска ( RVC ) — это с открытым исходным кодом алгоритм преобразования голоса искусственный , который обеспечивает реалистичные преобразования речи в речь, точно сохраняя интонацию и звуковые характеристики исходного говорящего. [ 1 ]
Обзор
[ редактировать ]В отличие от систем преобразования текста в речь, таких как ElevenLabs , RVC отличается тем, что вместо этого обеспечивает преобразование речи в речь. Он сохраняет модуляцию, тембр и вокальные характеристики оригинального динамика, что делает его пригодным для применений, где эмоциональный тон имеет решающее значение.
Алгоритм обеспечивает как предварительную обработку, так и преобразование голоса в реальном времени с низкой задержкой. Эта возможность работы в режиме реального времени знаменует собой значительный прогресс по сравнению с предыдущими технологиями преобразования голоса на базе искусственного интеллекта, такими как So-vits SVC. Его скорость и точность заставили многих отметить, что сгенерированные им голоса звучат почти неотличимо от «реальной жизни» при условии, что достаточные вычислительные характеристики и ресурсы (например, мощный графический процессор и достаточное количество оперативной памяти при локальном запуске доступны ), а также высокая производительность. - используется качественная голосовая модель. [ 2 ]
Приложения и проблемы
[ редактировать ]Эта технология позволяет изменять голос и мимикрию, позволяя пользователям создавать точные модели других людей, используя лишь незначительное количество минут чистых аудиосэмплов. Эти голосовые модели можно сохранить как .pth ( PyTorch ) и публикуются на таких платформах, как Weights.gg. Хотя эта возможность облегчает множество творческих приложений, она также вызывает обеспокоенность по поводу возможного неправильного использования в качестве фейкового программного обеспечения для кражи личных данных и злонамеренного выдачи себя за другое лицо посредством голосовых вызовов.
В поп-культуре
[ редактировать ]Вывод RVC использовался для создания реалистичного изображения каверов песен, например, замена оригинального вокала такими персонажами, как Сумеречная Искорка и Мордехай, чтобы они пели дуэтами популярной музыки, такой как « Airplanes » и « Somebody That I Used to Know ». Эти каверы, созданные с помощью искусственного интеллекта, которые могут звучать поразительно похоже на имитируемый голос, завоевали популярность на таких платформах, как YouTube , как юмористические мемы . [ 3 ]
Ссылки
[ редактировать ]- ^ Кочард, Дэвид (7 января 2024 г.). «RVC: устройство для изменения голоса на базе искусственного интеллекта» . Середина .
- ^ «Что такое РВК» . Центр ИИ . Проверено 27 мая 2024 г.
- ^ «Как сделать RVC WebUI — сделать каверы на песни с помощью искусственного интеллекта за считанные минуты! (Руководство по преобразованию голоса) — технический тактик» . Технический тактик . 06.07.2023 . Проверено 27 мая 2024 г.
