Риффузия

Риффузия
Разработчик(и)	Сет Форсгрен ; Айк Мученики ;
Первоначальный выпуск	15 декабря 2022 г.
Репозиторий	github .с /хмартиро /riffusion-вывод
Написано в	Питон
Тип	Модель преобразования текста в изображение
Лицензия	МОЯ лицензия
Веб-сайт	распространение .с

Сгенерированная спектрограмма из подсказки « боссанова с электрогитарой » (вверху) и полученный звук после преобразования (внизу)

Riffusion — это нейронная сеть , разработанная Сетом Форсгреном и Айком Мартиросом, которая генерирует музыку, используя образы звука, а не аудио. ^[1] Он был создан как доработка Stable Diffusion — существующей модели с открытым исходным кодом для генерации изображений из текстовых подсказок на спектрограммах . ^[1] В результате получается модель, которая использует текстовые подсказки для создания файлов изображений, которые можно подвергнуть обратному преобразованию Фурье и преобразовать в аудиофайлы. ^[2] Хотя длина этих файлов составляет всего несколько секунд, модель также может использовать скрытое пространство между выходными данными для интерполяции различных файлов вместе. ^[1]^[3] Это достигается с помощью функциональности модели Stable Diffusion, известной как img2img . ^[4]

Получившаяся в результате музыка была описана как « de otro mundo » (потусторонняя). ^[5] хотя вряд ли заменит рукотворную музыку. ^[5] Модель стала доступна 15 декабря 2022 года, а код также доступен в свободном доступе на GitHub . ^[2] Это одна из многих моделей, полученных на основе стабильной диффузии. ^[4]

Riffusion классифицируется как подмножество генераторов текста в музыку с использованием искусственного интеллекта. В декабре 2022 года Муберт ^[6] аналогичным образом использовал Stable Diffusion, чтобы превратить описательный текст в музыкальные циклы. В январе 2023 года Google опубликовала статью о собственном генераторе текста в музыку под названием MusicLM. ^[7]^[8]

Ссылки

^ Jump up to: ^а ^б ^с Колдьюи, Девин (15 декабря 2022 г.). «Попробуйте Riffusion — модель искусственного интеллекта, которая сочиняет музыку, визуализируя ее» .
^ Jump up to: ^а ^б Наси, Мишель (15 декабря 2022 г.). «Риффузия: создание аудиодорожек с помощью искусственного интеллекта» . IlSoftware.it .
^ «Попробуйте Riffusion — модель искусственного интеллекта, которая сочиняет музыку, визуализируя ее» . 15 декабря 2022 г.
^ Jump up to: ^а ^б «Представляем искусственный интеллект «Riffusion», который автоматически генерирует музыку, соответствующую тексту, и каждый может свободно использовать его на основе искусственного интеллекта «Stable Diffusion» . GIGAZINE .
^ Jump up to: ^а ^б Ллано, Евтропио (15 декабря 2022 г.). «Генератор изображений искусственного интеллекта также может создавать музыку (с потусторонними результатами)» .
^ «Mubert запускает интерфейс Text-to-Music — совершенно новый способ создания музыки с помощью одной текстовой подсказки» . 21 декабря 2022 г.
^ «MusicLM: создание музыки из текста» . 26 января 2023 г.
^ «5 причин, по которым приложение Google MusicLM AI для преобразования текста в музыку отличается» . 27 января 2023 г.

Эта искусственному интеллекту статья, посвященная , незавершена . Вы можете помочь Википедии, расширив ее .

[techcrunch-1] Jump up to: ^а ^б ^с Колдьюи, Девин (15 декабря 2022 г.). «Попробуйте Riffusion — модель искусственного интеллекта, которая сочиняет музыку, визуализируя ее» .

[ilsoftware-2] Jump up to: ^а ^б Наси, Мишель (15 декабря 2022 г.). «Риффузия: создание аудиодорожек с помощью искусственного интеллекта» . IlSoftware.it .

[nouvelles-3] «Попробуйте Riffusion — модель искусственного интеллекта, которая сочиняет музыку, визуализируя ее» . 15 декабря 2022 г.

[gigazine-4] Jump up to: ^а ^б «Представляем искусственный интеллект «Riffusion», который автоматически генерирует музыку, соответствующую тексту, и каждый может свободно использовать его на основе искусственного интеллекта «Stable Diffusion» . GIGAZINE .

[deporticos-5] Jump up to: ^а ^б Ллано, Евтропио (15 декабря 2022 г.). «Генератор изображений искусственного интеллекта также может создавать музыку (с потусторонними результатами)» .

[mubert-6] «Mubert запускает интерфейс Text-to-Music — совершенно новый способ создания музыки с помощью одной текстовой подсказки» . 21 декабря 2022 г.

[musiclm-7] «MusicLM: создание музыки из текста» . 26 января 2023 г.

[text2music-8] «5 причин, по которым приложение Google MusicLM AI для преобразования текста в музыку отличается» . 27 января 2023 г.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]