#多模态音乐生成

avatar
sitin
1个月前
Magenta RealTime（Magenta RT）是 Google Magenta 项目推出的开源权重实时音乐生成模型，可让用户在创作、演奏时实时互动生成音乐。 一句话总结：它用 8 亿参数就能“边说边播”，在普通 Colab 免费 TPU 上，2 秒音频只需 1.25 秒生成，速度比播放还快，且直接输出 48 kHz 立体声 一、核心亮点 1.超实时 RTF＞1：生成延迟低于播放速度，适合现场、直播、DJ 等即时场景。 2.2 秒切片 + 10 秒记忆：每 2 秒生成一段，同时回看过去 10 秒旋律，衔接自然不断流。 3.多模态“指挥”： • 文本提示：一句“来点赛博朋克紧张节奏”即可瞬间换风格。 • 音频提示：可上传参考音乐，实现实时流派/乐器变形。 4.开源可自托管：Apache 2.0 许可证，代码与权重已在 GitHub & Hugging Face 放出。 5.小身材大能量：0.8 B 参数，在免费 Colab 即可跑，48 kHz 立体声直接用于混音或现场。 二、技术架构速览 • 基于离散音频标记的 Transformer（8 亿参数）。 • 使用神经音频编解码器 SpectroStream，把波形转成紧凑标记；再经 MusicCoCa（音乐-文本多模态嵌入）把提示映射到同一语义空间。 • 训练数据：约 19 万小时免版权器乐，涵盖广泛流派，保证泛化与连贯性。 如果你想把 AI 变成随叫随到的“口袋 DJ”，现在就能把 Magenta RealTime 装进电脑或 Colab，立刻开玩。
#Magenta RealTime #开源音乐生成模型 #实时互动音乐 #多模态音乐生成 #AI DJ