AI 音乐与音频生成包

这个 pack 包含什么

这是给用 AI 生成音频、并且要在自己控制的工具里收尾的音乐人、播客主、游戏/网页创作者的一套配置 — 不是把母带锁在某个 SaaS 网页 app 里。每件资产要么完全开源，要么有真正的 API（不接受网页复制粘贴流）。十件里有九件是 MIT 或 Apache 协议。

整套覆盖音频生产管线的全部 5 个阶段。不需要每个都装 — 根据你要的产出（音乐 / 人声 / 音效 / 乐谱 / Web 播放）选对应那一行，串起来跑。

按生产管线顺序安装

阶段 1 — 生成

1. Bark — Suno 研究团队出的 transformer 文本到音频模型。从文字 prompt 生成 12+ 语言的语音、音乐、背景噪音、音效，支持 [laughs] [music] 等非语音 tag。MIT 协议，本地跑约需 12 GB 显存。需要一个万金油模型先粗略出活就用它。
2. AudioCraft（MusicGen） — Meta 的 PyTorch 音乐生成库。比 Bark 的器乐音乐连贯性更高，可以用文字 prompt 或哼唱旋律条件化生成。你真正要的是音乐而不是人声时选它。
3. Cartesia Sonic TTS — 状态空间模型 TTS，首音节响应 75ms，100+ 声音、5 秒克隆、流式 WebSocket。云 API。需要实时人声（直播 agent、歌词试唱快速迭代）时用。
4. Chatterbox — Resemble AI 出的开源 TTS，对韵律、情感、表现力可精细控制。当你要自托管、希望出来的歌词或旁白不像 GPS 语音播报时，这是 Cartesia/ElevenLabs 的本地替代。

阶段 2 — 编排

5. MuseScore — 免费开源记谱软件。把 AI 生成的 MIDI/旋律想法变成正式编曲的桥梁。导出 MIDI、MusicXML、音频。
6. LMMS — 跨平台免费 DAW，内置合成器、节拍序列器、效果链。AI 生成的素材在这里才变成歌。不想为了叠四轨花 200 美元买 FL Studio / Ableton 时的开源替代。

阶段 3 — 上 Web（可选，给要出货的创作者）

7. Tone.js — Web Audio 互动音乐框架。当你的产出不是 WAV 而是体验（生成式网页音乐、互动 loop、浏览器里的乐器）时用。
8. howler.js — 跨浏览器音频播放库。和 Tone.js 配套用（Tone 负责合成，Howler 负责播放成品）。三行 API 解决你本来要花一周末调试的所有浏览器音频 bug。

阶段 4 — 修复 / 音源分离

9. Demucs — Meta 的 AI 音乐源分离。把任意一首歌分成 鼓 / 贝斯 / 人声 / 其他 四轨。这是人声去除/伴奏提取的那一步（任何歌做卡拉 OK、从 AI 生成的混音里抽出人声、修补串音）。

阶段 5 — 母带 & 导出

10. Audacity — 全地球播客和 YouTube 旁白配音都在用的跨平台音频编辑器。降噪、归一化、EQ、限制器、导出 MP3/WAV/FLAC。故意保守 — 母带应该可预测。

它们怎么串起来

文字 prompt / 歌词
   │
   ├─ Bark（任意音频）──┐
   ├─ MusicGen（音乐）─┤
   ├─ Cartesia（人声）─┼─→ 分轨 WAV
   └─ Chatterbox（人声）┘
                          │
     ┌────────────────────┘
     ▼
MuseScore（记谱 / MIDI 草稿）→ LMMS（DAW 编排 + 叠轨）
     │
     ├─ Demucs（如需可再做分离 / 抽轨）
     │
     ▼
Audacity（清理、EQ、限制器、母带）
     │
     ├─ WAV / MP3 → 上 Spotify / YouTube / 播客主机
     └─ Tone.js + howler.js → 嵌进网页

整条链路最关键的转折点是阶段 2 的 LMMS — 没有 DAW，AI 生成的素材就停留在「一次性新鲜玩意」；有 DAW，四个 Bark/MusicGen take 才能拼成一首结构完整的歌。

你会遇到的取舍

• Bark vs MusicGen — Bark 更宽（人声 + 音乐 + 音效）但音乐更松散。MusicGen 更窄（器乐音乐）但更连贯。要的是完整歌曲：MusicGen 出伴奏 + Bark 或 Cartesia 出人声。要的是播客 intro、音效、氛围音：Bark 单挑就够。
• Cartesia vs Chatterbox — Cartesia 最快（首音节 75 ms）声音也最好，但云 API 按用量计费。Chatterbox 自托管不按次收费。Cartesia 适合生产环境的实时 agent；Chatterbox 适合批量出人声、对延迟不敏感的场景。
• Tone.js vs howler.js — Tone.js 做合成（振荡器、乐器、调度）。Howler.js 跨浏览器播放成品文件。多数项目两个都要。如果你不在运行时生成音频，直接 Howler 就行。
• Demucs 进攻 vs 防御用法 — 进攻：从任意参考曲拉分轨研究或重混。防御：当 AI 生成的人声和伴奏同一次渲染时，把它们拆开避免共振伪影。
• Suno/Udio 网页 UI vs 本套 — Suno 网页 app 出 30 秒 meme 更快。但一旦你想迭代（只重生成副歌）、拥有母带（无 DRM、自己的 WAV）、批量编曲（隔夜跑 50 个 prompt），本套就赢了。

常见踩坑

• Bark 显存 — 全模型要 12 GB 显存。8 GB 显卡设 SUNO_USE_SMALL_MODELS=True。CPU 也能跑但慢 10 倍。
• AudioCraft 协议陷阱 — MusicGen 某些 checkpoint 是 CC-BY-NC（禁商用）。上架前读 model card确认协议。
• Demucs CPU 太慢 — 4 分钟歌曲 CPU 跑约 3 分钟，3060 跑 20 秒。批量隔夜走 CPU；交互式必须 GPU。
• Audacity 响度战争 — 限制器别推过 -1 dBTP。母带太响在 Spotify 会被自动衰减，反而难听。
• Cartesia 流式 + 浏览器 — WebSocket 音频块需要仔细缓冲；客户端用 Tone.js 或 Howler.js 播放，别用裸 <audio> 标签。