AI音乐生成新突破：腾讯LeVo开源，高保真创作引领潮流

AI前沿5小时前发布 yizz

1,733 0 0

腾讯AI Lab开源高保真音乐生成模型LeVo：引领音乐创作新纪元

近年来，大型语言模型（LLMs）和语音模型在音乐生成领域取得了显著进展，尤其是在歌词到歌曲的生成方面。然而，现有方法仍然面临以下挑战，导致音质、音乐性、指令遵循以及人声-乐器和谐方面的局限性：

为了解决上述挑战，腾讯AI Lab推出了LeVo，一个基于LM的框架，由LeLM和音乐编解码器组成。LeVo通过以下核心功能实现高保真音乐生成：

LeLM并行建模混合标记和双轨标记：
- 混合标记：代表人声和伴奏的混合音频，用于实现人声-乐器和谐。
- 双轨标记：分别编码人声和伴奏，用于高质量歌曲生成。
- LeLM采用两个仅解码器的Transformer和一个模块化扩展训练策略，以防止不同标记类型之间的干扰。
基于直接偏好优化（DPO）的多偏好对齐方法：
- 通过半自动数据构建过程和DPO微调处理多样化的用户偏好，增强音乐性和指令遵循能力。
高保真歌曲生成：支持中英文歌词，生成48kHz立体声音频，音质媲美Suno等闭源模型。
零样本风格迁移：根据参考音频提取风格、节奏、音色，生成类似歌曲。例如，你可以给LeVo一段爵士乐的音频，让它生成一段类似风格的摇滚乐。
文本控制生成：通过描述（如“男声、悲伤、流行、钢琴/鼓”）控制歌曲风格和情感。你可以输入“女声、欢快、电子、合成器”，来生成一段符合你要求的音乐。
双轨建模：支持混合令牌（人声+伴奏）和双轨令牌（分开编码人声和伴奏），确保人声-乐器和谐。
模块化训练：使用双解码器Transformer和模块化扩展训练策略，避免令牌干扰。

如果你想快速体验LeVo的功能，可以直接访问官方部署好的Hugging Face应用空间进行试用。

如果你有本地部署的需求，可以按照以下步骤进行：

环境要求：
- Python>=3.8.12
- CUDA>=11.8
部署步骤：
1. 克隆项目：
  bash
  git clone https://github.com/tencent-ailab/SongGeneration.git
2. 安装依赖：
  bash
  pip install -r requirements.txt –no-deps
  pip install https://github.com/Dao-AILab/flash-attention/releases/download/v2.6.3/flash_attn-2.6.3+cu118torch2.2cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
3. Docker部署（可选）：
  bash
  docker pull juhayna/song-generation-levo:v0.1
  docker run -it –gpus all –network=host juhayna/song-generation-levo:v0.1 /bin/bash
4. ComfyUI工作流（可选）：
  - 开源社区已搭建对接好的ComfyUI工作流供使用：https://github.com/smthemex/ComfyUI_SongGeneration
输入格式：
- LeVo对输入格式有严格的要求，请参考sample/lyrics.jsonl示例文件和项目文档进行操作。