Step-Audio：多语言、多风格的智能语音交互

Step-Audio 是一个用于智能语音交互的开源框架仓库，以下是关于这个仓库的详细介绍：

基本信息

• 多语言支持：提供中文、英文和日文的 README 文档，方便不同语言用户使用。
• 项目链接：包含指向技术报告、以及 Hugging Face 相关模型和数据集的链接，方便用户获取更多资源。

主要内容和特点

1. 核心功能

Step-Audio 是首个可用于生产的智能语音交互开源框架，它将语音理解和生成能力进行了协调统一，具备以下功能特点：

• 多语言对话：支持中文、英文、日文等多种语言的对话。
• 情感语调：能够表现出如喜悦、悲伤等不同的情感语调。
• 地方方言：支持粤语、四川话等地方方言。
• 语音速率调节：语音速率可进行调整。
• 韵律风格：支持如说唱（rap）等不同的韵律风格。

2. 关键技术创新

• 1300 亿参数的多模态模型
  • 是一个集成了理解和生成能力的统一模型，能够执行语音识别、语义理解、对话、语音克隆和语音合成等任务。
  • 开源了 1300 亿参数的 Step-Audio-Chat 变体。
• 生成式数据引擎
  • 消除了传统文本转语音（TTS）对人工数据收集的依赖，通过 1300 亿参数的多模态模型生成高质量音频。
  • 利用这些数据训练并公开了资源高效的 Step-Audio-TTS-3B 模型，该模型具有增强的指令跟随能力，可用于可控的语音合成。
• 精细语音控制
  • 通过基于指令的控制设计实现精确调节，支持多种情感（愤怒、喜悦、悲伤等）、方言（粤语、四川话等）和声乐风格（说唱、无伴奏哼唱等），以满足多样化的语音生成需求。
• 增强智能
  • 通过 ToolCall 机制集成和角色扮演增强，提高了智能体在复杂任务中的性能。

3. 模型架构

• 双码本框架：音频流通过双码本框架进行标记化，结合了并行的语义（16.7Hz，1024 个条目的码本）和声学（25Hz，4096 个条目的码本）标记器，并采用 2:3 的时间交错。
• 语言模型：基于 1300 亿参数的预训练文本大语言模型（LLM）Step-1 进行音频持续预训练，以增强 Step-Audio 有效处理语音信息和实现准确语音 - 文本对齐的能力。
• 语音解码器：在将包含语义和声学信息的离散语音标记转换为表示自然语音的连续时域波形方面起着关键作用。解码器架构结合了流匹配模型和梅尔到波形的声码器，并使用双码交错方法进行训练，以优化合成语音的清晰度和自然度。
• 实时推理管道：设计了一个优化的推理管道，核心的 Controller 模块管理状态转换、协调推测性响应生成，并确保关键子系统之间的无缝协调。这些子系统包括用于检测用户语音的语音活动检测（VAD）、用于实时处理音频的流式音频标记器、用于处理和生成响应的 Step-Audio 语言模型和语音解码器，以及用于保持对话连续性的上下文管理器。

仓库结构

该仓库包含以下主要文件夹和文件：

• Dockerfile 和 Dockerfile-vllm：用于构建 Docker 镜像的文件。
• README.md、README_CN.md、README_JP.md：项目的说明文档，包含项目介绍、模型总结、使用方法等信息。
• requirements.txt 和 requirements-vllm.txt：项目的依赖文件，列出了运行项目所需的 Python 包。
• assets：存放项目的资产文件，如图片、PDF 文档等。
• examples：存放示例代码或数据。
• funasr_detach：可能包含与语音相关的功能代码。
• speakers：存放语音相关的提示音频文件和说话人信息。
• cosyvoice：可能包含与语音相关的其他资源。

模型下载和使用

• 模型下载：提供了 Hugging Face 和 Modelscope 两个平台的模型下载链接，包括 Step-Audio-Tokenizer、Step-Audio-Chat 和 Step-Audio-TTS-3B 等模型。
• 模型使用：文档中给出了运行 Step-Audio 模型的要求，如不同模型所需的 GPU 最小内存等信息。

Step-Audio 仓库提供了一个全面且强大的智能语音交互框架，无论是对于研究人员还是开发者来说，都是一个很有价值的开源项目。