VibeVoice

一、工具简介 VibeVoice是微软开源的语音AI项目，包含文本转语音（TTS）和语音识别（ASR）两大模块，支持多语言实时语音合成和长达60分钟的音频转录。 二、快速开始 1. 前往GitHub搜索microsoft/VibeVoice项目，克隆仓库到本地：git clone https://github.com/microsoft/VibeVoice.git。 2. 进入项目目录安装依赖：cd VibeVoice && pip install -r requirements.txt，建议使用Python 3.10以上版本和虚拟环境。 3. 安装完成后下载预训练模型，项目会自动从Hugging Face拉取所需模型权重文件。 4. 运行示例脚本验证安装：python demo_tts.py --text 你好世界 --output hello.wav，如果生成了音频文件说明环境配置成功。 三、核心功能演示 功能1：文本转语音合成 使用命令行工具将文本转为语音：python tts_cli.py --text 今天天气真不错 --voice female_01 --language zh --output weather.wav。支持选择不同音色和语言，还可调整语速和语调参数。 功能2：实时流式语音合成 调用流式API可以在文本输入的同时实时输出语音，适合对话场景。通过streaming_tts.py示例脚本，输入一段文字后音频会逐句生成播放，延迟极低，体验接近真人对话。 功能3：长音频语音识别 使用ASR模块转录长音频文件：python asr_cli.py --input meeting_recording.wav --output transcript.json --language zh。输出的JSON文件包含每句话的时间戳、说话人标识和文字内容，方便后续整理和检索。 四、实际使用案例 场景1：会议记录自动化——将会议录音导入ASR模块，自动识别不同发言人并生成带时间戳的文字记录，大幅节省人工整理时间。 场景2：有声内容制作——将文章或电子书文本通过TTS模块批量转换为语音文件，制作播客或有声读物，支持多种音色让内容更生动。 五、常见问题FAQ Q1：支持哪些语言？A：TTS和ASR模块均支持50多种语言，中文、英文、日文等主流语言效果最佳。 Q2：0.5B轻量模型效果如何？A：轻量模型适合实时场景，质量略低于完整模型，但对日常对话和简单文本已经足够好。 Q3：能否在服务器上部署为API服务？A：可以，项目提供了FastAPI接口示例，可以轻松部署为HTTP服务供其他应用调用。 六、小贴士 1. 选择合适的模型——实时对话场景用0.5B轻量模型，追求质量用完整模型，根据需求权衡速度和效果。 2. 预处理文本——输入文本时适当添加标点符号和分段，可以让语音合成的停顿和语调更自然。 3. 利用说话人识别——ASR模块的说话人分离功能很实用，转录多人对话时记得启用此选项。