VoxCPM2 上手指南3 步生成第一句语音还能克隆任意声音【免费下载链接】VoxCPMVoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning项目地址: https://gitcode.com/GitHub_Trending/vo/VoxCPM想不想在本地跑一个 VoxCPM TTS 引擎把一句中文直接变成 48kHz 的多语言自然语音装好之后你还能只靠几秒钟的录音克隆一个人的音色或者用一句自然语言描述年轻女声温柔甜美来凭空设计一个全新声音。整个流程不需要任何 API Key模型权重基于 Apache-2.0 协议可以免费商用。动手前的环境自检先花 10 秒确认下面的前置条件。GPU 推荐而非必须——没有显卡也能在 CPU 上跑只是会慢一些Apple 芯片 Mac 会自动走 MPS。项目要求操作系统Linux / macOS / WindowsPython≥ 3.10且 3.13PyTorch≥ 2.5.0随 pip 依赖自动安装CUDA≥ 12.0NVIDIA GPU 才需要显存VoxCPM2 约 8 GB旧版 0.5B 约 5 GB网络首次运行需联网下载模型权重约几个 GB最快路径一条 pip 命令装完 VoxCPM推荐直接走 PyPI这是最短的一条路pip install voxcpm验证安装是否成功python -c import voxcpm; print(ok) voxcpm --help看到ok和命令帮助信息就可以继续了。如果你需要跟踪最新开发版也可以从源码安装git clone https://gitcode.com/GitHub_Trending/vo/VoxCPM后进入目录执行pip install .。第一次产出6 行代码生成第一个 WAV下面的片段是最小可运行示例加载最新的 VoxCPM2 模型合成一句话保存成文件。首次运行会自动下载权重耐心等进度条走完。from voxcpm import VoxCPM import soundfile as sf model VoxCPM.from_pretrained(openbmb/VoxCPM2, load_denoiserFalse) wav model.generate( textVoxCPM2 是目前推荐使用的多语言语音合成版本。, cfg_value2.0, inference_timesteps10, seed42, ) sf.write(demo.wav, wav, model.tts_model.sample_rate)运行完去听demo.wav——恭喜你已经拥有第一个 VoxCPM 语音文件了。几个注意点文本直接输入原始内容即可不需要语言标签中英日韩等 30 种语言都支持还覆盖粤语、四川话、东北话等 9 种中文方言如果from_pretrained拉取权重失败多半是网络问题。可以在命令行先跑pip install modelscope然后用snapshot_download把权重预下载到本地目录再把本地路径传给from_pretrained写法见 README_zh.md。用过之后再看原理VoxCPM 为什么听起来不机械先说结论它没有把音频切成一个个离散音素块再拼回去。传统 TTS 常见做法是先用分词器tokenizer把音频编码成离散 token让语言模型像写文章一样写出一串 token再解码回波形。量化这一步会不可避免地丢细节——这也是机械感的来源之一。VoxCPM 的路线叫Tokenizer-Free全程在连续隐空间里建模从文本一路走到连续语音表征中间不做离散化。从这张架构图可以读出它的分工像一条接力生产线Text-Semantic LM文本语义语言模型负责理解根据文本内容和上下文决定该怎么读、什么节奏、什么情绪并通过 FSQ 约束隐式解耦语义信息Residual Acoustic LM残差声学语言模型负责发声在语义规划之上补齐音色、气息、强弱这些声学细节LocDiT 模块用流匹配从噪声中还原出自然波形由 AudioVAE 解码输出VoxCPM2 原生输出 48kHz 音频。VoxCPM2 基于 MiniCPM-4 骨干约 2B 参数在 200 万小时多语种音频上训练。RTX 4090 上实时率RTF约 0.3即 1 秒音频约 0.3 秒就能生成完配合推理引擎加速还能压到 0.13 左右。调参实战按症状对症下药VoxCPM 合成时最常用的两个参数是cfg_value默认 2.0和inference_timesteps默认 10。不用死记含义直接对照你的症状调你遇到的问题怎么调声音发紧、发僵听着不放松cfg_value从 2.0 降到 1.0–1.5漏读、节奏不对、不听提示cfg_value提到 3.0 左右让模型更严格遵循输入想快速出稿试效果inference_timesteps降到 4–6换种子多试几次交付级音质inference_timesteps提到 15–20需要可复现的结果对比实验、回归测试固定seed例如seed42两个经验值官方推荐区间是cfg_value0.1–10.01.0–3.0 最常见、inference_timesteps1–1004–30 常用命令行参数校验里就写明了。另外音色设计和可控克隆这类任务对随机性比较敏感同一段描述生成 1–3 次、挑最好的一条是官方自己也在用的做法。进阶玩法命令行、Web 界面与声音克隆命令行。安装后自带voxcpm子命令适合写脚本和批处理# 音色设计括号里用自然语言描述音色 voxcpm design --text VoxCPM2带来全新语音合成体验。 \ --control 年轻女声温暖温柔略带微笑 \ --output out.wav # 声音克隆上传参考音频 voxcpm clone --text 这是一个声音克隆的演示。 \ --reference-audio path/to/voice.wav --output clone.wav # 批处理逐行读取文本文件 voxcpm batch --input examples/input.txt --output-dir outs需要词级/字级时间戳做字幕、发音标注时装pip install voxcpm[timestamps]后在命令上加--timestamps即可。Web 界面。不写代码就是一条命令的事python app.py --port 8808浏览器打开http://localhost:8808在界面上粘贴文本、上传参考音频即可试听。没有显卡或想在 Mac 上用 MPS加--device auto会自动选择设备。LoRA 微调。如果你有 5–10 分钟某位说话人的录音可以训一个 LoRA 适配器让模型更贴合该说话人的音色配置见 conf/voxcpm_v2/训练脚本入口在 scripts/train_voxcpm_finetune.py还有配套的网页版训练界面 lora_ft_webui.py。延伸阅读README_zh.md完整功能、性能评测与部署方案src/voxcpm/核心推理代码core.py是VoxCPM类入口src/voxcpm/cli.py命令行参数定义examples/train_data_example.jsonl微调数据格式示例examples/reference_speaker.wav官方示例参考音频可直接用于克隆测试下一步给自己做个小挑战录一段 10 秒左右的自己的语音安静环境、正常语速用上面的voxcpm clone或 Python API 克隆它换 3 个不同的seed各生成一次盲听挑出最像的一条。如果能稳定挑出像自己的结果就可以继续用 lora_ft_webui.py 拿 5–10 分钟录音训一个专属 LoRA——那时候克隆的相似度会再上一个台阶。【免费下载链接】VoxCPMVoxCPM2: Tokenizer-Free TTS for Multilingual Speech Generation, Creative Voice Design, and True-to-Life Cloning项目地址: https://gitcode.com/GitHub_Trending/vo/VoxCPM创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考