update README
This commit is contained in:
18
README.md
18
README.md
@@ -6,7 +6,7 @@ GPT-SoVITS 模型是一个集成了语音转换和文本转语音功能的先进
|
|||||||
Kokoro 是由 hexgrad 团队开发并开源的轻量级、高性能文本转语音(TTS)模型。
|
Kokoro 是由 hexgrad 团队开发并开源的轻量级、高性能文本转语音(TTS)模型。
|
||||||
F5-TTS 模型由上海交通大学团队发布,是基于扩散 Transformer 和 ConvNeXt V2 的文本转语音(TTS)模型。
|
F5-TTS 模型由上海交通大学团队发布,是基于扩散 Transformer 和 ConvNeXt V2 的文本转语音(TTS)模型。
|
||||||
|
|
||||||
## GPT-SoVITS 模型测试服务原理
|
<!-- ## GPT-SoVITS 模型测试服务原理
|
||||||
|
|
||||||
使用 GPT-SoVITS 框架内置的类 TTS 和 TTS_Config。
|
使用 GPT-SoVITS 框架内置的类 TTS 和 TTS_Config。
|
||||||
其中 TTS_Config 封装了 GPT-SoVITS 模型运行所需的全部配置参数;TTS 类是 GPT-SoVITS 模型的高层封装,整合了模型加载、文本处理、语音生成等全流程逻辑。
|
其中 TTS_Config 封装了 GPT-SoVITS 模型运行所需的全部配置参数;TTS 类是 GPT-SoVITS 模型的高层封装,整合了模型加载、文本处理、语音生成等全流程逻辑。
|
||||||
@@ -107,16 +107,18 @@ if response.status_code == 200:
|
|||||||
print("音频保存成功:output.pcm")
|
print("音频保存成功:output.pcm")
|
||||||
else:
|
else:
|
||||||
print(f"请求失败:{response.status_code},{response.text}")
|
print(f"请求失败:{response.status_code},{response.text}")
|
||||||
```
|
``` -->
|
||||||
|
|
||||||
## 如何使用语音合成模型测试框架
|
## 如何使用语音合成模型测试框架
|
||||||
代码实现了一个接收音频数据并返回识别文本的语音识别 HTTP 服务,并基于 corex:3.2.1 基础镜像,将该 HTTP 服务重新打包成 docker 镜像,通过 k8s 集群sut容器去请求这个 HTTP 服务。
|
代码实现了一个接收音频数据并返回识别文本的语音识别 HTTP 服务,将该 HTTP 服务重新打包成 docker 镜像,通过 k8s 集群sut容器去请求这个 HTTP 服务。
|
||||||
|
|
||||||
## 寒武纪MLU370系列上语音合成模型运行测试结果
|
## 寒武纪MLU370系列上语音合成模型运行测试结果
|
||||||
在寒武纪MLU370系列上对部分语音合成模型进行适配,测试方式为在 Nvidia A100 和 寒武纪MLU370系列加速卡上对同一段text进行语音合成任务,获取运行时间
|
在寒武纪MLU370系列上对部分语音合成模型进行适配,测试方式为在 Nvidia A100 和 寒武纪MLU370系列加速卡上对同一段text进行语音合成任务,获取运行时间
|
||||||
|
|
||||||
| 模型名称 | 模型类型 | 适配状态 | 天垓100运行时间/s | Nvidia A100运行时间/s |
|
| 模型名称 | 模型类型 | 适配状态 | 寒武纪MLU370-X8运行时间/s | 寒武纪MLU370-X4运行时间/s | Nvidia A100运行时间/s |
|
||||||
| ---------- | ---------------------- | -------- | ----------------- | --------------------- |
|
| ---------- | ---------------------- | -------- | ----------------- | --------------------- | --------------------- |
|
||||||
| kokoro | StyleTTS 2, ISTFTNet | 成功 | 0.2 | 0.1 |
|
| kokoro | StyleTTS 2, ISTFTNet | 成功 | 2.5 | 2.2 | 5.4 |
|
||||||
| f5-TTS | DiT, ConvNeXt V2 | 成功 | 0.5 | 0.2 |
|
| f5-TTS | DiT, ConvNeXt V2 | 成功 | 39.1 | 32.1 | 5.4 |
|
||||||
| gpt-sovits | VITS | 成功 | 0.9 | 0.4 |
|
| gpt-sovits | VITS | 成功 | 28.8 | 27.2 | 20.5 |
|
||||||
|
| matcha | OT-CFM, Transformer | 成功 | 2.5 | 2.1 | 3.1 |
|
||||||
|
| piper | - | 成功 | 0.8 | 0.7 | 1.9 |
|
||||||
|
|||||||
@@ -15,8 +15,8 @@ docker build -t tts:f5 . -f Dockerfile_f5
|
|||||||
```bash
|
```bash
|
||||||
docker run -it --rm \
|
docker run -it --rm \
|
||||||
-v /models/F5-TTS_Emilia-ZH-EN:/mnt/models \
|
-v /models/F5-TTS_Emilia-ZH-EN:/mnt/models \
|
||||||
-v /dev:/dev \
|
--device=/dev/cambricon_dev0:/dev/cambricon_dev0 \
|
||||||
--device=/dev/iluvatar0:/dev/iluvatar0 \
|
--device=/dev/cambricon_ctl:/dev/cambricon_ctl \
|
||||||
-p 8080:80 \
|
-p 8080:80 \
|
||||||
-e MODEL_DIR=/mnt/models \
|
-e MODEL_DIR=/mnt/models \
|
||||||
-e MODEL_NAME=model_1250000.safetensors \
|
-e MODEL_NAME=model_1250000.safetensors \
|
||||||
@@ -27,7 +27,7 @@ docker run -it --rm \
|
|||||||
- `MODEL_DIR`:模型所在目录(挂载到容器内 `/mnt/models`)
|
- `MODEL_DIR`:模型所在目录(挂载到容器内 `/mnt/models`)
|
||||||
- `MODEL_NAME`:加载的模型文件名(通常为 `.safetensors`)
|
- `MODEL_NAME`:加载的模型文件名(通常为 `.safetensors`)
|
||||||
- `-p 8080:80`:将容器内服务端口映射到宿主机 `8080`
|
- `-p 8080:80`:将容器内服务端口映射到宿主机 `8080`
|
||||||
- `--device=/dev/iluvatar0:/dev/iluvatar0`:指定推理设备(如 GPU/加速卡)
|
|
||||||
|
|
||||||
### 3. 测试服务
|
### 3. 测试服务
|
||||||
```bash
|
```bash
|
||||||
Some files were not shown because too many files have changed in this diff Show More
Reference in New Issue
Block a user