# 天数智芯 天垓100 FunASR ## 镜像构造 ```shell docker build -f ./Dockerfile.funasr-bi100 -t . ``` 其中,基础镜像 corex:3.2.1 通过联系天数智芯天垓100厂商技术支持可获取 ## 使用说明 ### 快速镜像测试 对funasr的测试需要在以上构造好的镜像容器内测试,测试步骤 1. 本项目中附带上了示例测试数据,音频文件为`lei-jun-test.wav`,音频的识别准确内容文件为`lei-jun.txt`,用户需要准备好相应的ASR模型路径,本例中假设我们已经下载好了SenseVoiceSmall模型存放于/model/SenseVoiceSmall 2. 在本项目路径下执行以下快速测试命令 ```shell docker run -it \ -v /usr/src:/usr/src \ -v /lib/modules:/lib/modules -v /dev:/dev \ -v $PWD:/tmp/workspace \ -v /model:/model \ --device=/dev/iluvatar0:/dev/iluvatar0 \ -e MODEL_DIR=/model/SenseVoiceSmall \ -e TEST_FILE=lei-jun-test.wav \ -e ANSWER_FILE=lei-jun.txt \ -e RESULT_FILE=result.json \ --cpus=4 --memory=16g \ ``` 上述测试指令成功运行将会在terminal中看到对测试音频的识别结果,运行时间以及1-cer效果指标,并且当前文件下会生成一个`result.json`文件记录刚才的测试结果 ### 定制化手动运行 用户可使用类似上述的docker run指令以交互形式进入镜像中,主要的测试代码为`test_funasr.py`,用户可自行修改代码中需要测试的模型路径、测试文件路径以及调用funASR逻辑 ## 天垓100模型适配情况 我们在天垓100上针对funASR部分进行了所有大类的适配,测试方式为在Nvidia A100环境下和天垓100加速卡上对同一段长音频进行语音识别任务,获取运行时间,1-cer指标。运行时都只使用一张显卡 | 模型大类 | 模型地址 |A100运行时间(秒)|天垓100运行时间(秒)|A100 1-cer|天垓100 1-cer| 备注 | |------|---------------|-----|----|-------|-------|---------------------| | sense_voice | https://www.modelscope.cn/models/iic/SenseVoiceSmall | 1.3301 | 1.7165 | 0.980033 | 0.980033 | | | whisper | https://www.modelscope.cn/models/iic/Whisper-large-v3 | 21.5233 | 46.5597 | 0.910150 | 0.910150 | 该部分的调用代码有特殊处理 | | paraformer | https://modelscope.cn/models/iic/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch | 4.5728 | 6.8115 | 0.955075 | 0.955075 | | | conformer | https://www.modelscope.cn/models/iic/speech_conformer_asr_nat-zh-cn-16k-aishell2-vocab5212-pytorch | 87.0966 | 130.8675 | 0.346090 | 0.346090 | | | uni_asr | https://www.modelscope.cn/models/iic/speech_UniASR-large_asr_2pass-zh-cn-16k-common-vocab8358-tensorflow1-offline | 80.6013 | 113.1152 | 0.717138 | 0.717138 | 该部分的适配修改了一些funASR源码 |