2025-09-03 16:41:22 +08:00
|
|
|
|
# enginex-ascend-910-fe
|
|
|
|
|
|
|
2025-09-08 18:17:57 +08:00
|
|
|
|
运行于【昇腾-910】系列算力卡的【特征抽取】引擎，基于 transformer 架构，支持 BGE、jina-clip 等最新流行模型
|
|
|
|
|
|
|
2025-09-08 18:13:58 +08:00
|
|
|
|
## Quickstart
|
|
|
|
|
|
|
|
|
|
|
|
### 构建镜像
|
|
|
|
|
|
```bash
|
|
|
|
|
|
docker build -t feature:v0.1 .
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
### 模型下载
|
|
|
|
|
|
模型地址：https://modelscope.cn/models/BAAI/bge-large-zh-v1.5
|
|
|
|
|
|
并放到目录：`/mnt/contest_ceph/zhanghao/models/BAAI/bge-large-zh-v1.5`（如更改目录，请修改后面的执行脚本中的模型路径）
|
|
|
|
|
|
|
|
|
|
|
|
### 测试程序
|
|
|
|
|
|
1. 准备输入数据集，可以参考示例`dataset.json`
|
|
|
|
|
|
2. 在docker镜像里运行测试程序，会根据`dataset.json`内容，计算每个句子的embedding，同时计算所有句子的两两相似度，结果保存在`output.json`。
|
|
|
|
|
|
```bash
|
|
|
|
|
|
./run_in_docker.sh
|
|
|
|
|
|
```
|
|
|
|
|
|
|
|
|
|
|
|
## 测试结果
|
|
|
|
|
|
| | A100 平均生成时间（秒） | 昇腾910B 平均生成时间（秒） |
|
|
|
|
|
|
|------|-------------------------|----------------------------|
|
|
|
|
|
|
| 时间 | 0.0032 | 0.0138 |
|
|
|
|
|
|
|
