28 lines
1004 B
Markdown
28 lines
1004 B
Markdown
# enginex-ascend-910-fe
|
||
|
||
运行于【昇腾-910】系列算力卡的【特征抽取】引擎，基于 transformer 架构，支持 BGE、jina-clip 等最新流行模型
|
||
|
||
## Quickstart
|
||
|
||
### 构建镜像
|
||
```bash
|
||
docker build -t feature:v0.1 .
|
||
```
|
||
|
||
### 模型下载
|
||
模型地址：https://modelscope.cn/models/BAAI/bge-large-zh-v1.5
|
||
并放到目录：`/mnt/contest_ceph/zhanghao/models/BAAI/bge-large-zh-v1.5`（如更改目录，请修改后面的执行脚本中的模型路径）
|
||
|
||
### 测试程序
|
||
1. 准备输入数据集，可以参考示例`dataset.json`
|
||
2. 在docker镜像里运行测试程序，会根据`dataset.json`内容，计算每个句子的embedding，同时计算所有句子的两两相似度，结果保存在`output.json`。
|
||
```bash
|
||
./run_in_docker.sh
|
||
```
|
||
|
||
## 测试结果
|
||
| | A100 平均生成时间（秒） | 昇腾910B 平均生成时间（秒） |
|
||
|------|-------------------------|----------------------------|
|
||
| 时间 | 0.0032 | 0.0138 |
|
||
|