# enginex-ascend-910-fe

运行于【昇腾-910】系列算力卡的【特征抽取】引擎，基于 transformer 架构，支持 BGE、jina-clip 等最新流行模型

## Quickstart

### 构建镜像
```bash
docker build -t feature:v0.1 .
```

### 模型下载
模型地址：https://modelscope.cn/models/BAAI/bge-large-zh-v1.5
并放到目录：`/mnt/contest_ceph/zhanghao/models/BAAI/bge-large-zh-v1.5`（如更改目录，请修改后面的执行脚本中的模型路径）

### 测试程序
1. 准备输入数据集，可以参考示例`dataset.json`
2. 在docker镜像里运行测试程序，会根据`dataset.json`内容，计算每个句子的embedding，同时计算所有句子的两两相似度，结果保存在`output.json`。
```bash
./run_in_docker.sh
```

## 测试结果
|      | A100 平均生成时间（秒） | 昇腾910B 平均生成时间（秒） |
|------|-------------------------|----------------------------|
| 时间 | 0.0032                  | 0.0138                     |