enginex-ascend-910-fe/README.md

enginex-ascend-910-fe

运行于【昇腾-910】系列算力卡的【特征抽取】引擎，基于 transformer 架构，支持 BGE、jina-clip 等最新流行模型

Quickstart

构建镜像

docker build -t feature:v0.1 .

模型下载

模型地址：https://modelscope.cn/models/BAAI/bge-large-zh-v1.5 并放到目录：/mnt/contest_ceph/zhanghao/models/BAAI/bge-large-zh-v1.5（如更改目录，请修改后面的执行脚本中的模型路径）

测试程序

1. 准备输入数据集，可以参考示例dataset.json
2. 在docker镜像里运行测试程序，会根据dataset.json内容，计算每个句子的embedding，同时计算所有句子的两两相似度，结果保存在output.json。

./run_in_docker.sh

测试结果

	A100 平均生成时间（秒）	昇腾910B 平均生成时间（秒）
时间	0.0032	0.0138