enginex-bi_150-question-answering/README.md

天数智芯 天垓150 文本问答

镜像构造

docker build -f ./Dockerfile.qa_bi150 -t <your_image> .

其中，基础镜像 corex:4.3.8 通过联系天数智芯智铠100厂商技术支持可获取

使用说明

使用 FastAPI 启动文本问答的服务：

例如：

docker run -dit -v /usr/src:/usr/src -v /lib/modules:/lib/modules --device=/dev/iluvatar0:/dev/iluvatar0 \
    -v /mnt/contest_ceph/leaderboard/modelHubXC/csarron/bert-base-uncased-squad-v1:/model \
    --network=host -e CONFIG_JSON='{
        "torch_dtype": "auto",
        "handle_impossible_answer": false,
        "score_threshold": 0.0,
        "max_answer_len": 30,
        "max_seq_len": 384,
        "doc_stride": 128
    }' \
    --entrypoint=python3 <your_image> \
    main_qa.py --model_dir /model --port 1111

具体参数代码设定可参考代码文件

测试服务

curl -X POST http://localhost:1111/qa \
  -H "Content-Type: application/json" \
  -d '{
    "context": "The capital city of China is Beijing",
    "question": "What is the capital city of China?"
  }'