51d33cf56d1daf1556517ef71d115389e25731ac
Sage-A1.5 NVIDIA 文本推理镜像
基于 harbor.4pd.io/hardcore-tech/vllm/vllm-openai:v0.25.0-cu129,卸载依赖缺失的可选 TorchCodec 包。模型权重不打包进镜像;本版本不用于验收 TorchCodec 视频解码。
自动构建
推送 v* 标签触发 .gitea/workflows/docker-build-push.yml。工作流沿用 step3p5-vllm-nv,Runner 必须提供 DOCKER_REGISTRY、DOCKER_USERNAME、DOCKER_PASSWORD 和 FIXED_TOKEN;不要将凭据提交到仓库。
任务信息:FRAMEWORK=vllm,GPU_TYPE=Nvidia-H800,TASK_TYPE=text-generation。GPU_TYPE 必须通过平台元数据校验。
实际镜像地址为 ${DOCKER_REGISTRY}/${DOCKER_USERNAME}/zhoushasha/sage-a1.5-nv:<tag>。启动脚本默认按现有 Harbor 命名习惯设置;请以 Actions 构建日志中的 IMAGE 为准,若不同使用 IMAGE 环境变量覆盖。
本地构建和启动
docker build -t sage-a15-vllm:cu129-text-v1 .
IMAGE=sage-a15-vllm:cu129-text-v1 bash run_Sage.sh
发布镜像构建完成后:
bash run_Sage.sh
docker logs -f --tail 100 sage-a15-h100-test
默认模型路径 /mnt/disk0/models/Sage-A1.5,可通过 MODEL 覆盖。使用 GPU 0、1 两张 H100,TP=2、BF16、4096 上下文。需确保卡可用、9099 端口空闲、无同名容器。
curl -sS --max-time 180 http://127.0.0.1:9099/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"Sage-A1.5","messages":[{"role":"user","content":"你好,请用一句话介绍自己。"}],"max_completion_tokens":512,"temperature":0}'
验证状态
源环境为 575.57.08 驱动、H100。卸载 TorchCodec 后服务模块可进入模型架构解析;显式映射 UVM 两个设备后,两卡 CUDA 初始化和基础计算通过。完整模型生成结果尚待验证,CI 构建成功不等于模型验收通过。
Languages
Shell
79.8%
Dockerfile
20.2%