Document the published CI image and its docker run commands

This commit is contained in:
2026-10-28 13:34:58 +08:00
parent 024cd60465
commit d2624682ca

View File

@@ -342,16 +342,86 @@ GPUS=0,1,2,3,4,5 ./run.sh .../GEV-26B-Decide # 警告:只用其中 2 张
git tag v0.1.0 && git push origin v0.1.0 git tag v0.1.0 && git push origin v0.1.0
``` ```
已发布:`v0.1.0`(CI run #1 成功)。
- 只有推送 `v*` 标签才触发; - 只有推送 `v*` 标签才触发;
- runner label:`amd64-ubuntu-24.04`,需要 `DOCKER_*` / `FIXED_TOKEN`; - runner label:`amd64-ubuntu-24.04`,需要 `DOCKER_*` / `FIXED_TOKEN`;
- `task_info.env`:`FRAMEWORK=vllm_gemma_4`(必须独特,不要用泛化的 `vllm`); - `task_info.env`:`FRAMEWORK=vllm_gemma_4`(必须独特,不要用泛化的 `vllm`);
- CI 被取消后**不要复用标签**,直接 bump patch; - CI 被取消后**不要复用标签**,直接 bump patch;
- CI 构建 vLLM 基础镜像较久,本次预计 1.5 小时量级,别着急。 - CI 构建 vLLM 基础镜像较久,首次推送约 1.5 小时量级;后续改动若层缓存命中会快很多(本次 71 秒)。
CI 产物通用,不会自动启动,用 `run.sh` 指定 entrypoint: ### 11.1 已发布的 CI 镜像
| 标签 | Digest | 压缩大小 | 推送时间 |
|---|---|---:|---|
| `v0.1.0` | `sha256:0f6eb25cc2a536529368ac32e0b622f5e4da84c90d63ccf036752c587e45c6c9` | 10.39 GiB | 2026-10-27 06:01 UTC |
```text
harbor.4pd.io/modelhubxc/xiejiahao/gemma4-bi150:v0.1.0
```
拉取(需要 Harbor 凭据 `DOCKER_USERNAME` / `DOCKER_PASSWORD`):
```bash ```bash
BUILD=0 IMAGE=<ci-image> ./run.sh /mnt/disk0/models/google/gemma-4-31B-it docker login harbor.4pd.io -u modelhubxc
docker pull harbor.4pd.io/modelhubxc/xiejiahao/gemma4-bi150:v0.1.0
```
CI 的 `naming to` 行与本表 digest 一致,可作为复核依据。
### 11.2 用 CI 镜像启动服务
镜像不声明 `ENTRYPOINT`,`--entrypoint` 必须显式给。以下命令可直接粘贴。
**Gemma-4-31B-it(TP4,4 卡,8095)**
```bash
docker run -d --name gemma4-31b \
--entrypoint /usr/local/bin/gemma4-entrypoint.sh \
--workdir /opt/gemma4 \
--privileged --pid host --network host --ipc host \
-v /dev:/dev \
-v /mnt/disk0/models/google/gemma-4-31B-it:/models/gemma4:ro \
--ulimit memlock=-1 --ulimit stack=67108864 \
-e CUDA_VISIBLE_DEVICES=15,14,13,12 \
-e MODEL_PATH=/models/gemma4 \
-e AUTO_DETECT=1 \
-e PYTHONUNBUFFERED=1 \
--restart unless-stopped \
harbor.4pd.io/modelhubxc/xiejiahao/gemma4-bi150:v0.1.0
```
**GEV-26B-Decide(TP2,2 卡,8094)**
```bash
docker run -d --name gev-26b-decide \
--entrypoint /usr/local/bin/gemma4-entrypoint.sh \
--workdir /opt/gemma4 \
--privileged --pid host --network host --ipc host \
-v /dev:/dev \
-v /mnt/disk0/models/autotrust/GEV-26B-Decide:/models/gemma4:ro \
--ulimit memlock=-1 --ulimit stack=67108864 \
-e CUDA_VISIBLE_DEVICES=14,15 \
-e MODEL_PATH=/models/gemma4 \
-e AUTO_DETECT=1 \
-e PYTHONUNBUFFERED=1 \
--restart unless-stopped \
harbor.4pd.io/modelhubxc/xiejiahao/gemma4-bi150:v0.1.0
```
两个变体共用挂载点 `/models/gemma4`,靠 `config.json` 区分;TP / 端口 / eager / 显存 / 并发数都不用传,入口脚本会自动判定(见第 3 节)。
需要覆盖时加同名 `-e`,例如 `-e MAX_MODEL_LEN=16384`、`-e PORT=24396`。
**注意**:`--network host` 下不要写 `-p`,端口映射会被丢弃;要换对外端口就传 `-e PORT=<port>`。
### 11.3 用 run.sh 启动 CI 镜像
```bash
BUILD=0 IMAGE=harbor.4pd.io/modelhubxc/xiejiahao/gemma4-bi150:v0.1.0 \
./run.sh /mnt/disk0/models/google/gemma-4-31B-it
./verify.sh --model-dir /mnt/disk0/models/google/gemma-4-31B-it
``` ```
--- ---
@@ -389,3 +459,5 @@ BUILD=0 IMAGE=<ci-image> ./run.sh /mnt/disk0/models/google/gemma-4-31B-it
| 日期 | 变更 | | 日期 | 变更 |
|---|---| |---|---|
| 2026-10-27 | 由 `gemma4-31b-deploy` + `gev-26b-decide-deploy` 合并为本目录;新增 `detect_model.py`、`verify.sh`、`.gitea`;Dockerfile 去掉 ENV/EXPOSE/ENTRYPOINT;新增 TP 可行性校验和 `GEMMA4_SKIP_TP_CHECK` | | 2026-10-27 | 由 `gemma4-31b-deploy` + `gev-26b-decide-deploy` 合并为本目录;新增 `detect_model.py`、`verify.sh`、`.gitea`;Dockerfile 去掉 ENV/EXPOSE/ENTRYPOINT;新增 TP 可行性校验和 `GEMMA4_SKIP_TP_CHECK` |
| 2026-10-27 | CI `v0.1.0` 发布成功(digest `0f6eb25c…`,10.39 GiB) |
| 2026-10-28 | 补录 CI 镜像 digest 与 Gemma-4-31B / GEV 的完整 `docker run` 命令(§11.1–11.3) |