zhoushasha/xc_validation_strategy
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity

submit 12 models on ppu_zw_810e for zhoushasha

Browse Source
This commit is contained in:
zhousha
2026-10-09 18:28:59 +08:00
parent a3d9109764
commit b90510acc7
2 changed files with 21 additions and 10 deletions
Download Patch File Download Diff File Expand all files Collapse all files

8
README.md
View File

@@ -2,12 +2,12 @@
批量向 ModelHub XC 平台提交模型验证任务的策略服务，之后保持 HTTP 服务存活供平台探活。 批量向 ModelHub XC 平台提交模型验证任务的策略服务，之后保持 HTTP 服务存活供平台探活。
当前批次使用 2026-09-24 的成功下载模型清单，经非量化过滤后，要求目标 GPU 无验证记录、至少一张其他 GPU 的状态为「已验证」。仅提交 `ppu_zw_810e` 的 17 个模型和 `hygon_k100-ai` 的 321 个模型，共 338 个任务；上一批模型不会重复提交。 当前批次仅向 `zhoushasha` 账号提交 `main.py` 中列出的 12 个模型，每个模型只提交 `ppu_zw_810e` 一张卡，共 12 个任务。
## 功能 ## 功能
- 使用 `AUTH_TOKEN` 环境变量（未提供时使用 `main.py` 中的预设 Bearer Token）向 `zhoushasha` 账号提交任务 - 使用 `AUTH_TOKEN` 环境变量（未提供时使用 `main.py` 中的预设 Bearer Token）向 `zhoushasha` 账号提交任务
- 分 GPU 读取 `model_ids/` 中的模型清单，批量提交 vLLM 验证任务 - 从 `main.py` 的 `PPU_MODELS` 读取本批次模型，批量提交验证任务
- 账号额度暂满时，每 30 分钟重试尚未提交的模型 - 账号额度暂满时，每 30 分钟重试尚未提交的模型
- 提交结果写入 `submitted_validation_tasks.txt` - 提交结果写入 `submitted_validation_tasks.txt`
- 暴露 `/health` 和 `/status` 接口满足平台运行时契约 - 暴露 `/health` 和 `/status` 接口满足平台运行时契约
@@ -17,7 +17,7 @@
``` ```
. .
├── main.py # 主入口：HTTP 服务 + 提交逻辑 ├── main.py # 主入口：HTTP 服务 + 提交逻辑
├── model_ids/ # 本批次两张 GPU 的模型 ID 清单 ├── model_ids/ # 历史批次模型 ID 清单，本轮未使用
├── Dockerfile # 平台镜像构建配置 ├── Dockerfile # 平台镜像构建配置
├── requirements.txt # Python 依赖 ├── requirements.txt # Python 依赖
└── submitted_validation_tasks.txt # 运行后自动生成，记录提交结果 └── submitted_validation_tasks.txt # 运行后自动生成，记录提交结果
@@ -32,4 +32,4 @@
- 通过环境变量 `STRATEGY_ID` 获取策略 ID - 通过环境变量 `STRATEGY_ID` 获取策略 ID
- 正确处理 `SIGTERM` 信号，支持优雅停机 - 正确处理 `SIGTERM` 信号，支持优雅停机
预设 Bearer Token 于 2026-10-01 22:13（北京时间）到期；届时如需再次运行，应更新 `AUTH_TOKEN`。 运行前应确认 `AUTH_TOKEN` 有效；若未设置环境变量，则使用 `main.py` 中的预设 Bearer Token。

23
main.py
View File

@@ -2,7 +2,7 @@
xc_validation_strategy — 主入口 xc_validation_strategy — 主入口
启动后针对 GPU_JOBS 中配置的 GPU 卡分别批量提交各自筛选出的模型验证任务。 启动后针对 GPU_JOBS 中配置的 GPU 卡分别批量提交各自筛选出的模型验证任务。
本轮仅提交 ppu_zw_810e 和 hygon_k100-ai 的 2026-09-24 非量化候选清单； 本轮仅向 zhoushasha 提交指定的 12 个模型在 ppu_zw_810e 上的验证任务；
其他 GPU 的 config_content 模板仍保留，但未列入 GPU_JOBS。 其他 GPU 的 config_content 模板仍保留，但未列入 GPU_JOBS。
（/adminApi/async/task/create-contest-task， （/adminApi/async/task/create-contest-task，
Bearer Token 认证），之后保持 HTTP 服务存活。 Bearer Token 认证），之后保持 HTTP 服务存活。
@@ -34,7 +34,7 @@ BASE_URL = os.environ.get("BASE_URL", "https://modelhub.org.cn")
SUBMIT_ENDPOINT = "/adminApi/async/task/create-contest-task" SUBMIT_ENDPOINT = "/adminApi/async/task/create-contest-task"
# 通过 curl -X POST https://modelhub.org.cn/adminApi/user/login 获取后填入 # 通过 curl -X POST https://modelhub.org.cn/adminApi/user/login 获取后填入
AUTH_TOKEN = os.environ.get("AUTH_TOKEN", "eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1c2VyQWNjb3VudCI6Inpob3VzaGFzaGEiLCJpZCI6MTQsInVzZXJSb2xlIjoibGVhZGVyYm9hcmQiLCJleHAiOjE3OTA4NjQwMDMsImlhdCI6MTc5MDI1OTIwM30.T23Tp3xcI8kkKIOwRCXmZlpe3Qo3sOIxZ8n6NbzJJ2M") AUTH_TOKEN = os.environ.get("AUTH_TOKEN", "eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJ1c2VyQWNjb3VudCI6Inpob3VzaGFzaGEiLCJpZCI6MTQsInVzZXJSb2xlIjoibGVhZGVyYm9hcmQiLCJleHAiOjE3OTIxNDY1MDgsImlhdCI6MTc5MTU0MTcwOH0.bSjmiEg9zcV_wizvak1MUI_XD_PWjXNQ2390JZRqJsU")
CONTEST_API_TOKEN = "ef1ef82f3c9efee413d602345fbe224d" CONTEST_API_TOKEN = "ef1ef82f3c9efee413d602345fbe224d"
CONTRIBUTORS = "zhoushasha" CONTRIBUTORS = "zhoushasha"
TASK_TYPE = "text-generation" TASK_TYPE = "text-generation"
@@ -76,13 +76,24 @@ HYGON_MODELS = load_model_ids("hygon_k100-ai_2026-09-24.txt")
KUNLUNXIN_MODELS = [ KUNLUNXIN_MODELS = [
] ]
PPU_MODELS = load_model_ids("ppu_zw_810e_2026-09-24.txt") PPU_MODELS = [
"raalr/Qwen2.5-1.5-uld-gemma-27b-3",
"gemasphi/real-setfit-ss-distiluse-base-multilingual-cased-v2",
"intfloat/e5-small",
"Nhat1904/32-shot-twitter-2classes-head-body",
"Nhat1904/16-shot-twitter-2classes-head-body",
"Nhat1904/16-shot-twitter-2classes-new-1",
"Nhat1904/16-shot-twitter-2classes-new",
"Nhat1904/16-shot-twitter-2classes",
"Nhat1904/32-shot-twitter-10epochs",
"Nhat1904/32-shot-twitter",
"Nhat1904/16-shot-twitter",
"kulibinai/cadreasoner",
]
# 本轮提交：2026-09-24 已成功下载、非量化、目标卡无验证记录，且其他卡至少一张「已验证」的模型。 # 本轮仅提交用户指定的 12 个模型，每个模型只提交 ppu_zw_810e。
# 仅 ppu_zw_810e(17) 和 hygon_k100-ai(321)，共 338 个；不重复提交上一轮的 24 个任务。
GPU_JOBS: List[Tuple[str, List[str]]] = [ GPU_JOBS: List[Tuple[str, List[str]]] = [
("ppu_zw_810e", PPU_MODELS), ("ppu_zw_810e", PPU_MODELS),
("hygon_k100-ai", HYGON_MODELS),
] ]
TOTAL_MODELS = sum(len(models) for _, models in GPU_JOBS) TOTAL_MODELS = sum(len(models) for _, models in GPU_JOBS)