Replace main.py with GGUF download + validation submit pipeline

Port logic from continuous_pipeline_download_gguf_zhoushasha_and_submit.py
into the strategy-deployable framework (health/status HTTP server,
STRATEGY_ID env, SIGTERM handling).

Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
This commit is contained in:
2026-07-14 15:45:51 +08:00
parent d6b0e416db
commit 85f41bba58
3 changed files with 16581 additions and 438 deletions

View File

@@ -1,22 +1,24 @@
# xc_validation_strategy
# xc_validation_strategy_gguf
批量向 ModelHub XC 平台提交模型验证任务的策略服务,之后保持 HTTP 服务存活供平台探活。
GGUF 模型下载 + 验证任务提交流水线策略服务:批量创建 GGUF 模型下载任务(最大并发 8
每个模型下载成功后立即提交 hygon / bi150 两个验证任务,之后保持 HTTP 服务存活供平台探活。
## 功能
- 自动登录 ModelHub 获取 Token
- 批量提交模型验证任务vLLM 框架Cambricon MLU-370-x8
- 提交结果写入 `submitted_validation_tasks.txt`
- 自动登录 ModelHub 获取 Token(失败时回退到预设 Token
- 按流水线批量创建 GGUF 模型下载任务HuggingFace 源,最大并发 8
- 每个模型下载成功后,立即提交 hygon_k100-ai 与 Iluvatar_bi-150 两个验证任务llamacpp 框架)
- 下载成功的模型 ID 写入 `downloaded_success_models.txt`
- 暴露 `/health``/status` 接口满足平台运行时契约
## 项目结构
```
.
├── main.py # 主入口HTTP 服务 + 提交逻辑
├── main.py # 主入口HTTP 服务 + 下载/提交流水线
├── Dockerfile # 平台镜像构建配置
├── requirements.txt # Python 依赖
└── submitted_validation_tasks.txt # 运行后自动生成,记录提交结果
└── downloaded_success_models.txt # 运行后自动生成,记录下载成功的模型
```
## 平台契约说明
@@ -26,4 +28,4 @@
- Dockerfile 位于仓库根目录,基于官方轻量基础镜像
- 暴露 8080 端口并实现 `GET /health`
- 通过环境变量 `STRATEGY_ID` 获取策略 ID
- 正确处理 `SIGTERM` 信号,支持优雅停机
- 正确处理 `SIGTERM` 信号,支持优雅停机