Add continuous model discovery and queued submission

This commit is contained in:
Codex
2026-08-19 12:36:14 +08:00
parent 71ea49b4c9
commit 990be72c54
4 changed files with 170 additions and 6 deletions

View File

@@ -1,5 +1,7 @@
# new-pipeline
当前版本:`v1.1.0`
将 Hugging Face 镜像中的 GGUF 模型筛选、查重后,提交到 ModelHub
执行适配验证。项目已按 ModelHub 智能体策略运行规范进行容器化。
@@ -9,12 +11,20 @@
- `STRATEGY_ID`:当前策略 ID提交任务时写入 `strategyId`
默认模式会持续扫描所选用户的全部模型。发现符合条件且未入库的模型后立即加入提交队列;提交端遇到平台任务上限时等待,扫描端继续工作。
ModelHub 登录账号和密码按照当前部署约定固定在
`modelhub_pipeline_resumable.py` 中,不需要额外配置环境变量。
可选变量:
- `PORT`:健康检查端口,默认 `8080`
- `PIPELINE_MODE``continuous`(默认,持续扫描)或 `batch`(兼容旧的四步批处理)。
- `PIPELINE_SCAN_INTERVAL_SECONDS`:持续模式扫描间隔,默认 `1800` 秒。
- `HF_START_PAGE` / `HF_END_PAGE`:扫描页范围;结束页为 `0` 时持续翻页直到没有数据。
- `HF_MAX_PAGES`:单次扫描最大页数,默认 `0` 表示不限制。
- `HF_PER_PAGE`:每页模型数,默认 `100`
- `PIPELINE_RETRY_FAILED`:是否重试历史失败模型,默认 `true`
- `PIPELINE_RUN_MODE``resume``fresh`,默认 `resume`
- `PIPELINE_START_STEP`:从第 14 步中的哪一步开始,默认 `1`
- `PIPELINE_FORCE_RERUN_STEPS`:强制重跑的步骤,例如 `1,2,3`