Add continuous model discovery and queued submission
This commit is contained in:
10
README.md
10
README.md
@@ -1,5 +1,7 @@
|
||||
# new-pipeline
|
||||
|
||||
当前版本:`v1.1.0`
|
||||
|
||||
将 Hugging Face 镜像中的 GGUF 模型筛选、查重后,提交到 ModelHub
|
||||
执行适配验证。项目已按 ModelHub 智能体策略运行规范进行容器化。
|
||||
|
||||
@@ -9,12 +11,20 @@
|
||||
|
||||
- `STRATEGY_ID`:当前策略 ID,提交任务时写入 `strategyId`。
|
||||
|
||||
默认模式会持续扫描所选用户的全部模型。发现符合条件且未入库的模型后立即加入提交队列;提交端遇到平台任务上限时等待,扫描端继续工作。
|
||||
|
||||
ModelHub 登录账号和密码按照当前部署约定固定在
|
||||
`modelhub_pipeline_resumable.py` 中,不需要额外配置环境变量。
|
||||
|
||||
可选变量:
|
||||
|
||||
- `PORT`:健康检查端口,默认 `8080`。
|
||||
- `PIPELINE_MODE`:`continuous`(默认,持续扫描)或 `batch`(兼容旧的四步批处理)。
|
||||
- `PIPELINE_SCAN_INTERVAL_SECONDS`:持续模式扫描间隔,默认 `1800` 秒。
|
||||
- `HF_START_PAGE` / `HF_END_PAGE`:扫描页范围;结束页为 `0` 时持续翻页直到没有数据。
|
||||
- `HF_MAX_PAGES`:单次扫描最大页数,默认 `0` 表示不限制。
|
||||
- `HF_PER_PAGE`:每页模型数,默认 `100`。
|
||||
- `PIPELINE_RETRY_FAILED`:是否重试历史失败模型,默认 `true`。
|
||||
- `PIPELINE_RUN_MODE`:`resume` 或 `fresh`,默认 `resume`。
|
||||
- `PIPELINE_START_STEP`:从第 1–4 步中的哪一步开始,默认 `1`。
|
||||
- `PIPELINE_FORCE_RERUN_STEPS`:强制重跑的步骤,例如 `1,2,3`。
|
||||
|
||||
Reference in New Issue
Block a user