add automatic model task discovery and verification
This commit is contained in:
23
README.md
23
README.md
@@ -4,6 +4,9 @@
|
||||
|
||||
## 能做什么
|
||||
|
||||
- 后台定时读取信创模盒公开热门模型,自动发现文本生成候选模型。
|
||||
- 选择较小且与官方 EngineX 支持家族相符的候选,按模型与卡型查询历史任务去重。
|
||||
- 当运行环境同时提供私密令牌、策略 ID、合法卡型枚举与验证配置时,自动提交一条验证任务。
|
||||
- 校验用户指定的目标卡是否与本智能体的官方卡型一致。
|
||||
- 收集模型、框架、后端、驱动和 SDK 版本,明确缺失信息。
|
||||
- 根据多卡、量化、长上下文、自定义算子和动态形状提示验证风险。
|
||||
@@ -13,9 +16,26 @@
|
||||
|
||||
- 卡型名称来自信创模盒“模型 X 算力”页面。
|
||||
- 不声明页面未提供的显存、算力、SDK 版本或算子支持结论。
|
||||
- 不访问外部网络,不执行命令,不创建或修改适配任务。
|
||||
- 只访问信创模盒公开候选接口和官方任务接口;不执行系统命令。
|
||||
- 无私密 `MODELHUB_XC_TOKEN` 时只扫描、记录候选,不创建任务。
|
||||
- 令牌只从运行环境读取,不写入仓库、HTTP 响应或 stdout。
|
||||
- 最终兼容性必须以目标设备上的真实日志和测试结果为准。
|
||||
|
||||
## 自动工作模式
|
||||
|
||||
- `AUTO_SCAN_ENABLED`:默认 `true`,启动后立即扫描,之后每小时扫描一次。
|
||||
- `SCAN_INTERVAL_SECONDS`:扫描间隔,最小 60 秒,默认 3600 秒。
|
||||
- `AUTO_SUBMIT_ENABLED`:默认 `true`;缺少任一必要配置时自动降级为只读扫描。
|
||||
- `MODELHUB_XC_TOKEN`:调用任务查询/创建接口的私密 `Xc-Token`,不得写进公开代码。
|
||||
- `MODELHUB_TARGET_GPU`:平台内部卡型枚举。只有已由官方任务记录核验的枚举才可配置。
|
||||
- `MODELHUB_CONFIG_PARAMS`:验证任务 YAML;未内置官方配置的卡型必须通过私密部署配置提供。
|
||||
- 每次扫描最多提交一个候选;提交前用 `modelId + gpuType` 精确查询历史,已有任务则跳过。
|
||||
|
||||
## 日志
|
||||
|
||||
- stdout 使用单行 JSON,记录服务启动、扫描、候选、去重、提交结果、健康检查、分析结论和优雅停机。
|
||||
- 仅记录经过清洗的模型标识、结论和必要状态,不输出整个请求体、凭据、URL 查询参数或环境变量值。
|
||||
|
||||
## 平台约束
|
||||
|
||||
- 仓库根目录包含 `Dockerfile`,容器开放 `8080`。
|
||||
@@ -28,6 +48,7 @@
|
||||
|
||||
- `GET /health`:存活检查。
|
||||
- `GET /`:卡型和智能体元信息。
|
||||
- `GET /scanner`:后台扫描器最近状态,不包含令牌或策略 ID。
|
||||
- `POST /analyze`:部署前预检。
|
||||
- `POST /task`:与 `/analyze` 相同的兼容入口。
|
||||
|
||||
|
||||
Reference in New Issue
Block a user