初始化项目,由ModelHub XC社区提供模型
Model: koreallmdev/8bcustom-model Source: Original Platform
This commit is contained in:
95
runtime_policy/RUNTIME_ROUTER_RULES.md
Normal file
95
runtime_policy/RUNTIME_ROUTER_RULES.md
Normal file
@@ -0,0 +1,95 @@
|
||||
# DGX Runtime Router Rules
|
||||
|
||||
## 최종 통과 정책
|
||||
|
||||
93단계에서 `router + template runtime` 방식이 통과했습니다.
|
||||
|
||||
- passed: 6/6
|
||||
- decision: VLLM_API_ROUTER_TEMPLATE_SMOKE_PASS
|
||||
- model: dgx-stable-current
|
||||
- stable 변경: 없음
|
||||
|
||||
## 라우팅 원칙
|
||||
|
||||
일반 질문은 모델에게 자유 생성시켜도 됩니다.
|
||||
하지만 검증 정책처럼 정답이 정해진 항목은 모델에게 자유 생성시키지 말고 템플릿으로 응답합니다.
|
||||
|
||||
## Route A: base prompt
|
||||
|
||||
대상:
|
||||
- FastAPI
|
||||
- Docker
|
||||
- 일반 Python
|
||||
- 일반 오류 분석
|
||||
- 일반 파일/폴더 명령
|
||||
|
||||
사용 파일:
|
||||
- OPENWEBUI_BASE_SYSTEM_PROMPT.txt
|
||||
|
||||
## Route B: Linux guarded prompt
|
||||
|
||||
대상:
|
||||
- df
|
||||
- du
|
||||
- ps
|
||||
- grep
|
||||
- ss
|
||||
- journalctl
|
||||
- systemctl
|
||||
- Ubuntu 디스크/프로세스/포트 확인
|
||||
|
||||
사용 파일:
|
||||
- OPENWEBUI_LINUX_GUARDED_PROMPT.txt
|
||||
|
||||
주의:
|
||||
- 추상 경로 대신 실제 예시 경로를 사용합니다.
|
||||
- 명령어는 ASCII로 작성합니다.
|
||||
|
||||
## Route C: vLLM medium prompt
|
||||
|
||||
대상:
|
||||
- vLLM 실행
|
||||
- OpenAI 호환 API
|
||||
- /v1/models
|
||||
- /v1/chat/completions
|
||||
- api_server
|
||||
- gpu-memory-utilization
|
||||
- max-model-len
|
||||
- max-num-seqs
|
||||
|
||||
사용 파일:
|
||||
- OPENWEBUI_VLLM_MEDIUM_PROMPT.txt
|
||||
|
||||
핵심:
|
||||
- `python -m vllm.entrypoints.openai.api_server` 형식을 우선 사용합니다.
|
||||
- 8000 포트 확인 명령을 포함합니다.
|
||||
|
||||
## Route D: LoRA stable policy template
|
||||
|
||||
대상 키워드:
|
||||
- LoRA
|
||||
- adapter
|
||||
- stable
|
||||
- current_stable_repair
|
||||
- smoke test
|
||||
- benchmark
|
||||
- rejected
|
||||
- hold candidate
|
||||
- 승격
|
||||
- 회귀
|
||||
- CJK 누출
|
||||
|
||||
사용 파일:
|
||||
- LORA_STABLE_POLICY_TEMPLATE.txt
|
||||
|
||||
핵심:
|
||||
- 이 항목은 모델 자유 생성 금지입니다.
|
||||
- 고정 템플릿을 반환합니다.
|
||||
- 이유: 모델이 LoRA 정의와 검증 절차를 잘못 생성하거나 CJK drift를 낼 수 있습니다.
|
||||
|
||||
## 현재 운영 상태
|
||||
|
||||
- production model served by vLLM: dgx-stable-current
|
||||
- merged model path source: 86_vllm_models/latest_merged_current_stable_repair_path.txt
|
||||
- stable adapter: 06_train/current_stable_repair
|
||||
- runtime policy: router_template_runtime
|
||||
Reference in New Issue
Block a user