96 lines
2.0 KiB
Markdown
96 lines
2.0 KiB
Markdown
|
# DGX Runtime Router Rules
|
||
|
|
|
||
|
|
## 최종 통과 정책
|
||
|
|
|
||
|
|
93단계에서 `router + template runtime` 방식이 통과했습니다.
|
||
|
|
|
||
|
|
- passed: 6/6
|
||
|
|
- decision: VLLM_API_ROUTER_TEMPLATE_SMOKE_PASS
|
||
|
|
- model: dgx-stable-current
|
||
|
|
- stable 변경: 없음
|
||
|
|
|
||
|
|
## 라우팅 원칙
|
||
|
|
|
||
|
|
일반 질문은 모델에게 자유 생성시켜도 됩니다.
|
||
|
|
하지만 검증 정책처럼 정답이 정해진 항목은 모델에게 자유 생성시키지 말고 템플릿으로 응답합니다.
|
||
|
|
|
||
|
|
## Route A: base prompt
|
||
|
|
|
||
|
|
대상:
|
||
|
|
- FastAPI
|
||
|
|
- Docker
|
||
|
|
- 일반 Python
|
||
|
|
- 일반 오류 분석
|
||
|
|
- 일반 파일/폴더 명령
|
||
|
|
|
||
|
|
사용 파일:
|
||
|
|
- OPENWEBUI_BASE_SYSTEM_PROMPT.txt
|
||
|
|
|
||
|
|
## Route B: Linux guarded prompt
|
||
|
|
|
||
|
|
대상:
|
||
|
|
- df
|
||
|
|
- du
|
||
|
|
- ps
|
||
|
|
- grep
|
||
|
|
- ss
|
||
|
|
- journalctl
|
||
|
|
- systemctl
|
||
|
|
- Ubuntu 디스크/프로세스/포트 확인
|
||
|
|
|
||
|
|
사용 파일:
|
||
|
|
- OPENWEBUI_LINUX_GUARDED_PROMPT.txt
|
||
|
|
|
||
|
|
주의:
|
||
|
|
- 추상 경로 대신 실제 예시 경로를 사용합니다.
|
||
|
|
- 명령어는 ASCII로 작성합니다.
|
||
|
|
|
||
|
|
## Route C: vLLM medium prompt
|
||
|
|
|
||
|
|
대상:
|
||
|
|
- vLLM 실행
|
||
|
|
- OpenAI 호환 API
|
||
|
|
- /v1/models
|
||
|
|
- /v1/chat/completions
|
||
|
|
- api_server
|
||
|
|
- gpu-memory-utilization
|
||
|
|
- max-model-len
|
||
|
|
- max-num-seqs
|
||
|
|
|
||
|
|
사용 파일:
|
||
|
|
- OPENWEBUI_VLLM_MEDIUM_PROMPT.txt
|
||
|
|
|
||
|
|
핵심:
|
||
|
|
- `python -m vllm.entrypoints.openai.api_server` 형식을 우선 사용합니다.
|
||
|
|
- 8000 포트 확인 명령을 포함합니다.
|
||
|
|
|
||
|
|
## Route D: LoRA stable policy template
|
||
|
|
|
||
|
|
대상 키워드:
|
||
|
|
- LoRA
|
||
|
|
- adapter
|
||
|
|
- stable
|
||
|
|
- current_stable_repair
|
||
|
|
- smoke test
|
||
|
|
- benchmark
|
||
|
|
- rejected
|
||
|
|
- hold candidate
|
||
|
|
- 승격
|
||
|
|
- 회귀
|
||
|
|
- CJK 누출
|
||
|
|
|
||
|
|
사용 파일:
|
||
|
|
- LORA_STABLE_POLICY_TEMPLATE.txt
|
||
|
|
|
||
|
|
핵심:
|
||
|
|
- 이 항목은 모델 자유 생성 금지입니다.
|
||
|
|
- 고정 템플릿을 반환합니다.
|
||
|
|
- 이유: 모델이 LoRA 정의와 검증 절차를 잘못 생성하거나 CJK drift를 낼 수 있습니다.
|
||
|
|
|
||
|
|
## 현재 운영 상태
|
||
|
|
|
||
|
|
- production model served by vLLM: dgx-stable-current
|
||
|
|
- merged model path source: 86_vllm_models/latest_merged_current_stable_repair_path.txt
|
||
|
|
- stable adapter: 06_train/current_stable_repair
|
||
|
|
- runtime policy: router_template_runtime
|