8bcustom-model/runtime_policy/RUNTIME_ROUTER_RULES.md

DGX Runtime Router Rules

최종 통과 정책

93단계에서 router + template runtime 방식이 통과했습니다.

• passed: 6/6
• decision: VLLM_API_ROUTER_TEMPLATE_SMOKE_PASS
• model: dgx-stable-current
• stable 변경: 없음

라우팅 원칙

일반 질문은 모델에게 자유 생성시켜도 됩니다. 하지만 검증 정책처럼 정답이 정해진 항목은 모델에게 자유 생성시키지 말고 템플릿으로 응답합니다.

Route A: base prompt

대상:

• FastAPI
• Docker
• 일반 Python
• 일반 오류 분석
• 일반 파일/폴더 명령

사용 파일:

• OPENWEBUI_BASE_SYSTEM_PROMPT.txt

Route B: Linux guarded prompt

대상:

• df
• du
• ps
• grep
• ss
• journalctl
• systemctl
• Ubuntu 디스크/프로세스/포트 확인

사용 파일:

• OPENWEBUI_LINUX_GUARDED_PROMPT.txt

주의:

• 추상 경로 대신 실제 예시 경로를 사용합니다.
• 명령어는 ASCII로 작성합니다.

Route C: vLLM medium prompt

대상:

• vLLM 실행
• OpenAI 호환 API
• /v1/models
• /v1/chat/completions
• api_server
• gpu-memory-utilization
• max-model-len
• max-num-seqs

사용 파일:

• OPENWEBUI_VLLM_MEDIUM_PROMPT.txt

핵심:

• python -m vllm.entrypoints.openai.api_server 형식을 우선 사용합니다.
• 8000 포트 확인 명령을 포함합니다.

Route D: LoRA stable policy template

대상 키워드:

• LoRA
• adapter
• stable
• current_stable_repair
• smoke test
• benchmark
• rejected
• hold candidate
• 승격
• 회귀
• CJK 누출

사용 파일:

• LORA_STABLE_POLICY_TEMPLATE.txt

핵심:

• 이 항목은 모델 자유 생성 금지입니다.
• 고정 템플릿을 반환합니다.
• 이유: 모델이 LoRA 정의와 검증 절차를 잘못 생성하거나 CJK drift를 낼 수 있습니다.

현재 운영 상태

• production model served by vLLM: dgx-stable-current
• merged model path source: 86_vllm_models/latest_merged_current_stable_repair_path.txt
• stable adapter: 06_train/current_stable_repair
• runtime policy: router_template_runtime