初始化项目,由ModelHub XC社区提供模型
Model: koreallmdev/8bcustom-model Source: Original Platform
This commit is contained in:
25
runtime_policy/LORA_STABLE_POLICY_TEMPLATE.txt
Normal file
25
runtime_policy/LORA_STABLE_POLICY_TEMPLATE.txt
Normal file
@@ -0,0 +1,25 @@
|
||||
LoRA adapter 학습 결과를 바로 stable로 바꾸면 안 됩니다.
|
||||
|
||||
이유는 새 adapter가 일부 질문에서는 좋아 보여도, 다른 항목에서 회귀할 수 있기 때문입니다. 특히 한국어 존댓말, 명령어 형식, CJK 누출, 필수 키워드 포함 여부는 별도로 확인해야 합니다.
|
||||
|
||||
검증 순서는 다음과 같습니다.
|
||||
|
||||
1. smoke test를 먼저 실행합니다.
|
||||
- 짧은 핵심 질문으로 기본 동작을 확인합니다.
|
||||
- CJK 누출, 과도하게 짧은 답변, 필수 명령어 누락이 있으면 다음 단계로 가지 않습니다.
|
||||
|
||||
2. smoke test를 통과한 adapter만 benchmark를 실행합니다.
|
||||
- 기존 stable adapter와 같은 기준으로 비교합니다.
|
||||
- 평균 점수만 보지 말고 pass_70_plus, strong_85_plus, CJK flags를 같이 봅니다.
|
||||
|
||||
3. benchmark 결과가 기존 stable보다 확실히 좋아야 합니다.
|
||||
- 기준을 통과하지 못하면 stable로 승격하지 않습니다.
|
||||
- 애매한 결과는 hold candidate로 둡니다.
|
||||
|
||||
4. 실패한 adapter는 rejected로 분리합니다.
|
||||
- CJK 누출이나 점수 회귀가 있으면 rejected 처리합니다.
|
||||
- rejected adapter에서 추가 학습을 이어가면 회귀가 누적될 수 있습니다.
|
||||
|
||||
5. stable 승격은 마지막에만 합니다.
|
||||
- smoke test와 benchmark를 모두 통과한 뒤에만 current_stable_repair를 변경합니다.
|
||||
- 통과하지 못하면 기존 stable을 유지합니다.
|
||||
5
runtime_policy/OPENWEBUI_BASE_SYSTEM_PROMPT.txt
Normal file
5
runtime_policy/OPENWEBUI_BASE_SYSTEM_PROMPT.txt
Normal file
@@ -0,0 +1,5 @@
|
||||
한국어 존댓말로 답변하는 코딩 개발 비서입니다.
|
||||
명령어와 설명을 구분해서 답변하세요.
|
||||
사용자가 터미널에 붙여넣을 명령어는 코드블록에 따로 넣으세요.
|
||||
로그와 명령어를 섞지 마세요.
|
||||
모르는 내용은 추측하지 말고 확인 명령어를 먼저 제시하세요.
|
||||
4
runtime_policy/OPENWEBUI_LINUX_GUARDED_PROMPT.txt
Normal file
4
runtime_policy/OPENWEBUI_LINUX_GUARDED_PROMPT.txt
Normal file
@@ -0,0 +1,4 @@
|
||||
한국어 존댓말로 답변하세요.
|
||||
Linux 명령어는 ASCII 문자로만 작성하세요.
|
||||
답변은 짧은 설명과 명령어 코드블록으로 구성하세요.
|
||||
추상 경로가 필요하면 /home/saul9523/dgx_ai_factory 같은 실제 예시 경로를 사용하세요.
|
||||
4
runtime_policy/OPENWEBUI_VLLM_MEDIUM_PROMPT.txt
Normal file
4
runtime_policy/OPENWEBUI_VLLM_MEDIUM_PROMPT.txt
Normal file
@@ -0,0 +1,4 @@
|
||||
한국어 존댓말로 답변하는 vLLM 운영 비서입니다.
|
||||
vLLM 실행 예시는 python -m vllm.entrypoints.openai.api_server 형식을 우선 사용하세요.
|
||||
답변에는 실행 명령어 코드블록과 확인 방법을 함께 포함하세요.
|
||||
OpenAI 호환 API 확인에는 /v1/models 또는 /v1/chat/completions 확인 명령어를 사용하세요.
|
||||
95
runtime_policy/RUNTIME_ROUTER_RULES.md
Normal file
95
runtime_policy/RUNTIME_ROUTER_RULES.md
Normal file
@@ -0,0 +1,95 @@
|
||||
# DGX Runtime Router Rules
|
||||
|
||||
## 최종 통과 정책
|
||||
|
||||
93단계에서 `router + template runtime` 방식이 통과했습니다.
|
||||
|
||||
- passed: 6/6
|
||||
- decision: VLLM_API_ROUTER_TEMPLATE_SMOKE_PASS
|
||||
- model: dgx-stable-current
|
||||
- stable 변경: 없음
|
||||
|
||||
## 라우팅 원칙
|
||||
|
||||
일반 질문은 모델에게 자유 생성시켜도 됩니다.
|
||||
하지만 검증 정책처럼 정답이 정해진 항목은 모델에게 자유 생성시키지 말고 템플릿으로 응답합니다.
|
||||
|
||||
## Route A: base prompt
|
||||
|
||||
대상:
|
||||
- FastAPI
|
||||
- Docker
|
||||
- 일반 Python
|
||||
- 일반 오류 분석
|
||||
- 일반 파일/폴더 명령
|
||||
|
||||
사용 파일:
|
||||
- OPENWEBUI_BASE_SYSTEM_PROMPT.txt
|
||||
|
||||
## Route B: Linux guarded prompt
|
||||
|
||||
대상:
|
||||
- df
|
||||
- du
|
||||
- ps
|
||||
- grep
|
||||
- ss
|
||||
- journalctl
|
||||
- systemctl
|
||||
- Ubuntu 디스크/프로세스/포트 확인
|
||||
|
||||
사용 파일:
|
||||
- OPENWEBUI_LINUX_GUARDED_PROMPT.txt
|
||||
|
||||
주의:
|
||||
- 추상 경로 대신 실제 예시 경로를 사용합니다.
|
||||
- 명령어는 ASCII로 작성합니다.
|
||||
|
||||
## Route C: vLLM medium prompt
|
||||
|
||||
대상:
|
||||
- vLLM 실행
|
||||
- OpenAI 호환 API
|
||||
- /v1/models
|
||||
- /v1/chat/completions
|
||||
- api_server
|
||||
- gpu-memory-utilization
|
||||
- max-model-len
|
||||
- max-num-seqs
|
||||
|
||||
사용 파일:
|
||||
- OPENWEBUI_VLLM_MEDIUM_PROMPT.txt
|
||||
|
||||
핵심:
|
||||
- `python -m vllm.entrypoints.openai.api_server` 형식을 우선 사용합니다.
|
||||
- 8000 포트 확인 명령을 포함합니다.
|
||||
|
||||
## Route D: LoRA stable policy template
|
||||
|
||||
대상 키워드:
|
||||
- LoRA
|
||||
- adapter
|
||||
- stable
|
||||
- current_stable_repair
|
||||
- smoke test
|
||||
- benchmark
|
||||
- rejected
|
||||
- hold candidate
|
||||
- 승격
|
||||
- 회귀
|
||||
- CJK 누출
|
||||
|
||||
사용 파일:
|
||||
- LORA_STABLE_POLICY_TEMPLATE.txt
|
||||
|
||||
핵심:
|
||||
- 이 항목은 모델 자유 생성 금지입니다.
|
||||
- 고정 템플릿을 반환합니다.
|
||||
- 이유: 모델이 LoRA 정의와 검증 절차를 잘못 생성하거나 CJK drift를 낼 수 있습니다.
|
||||
|
||||
## 현재 운영 상태
|
||||
|
||||
- production model served by vLLM: dgx-stable-current
|
||||
- merged model path source: 86_vllm_models/latest_merged_current_stable_repair_path.txt
|
||||
- stable adapter: 06_train/current_stable_repair
|
||||
- runtime policy: router_template_runtime
|
||||
Reference in New Issue
Block a user