初始化项目,由ModelHub XC社区提供模型

Model: koreallmdev/8bcustom-model
Source: Original Platform
This commit is contained in:
ModelHub XC
2026-07-25 17:57:10 +08:00
commit 882b4bfe93
19 changed files with 901 additions and 0 deletions

View File

@@ -0,0 +1,25 @@
LoRA adapter 학습 결과를 바로 stable로 바꾸면 안 됩니다.
이유는 새 adapter가 일부 질문에서는 좋아 보여도, 다른 항목에서 회귀할 수 있기 때문입니다. 특히 한국어 존댓말, 명령어 형식, CJK 누출, 필수 키워드 포함 여부는 별도로 확인해야 합니다.
검증 순서는 다음과 같습니다.
1. smoke test를 먼저 실행합니다.
- 짧은 핵심 질문으로 기본 동작을 확인합니다.
- CJK 누출, 과도하게 짧은 답변, 필수 명령어 누락이 있으면 다음 단계로 가지 않습니다.
2. smoke test를 통과한 adapter만 benchmark를 실행합니다.
- 기존 stable adapter와 같은 기준으로 비교합니다.
- 평균 점수만 보지 말고 pass_70_plus, strong_85_plus, CJK flags를 같이 봅니다.
3. benchmark 결과가 기존 stable보다 확실히 좋아야 합니다.
- 기준을 통과하지 못하면 stable로 승격하지 않습니다.
- 애매한 결과는 hold candidate로 둡니다.
4. 실패한 adapter는 rejected로 분리합니다.
- CJK 누출이나 점수 회귀가 있으면 rejected 처리합니다.
- rejected adapter에서 추가 학습을 이어가면 회귀가 누적될 수 있습니다.
5. stable 승격은 마지막에만 합니다.
- smoke test와 benchmark를 모두 통과한 뒤에만 current_stable_repair를 변경합니다.
- 통과하지 못하면 기존 stable을 유지합니다.

View File

@@ -0,0 +1,5 @@
한국어 존댓말로 답변하는 코딩 개발 비서입니다.
명령어와 설명을 구분해서 답변하세요.
사용자가 터미널에 붙여넣을 명령어는 코드블록에 따로 넣으세요.
로그와 명령어를 섞지 마세요.
모르는 내용은 추측하지 말고 확인 명령어를 먼저 제시하세요.

View File

@@ -0,0 +1,4 @@
한국어 존댓말로 답변하세요.
Linux 명령어는 ASCII 문자로만 작성하세요.
답변은 짧은 설명과 명령어 코드블록으로 구성하세요.
추상 경로가 필요하면 /home/saul9523/dgx_ai_factory 같은 실제 예시 경로를 사용하세요.

View File

@@ -0,0 +1,4 @@
한국어 존댓말로 답변하는 vLLM 운영 비서입니다.
vLLM 실행 예시는 python -m vllm.entrypoints.openai.api_server 형식을 우선 사용하세요.
답변에는 실행 명령어 코드블록과 확인 방법을 함께 포함하세요.
OpenAI 호환 API 확인에는 /v1/models 또는 /v1/chat/completions 확인 명령어를 사용하세요.

View File

@@ -0,0 +1,95 @@
# DGX Runtime Router Rules
## 최종 통과 정책
93단계에서 `router + template runtime` 방식이 통과했습니다.
- passed: 6/6
- decision: VLLM_API_ROUTER_TEMPLATE_SMOKE_PASS
- model: dgx-stable-current
- stable 변경: 없음
## 라우팅 원칙
일반 질문은 모델에게 자유 생성시켜도 됩니다.
하지만 검증 정책처럼 정답이 정해진 항목은 모델에게 자유 생성시키지 말고 템플릿으로 응답합니다.
## Route A: base prompt
대상:
- FastAPI
- Docker
- 일반 Python
- 일반 오류 분석
- 일반 파일/폴더 명령
사용 파일:
- OPENWEBUI_BASE_SYSTEM_PROMPT.txt
## Route B: Linux guarded prompt
대상:
- df
- du
- ps
- grep
- ss
- journalctl
- systemctl
- Ubuntu 디스크/프로세스/포트 확인
사용 파일:
- OPENWEBUI_LINUX_GUARDED_PROMPT.txt
주의:
- 추상 경로 대신 실제 예시 경로를 사용합니다.
- 명령어는 ASCII로 작성합니다.
## Route C: vLLM medium prompt
대상:
- vLLM 실행
- OpenAI 호환 API
- /v1/models
- /v1/chat/completions
- api_server
- gpu-memory-utilization
- max-model-len
- max-num-seqs
사용 파일:
- OPENWEBUI_VLLM_MEDIUM_PROMPT.txt
핵심:
- `python -m vllm.entrypoints.openai.api_server` 형식을 우선 사용합니다.
- 8000 포트 확인 명령을 포함합니다.
## Route D: LoRA stable policy template
대상 키워드:
- LoRA
- adapter
- stable
- current_stable_repair
- smoke test
- benchmark
- rejected
- hold candidate
- 승격
- 회귀
- CJK 누출
사용 파일:
- LORA_STABLE_POLICY_TEMPLATE.txt
핵심:
- 이 항목은 모델 자유 생성 금지입니다.
- 고정 템플릿을 반환합니다.
- 이유: 모델이 LoRA 정의와 검증 절차를 잘못 생성하거나 CJK drift를 낼 수 있습니다.
## 현재 운영 상태
- production model served by vLLM: dgx-stable-current
- merged model path source: 86_vllm_models/latest_merged_current_stable_repair_path.txt
- stable adapter: 06_train/current_stable_repair
- runtime policy: router_template_runtime