初始化项目，由ModelHub XC社区提供模型

Model: pathcosmos/frankenstallm
Source: Original Platform

reports/MODEL_FILES_FOR_UPLOAD.md

@@ -0,0 +1,78 @@
+# 업로드 대상 모델 파일 선정 (재현·배포용)
+
+Hugging Face 등에 올릴 때 **꼭 넣을 것**과 **선택/제외**를 정리한 문서입니다.
+
+---
+
+## 1. 필수 업로드 (1개 세트)
+
+재현·배포에 **반드시** 포함하는 것을 권장합니다.
+
+| 경로 | 용량 | 설명 |
+|------|------|------|
+| **`outputs/hf_checkpoint-best-fixed/`** | **약 4.5 GB** | **ORPO 최종 모델 (byte-fallback 수정)**. Transformers 로드·GGUF 변환·Ollama 배포의 기준 체크포인트. |
+
+**포함 파일:**
+- `model.safetensors` — 가중치
+- `config.json` — 모델 설정 (vocab 64256)
+- `tokenizer.json`, `tokenizer_config.json`, `tokenizer.model` — 토크나이저
+- `generation_config.json` — 생성 기본 설정
+- `README.md` — 모델 카드 (평가 요약 포함)
+
+→ **이 디렉터리 하나만 올려도** `from_pretrained(...)`, GGUF 변환, 재학습 연계가 가능합니다.
+
+---
+
+## 2. 업로드 포함 (GGUF — 로컬/엣지 배포)
+
+업로드 스크립트에서 **HF 체크포인트와 함께** 위 두 GGUF를 올리도록 되어 있습니다.
+
+| 경로 | 용량 | 용도 |
+|------|------|------|
+| **`outputs/gguf/frankenstallm-3b-v2-f16.gguf`** | **약 2.3 GB** | F16 풀정밀. GGUF 변환 직후 단계. |
+| **`outputs/gguf/frankenstallm-3b-v2-Q4_K_M.gguf`** | **약 757 MB** | Ollama·로컬 추론용 양자화. |
+
+**v1 GGUF (올리지 않아도 됨):**
+- `frankenstallm-3b-f16.gguf`, `frankenstallm-3b-Q4_K_M.gguf`, `frankenstallm-3b-Q8_0.gguf`  
+  → byte-fallback 미적용, v2로 대체되었으므로 **업로드 제외** 권장.
+
+---
+
+## 3. 업로드 제외 권장
+
+재현에 꼭 필요하지 않거나, 중복·용량 때문에 올리지 않는 것이 좋은 것들입니다.
+
+| 구분 | 경로/대상 | 이유 |
+|------|-----------|------|
+| HF 이전 버전 | `outputs/hf_checkpoint-best/` | byte-fallback 미적용. **hf_checkpoint-best-fixed**로 대체. |
+| 평가용 HF 복사본 | `eval/outputs/hf_3b_base/`, `eval/outputs/hf_3b_sft_best/`, `eval/outputs/*/hf_3b_checkpoint-*` | 평가 파이프라인용. 재현 시 HF에서 받은 모델로 대체 가능. |
+| 학습 중간 체크포인트 | `checkpoints/korean_3b_orpo_v1/checkpoint-*` | ORPO 학습 step별. 최종만 **hf_checkpoint-best-fixed**로 올리면 됨. |
+| llama.cpp vocab 샘플 | `outputs/llama.cpp/models/ggml-vocab-*.gguf` | llama.cpp 기본 vocab. 우리 모델 업로드와 무관. |
+| 데이터 .bin | `data/*.bin` | 1.2TB급. HF 업로드 부적합. 스크립트·설명만 올리기. |
+
+---
+
+## 4. 요약 표
+
+| 우선순위 | 대상 | 용량 | 비고 |
+|----------|------|------|------|
+| **1** | `outputs/hf_checkpoint-best-fixed/` 전체 | ~4.5 GB | **반드시 업로드** |
+| **2** | `outputs/gguf/frankenstallm-3b-v2-f16.gguf` | ~2.3 GB | 업로드 스크립트에 포함 |
+| **3** | `outputs/gguf/frankenstallm-3b-v2-Q4_K_M.gguf` | ~757 MB | 업로드 스크립트에 포함 |
+| 제외 | `outputs/hf_checkpoint-best/`, v1 GGUF, eval/outputs 내 체크포인트, checkpoints/ 학습 체크포인트, data/*.bin | — | 위 “제외 권장” 참고 |
+
+---
+
+## 5. 재현 시나리오별로 보면
+
+- **Transformers로 추론/파인튜닝**  
+  → **hf_checkpoint-best-fixed** 만 있으면 됨.
+
+- **GGUF/Ollama로 배포**  
+  → **hf_checkpoint-best-fixed** 올려두고, 문서에 `scripts/fix_tokenizer_byte_fallback.py` + `convert_hf_to_gguf.py` + `llama-quantize` 순서만 적어두면 재현 가능.  
+  → **frankenstallm-3b-v2-f16.gguf**, **frankenstallm-3b-v2-Q4_K_M.gguf** 둘 다 업로드 스크립트에 포함됨.
+
+- **학습부터 재현**  
+  → 모델 파일은 **hf_checkpoint-best-fixed** (또는 공개된 동일 세트) 하나만 명시하고, 데이터·학습 스크립트는 별도 문서/저장소로 안내.
+
+정리하면, **업로드해야 할 모델은 `outputs/hf_checkpoint-best-fixed/` 한 세트**와 **GGUF v2 (f16, Q4_K_M) 두 파일**이 업로드 스크립트에 포함됩니다.