79 lines
3.9 KiB
Markdown
79 lines
3.9 KiB
Markdown
|
# 업로드 대상 모델 파일 선정 (재현·배포용)
|
||
|
|
|
||
|
|
Hugging Face 등에 올릴 때 **꼭 넣을 것**과 **선택/제외**를 정리한 문서입니다.
|
||
|
|
|
||
|
|
---
|
||
|
|
|
||
|
|
## 1. 필수 업로드 (1개 세트)
|
||
|
|
|
||
|
|
재현·배포에 **반드시** 포함하는 것을 권장합니다.
|
||
|
|
|
||
|
|
| 경로 | 용량 | 설명 |
|
||
|
|
|------|------|------|
|
||
|
|
| **`outputs/hf_checkpoint-best-fixed/`** | **약 4.5 GB** | **ORPO 최종 모델 (byte-fallback 수정)**. Transformers 로드·GGUF 변환·Ollama 배포의 기준 체크포인트. |
|
||
|
|
|
||
|
|
**포함 파일:**
|
||
|
|
- `model.safetensors` — 가중치
|
||
|
|
- `config.json` — 모델 설정 (vocab 64256)
|
||
|
|
- `tokenizer.json`, `tokenizer_config.json`, `tokenizer.model` — 토크나이저
|
||
|
|
- `generation_config.json` — 생성 기본 설정
|
||
|
|
- `README.md` — 모델 카드 (평가 요약 포함)
|
||
|
|
|
||
|
|
→ **이 디렉터리 하나만 올려도** `from_pretrained(...)`, GGUF 변환, 재학습 연계가 가능합니다.
|
||
|
|
|
||
|
|
---
|
||
|
|
|
||
|
|
## 2. 업로드 포함 (GGUF — 로컬/엣지 배포)
|
||
|
|
|
||
|
|
업로드 스크립트에서 **HF 체크포인트와 함께** 위 두 GGUF를 올리도록 되어 있습니다.
|
||
|
|
|
||
|
|
| 경로 | 용량 | 용도 |
|
||
|
|
|------|------|------|
|
||
|
|
| **`outputs/gguf/frankenstallm-3b-v2-f16.gguf`** | **약 2.3 GB** | F16 풀정밀. GGUF 변환 직후 단계. |
|
||
|
|
| **`outputs/gguf/frankenstallm-3b-v2-Q4_K_M.gguf`** | **약 757 MB** | Ollama·로컬 추론용 양자화. |
|
||
|
|
|
||
|
|
**v1 GGUF (올리지 않아도 됨):**
|
||
|
|
- `frankenstallm-3b-f16.gguf`, `frankenstallm-3b-Q4_K_M.gguf`, `frankenstallm-3b-Q8_0.gguf`
|
||
|
|
→ byte-fallback 미적용, v2로 대체되었으므로 **업로드 제외** 권장.
|
||
|
|
|
||
|
|
---
|
||
|
|
|
||
|
|
## 3. 업로드 제외 권장
|
||
|
|
|
||
|
|
재현에 꼭 필요하지 않거나, 중복·용량 때문에 올리지 않는 것이 좋은 것들입니다.
|
||
|
|
|
||
|
|
| 구분 | 경로/대상 | 이유 |
|
||
|
|
|------|-----------|------|
|
||
|
|
| HF 이전 버전 | `outputs/hf_checkpoint-best/` | byte-fallback 미적용. **hf_checkpoint-best-fixed**로 대체. |
|
||
|
|
| 평가용 HF 복사본 | `eval/outputs/hf_3b_base/`, `eval/outputs/hf_3b_sft_best/`, `eval/outputs/*/hf_3b_checkpoint-*` | 평가 파이프라인용. 재현 시 HF에서 받은 모델로 대체 가능. |
|
||
|
|
| 학습 중간 체크포인트 | `checkpoints/korean_3b_orpo_v1/checkpoint-*` | ORPO 학습 step별. 최종만 **hf_checkpoint-best-fixed**로 올리면 됨. |
|
||
|
|
| llama.cpp vocab 샘플 | `outputs/llama.cpp/models/ggml-vocab-*.gguf` | llama.cpp 기본 vocab. 우리 모델 업로드와 무관. |
|
||
|
|
| 데이터 .bin | `data/*.bin` | 1.2TB급. HF 업로드 부적합. 스크립트·설명만 올리기. |
|
||
|
|
|
||
|
|
---
|
||
|
|
|
||
|
|
## 4. 요약 표
|
||
|
|
|
||
|
|
| 우선순위 | 대상 | 용량 | 비고 |
|
||
|
|
|----------|------|------|------|
|
||
|
|
| **1** | `outputs/hf_checkpoint-best-fixed/` 전체 | ~4.5 GB | **반드시 업로드** |
|
||
|
|
| **2** | `outputs/gguf/frankenstallm-3b-v2-f16.gguf` | ~2.3 GB | 업로드 스크립트에 포함 |
|
||
|
|
| **3** | `outputs/gguf/frankenstallm-3b-v2-Q4_K_M.gguf` | ~757 MB | 업로드 스크립트에 포함 |
|
||
|
|
| 제외 | `outputs/hf_checkpoint-best/`, v1 GGUF, eval/outputs 내 체크포인트, checkpoints/ 학습 체크포인트, data/*.bin | — | 위 “제외 권장” 참고 |
|
||
|
|
|
||
|
|
---
|
||
|
|
|
||
|
|
## 5. 재현 시나리오별로 보면
|
||
|
|
|
||
|
|
- **Transformers로 추론/파인튜닝**
|
||
|
|
→ **hf_checkpoint-best-fixed** 만 있으면 됨.
|
||
|
|
|
||
|
|
- **GGUF/Ollama로 배포**
|
||
|
|
→ **hf_checkpoint-best-fixed** 올려두고, 문서에 `scripts/fix_tokenizer_byte_fallback.py` + `convert_hf_to_gguf.py` + `llama-quantize` 순서만 적어두면 재현 가능.
|
||
|
|
→ **frankenstallm-3b-v2-f16.gguf**, **frankenstallm-3b-v2-Q4_K_M.gguf** 둘 다 업로드 스크립트에 포함됨.
|
||
|
|
|
||
|
|
- **학습부터 재현**
|
||
|
|
→ 모델 파일은 **hf_checkpoint-best-fixed** (또는 공개된 동일 세트) 하나만 명시하고, 데이터·학습 스크립트는 별도 문서/저장소로 안내.
|
||
|
|
|
||
|
|
정리하면, **업로드해야 할 모델은 `outputs/hf_checkpoint-best-fixed/` 한 세트**와 **GGUF v2 (f16, Q4_K_M) 두 파일**이 업로드 스크립트에 포함됩니다.
|