# FRANKENSTALLM 3B — 종합 평가 보고서 (Executive Summary)

---

## 모델 정보

| 항목 | 값 |
|------|-----|
| 모델명 | FRANKENSTALLM 3B |
| 체크포인트 | checkpoint-0057000 |
| 학습 방식 | 한국어 사전학습 (Pretraining from scratch) |
| 모델 규모 | ~3B parameters |
| 최종 학습 Loss | ~1.55 (step 57,000 기준) |
| 아키텍처 | Transformer Decoder, GQA, FlashAttention-2 |
| 학습 환경 | 8× NVIDIA B200, DDP + TE MXFP8 |
| 학습 속도 | 36K tokens/s (단일 GPU 기준), 292K tokens/s (8 GPU 전체) |
| 평가 일시 | 2026-03-05 03:18 KST |
| 평가 소요 시간 | 39분 36초 (총) |

---

## 1. 핵심 결과 한눈에 보기

| 평가 영역 | 핵심 지표 | 값 | 판정 |
|---------|---------|-----|------|
| **Perplexity** | 주 Val Set PPL | 5.2263 | 양호 |
| **Perplexity** | 최저 도메인 PPL (hplt_ko) | 2.4028 | 우수 |
| **Perplexity** | 최고 도메인 PPL (korean_namuwiki) | 25.8814 | 개선 필요 |
| **Calibration** | Top-1 Accuracy | 68.75% | 양호 |
| **Calibration** | Top-5 Accuracy | 81.64% | 양호 |
| **Calibration** | Mean Correct Prob | 0.6152 | 양호 |
| **NLL 분포** | Median NLL | 0.1221 nats | 우수 |
| **NLL 분포** | High-loss 토큰 (>5.0) | 10.86% | 주의 |
| **생성 품질** | Greedy 3-gram 반복률 | 72.75% | 사용 불가 |
| **생성 품질** | 최적 설정 3-gram 반복률 | 0.00% | 양호 (rep penalty 필수) |
| **생성 품질** | EOS 도달률 (전체) | 0% | 개선 필요 |
| **KoBEST 평균** | 5개 task 평균 | ~47.7% | 랜덤 수준 (예상됨) |
| **HAE-RAE** | 정확도 | 19.98% | 랜덤 수준 (예상됨) |
| **MMLU-KO** | — | 미평가 | 환경 오류 |

---

## 2. Perplexity 요약

### 2.1 전체 PPL 표 (카테고리별 정렬)

**[주 Validation Set]**

| 데이터셋 | PPL | Bits/Token |
|---------|-----|-----------|
| 3b_val | **5.2263** | 2.3858 |

**[한국어 웹]**

| 데이터셋 | PPL | Bits/Token | 비고 |
|---------|-----|-----------|------|
| hplt_ko | 2.4028 | 1.2647 | 최우수 — 학습 데이터 비중 높음 |
| korean_c4 | 5.7173 | 2.5153 | 양호 |
| korean | 7.0155 | 2.8105 | 보통 |
| cc100_ko | 21.7820 | 4.4451 | 불량 — 학습 미포함 추정 |

**[Cosmo 코퍼스 (영어 중심)]**

| 데이터셋 | PPL | Bits/Token |
|---------|-----|-----------|
| cosmo_khanacademy | 2.9322 | 1.5520 |
| cosmo_auto_math_text | 3.1492 | 1.6550 |
| cosmo_stanford | 3.3624 | 1.7495 |
| cosmo_wikihow | 3.3097 | 1.7267 |
| cosmo_openstax | 3.8673 | 1.9513 |
| cosmo_stories | 3.9552 | 1.9837 |
| cosmo_web_v2 | 4.1664 | 2.0588 |

**[수학]**

| 데이터셋 | PPL | Bits/Token |
|---------|-----|-----------|
| mathpile | 2.7244 | 1.4459 |
| open_web_math | 6.9264 | 2.7921 |

**[한국어 위키 / 나무위키]**

| 데이터셋 | PPL | Bits/Token |
|---------|-----|-----------|
| wikipedia_ko | 10.7059 | 3.4203 |
| korean_wiki | 11.8359 | 3.5651 |
| namuwiki_2023b | 18.9170 | 4.2416 |
| korean_namuwiki | 25.8814 | 4.6938 |

**[기타]**

| 데이터셋 | PPL | Bits/Token |
|---------|-----|-----------|
| val (generic) | 18.3046 | 4.1941 |

### 2.2 PPL 결과 해석

- **HPLT와 수학 데이터**에서 낮은 PPL(2.4~2.7): 이 두 코퍼스가 학습 데이터에서 높은 비중을 차지했음을 강하게 시사
- **Cosmo 전체 3.0~4.2**: 영어 포함 다국어 학습이 효과적으로 이루어짐
- **나무위키 PPL 19~26**: 나무위키 특유의 비격식체, 인터넷 문화 관련 어휘의 학습 부족
- **CC-100 PPL 21.78**: 의도적 미포함이거나 데이터 품질 이슈로 제외된 것으로 추정

---

## 3. Calibration 요약

### 3.1 지표 요약

| 지표 | 값 | 의미 |
|------|-----|------|
| Top-1 Accuracy | **68.75%** | 다음 토큰을 약 2/3 확률로 정확히 예측 |
| Top-5 Accuracy | **81.64%** | 상위 5 후보에 정답 포함 확률 |
| Top-10 Accuracy | **85.93%** | 상위 10 후보에 정답 포함 확률 |
| Mean Correct Prob | **0.6152** | 정답 토큰의 평균 예측 확률 |
| Mean Entropy | **1.5682 bits** | 평균 예측 불확실성 |

### 3.2 Token NLL 분포 요약

| 백분위 | NLL | 해석 |
|--------|-----|------|
| p5 | 0.0000 | 극히 확실한 예측 |
| p25 | 0.0017 | 매우 확실한 예측 |
| **Median** | **0.1221** | **대다수 토큰이 매우 낮은 손실** |
| p75 | 2.3594 | 상위 25%는 중간 난이도 |
| p95 | 7.0312 | 상위 5%는 고난이도 |
| p99 | 10.3125 | 극단 사례 |
| **Mean** | **1.5561** | **평균이 중앙값의 12.8배 → 강한 우편향** |

**핵심 패턴**: Median NLL(0.12) << Mean NLL(1.56)의 극단적 격차는 대부분의 토큰은 완벽에 가깝게 예측되지만, 일부 어려운 토큰이 평균을 크게 끌어올리는 **heavy-tail(두꺼운 꼬리) 분포**임을 의미한다.

- 고손실 토큰 (NLL > 5.0): **10.86%**
- 극단 고손실 토큰 (NLL > 10.0): **1.18%**

---

## 4. 생성 품질 요약

### 4.1 반복률 비교 (3-gram 기준)

| 설정 | 3-gram 반복률 | 사용 가능 여부 |
|------|------------|-------------|
| Greedy (t=0.0, rep=1.0) | 72.75% | **불가** |
| t=0.5, rep=1.0 | ~60% | **불가** |
| t=0.7, rep=1.0 | ~48% | **불가** |
| t=1.0, rep=1.0 | 3.58% | 불안정 |
| **t=0.7, rep=1.3** | **0.00%** | **권장 1순위** |
| **t=0.9, rep=1.2** | **0.00%** | **권장 2순위** |

### 4.2 권장 생성 파라미터

```python
# 1순위 — 일관성/정확성 중시 (사실 기술, Q&A)
temperature = 0.7
repetition_penalty = 1.3
do_sample = True

# 2순위 — 다양성/창의성 중시 (스토리, 브레인스토밍)
temperature = 0.9
repetition_penalty = 1.2
do_sample = True
```

### 4.3 주요 생성 문제점

1. **모든 설정에서 EOS 도달률 0%**: 자연스러운 텍스트 종료 불가 — max_length에 의해 강제 중단
2. **Greedy decoding 사용 불가**: repetition penalty 없이는 즉시 반복 루프
3. **사실 오류**: "대한민국의 수도는 인천" 등 기본 사실 오류
4. **학습 데이터 노이즈 유출**: 웹 게시판 목록, 스포츠 칼럼 등 무관한 내용 생성

---

## 5. 벤치마크 결과 요약

### 5.1 결과표

| 벤치마크 | 점수 | 랜덤 Baseline | 차이 |
|---------|-----|------------|------|
| KoBEST BoolQ | 50.14% | 50.0% | +0.1% |
| KoBEST COPA | 49.40% | 50.0% | -0.6% |
| KoBEST HellaSwag | 21.60% (norm) | 25.0% | -3.4% |
| KoBEST SentiNeg | 50.13% | 50.0% | +0.1% |
| KoBEST WiC | 48.81% | 50.0% | -1.2% |
| **KoBEST 평균** | **~47.7%** | ~49.0% | -1.3% |
| HAE-RAE | 19.98% | 20.0% | -0.02% |
| Global MMLU-KO | 미평가 | — | — |

### 5.2 기대치 및 해석

**이 점수는 실패가 아니다.** Instruction tuning 없는 base LLM은 선택형 벤치마크에서 랜덤 수준의 성능을 보이는 것이 일반적이다. Llama-3.2-3B, Qwen2.5-3B, EXAONE 등 유명 오픈소스 모델들도 base 상태에서는 동일한 현상을 보인다.

모델의 실제 언어 이해 능력 지표:
- PPL 5.23 (양호한 언어 모델링 능력)
- Top-1 accuracy 68.75% (준수한 토큰 예측 능력)
- 이 두 지표는 벤치마크 점수와 무관하게 모델이 한국어 텍스트 패턴을 잘 학습했음을 나타낸다.

---

## 6. 알려진 문제점 (Known Issues)

| 문제 | 심각도 | 해결 방법 |
|------|--------|---------|
| Greedy decoding 극심한 반복 | Critical | repetition_penalty >= 1.2 적용 필수 |
| EOS 토큰 미생성 | High | SFT로 해결 예정 |
| 사실 오류 (Hallucination) | High | SFT + RLHF로 개선 |
| 벤치마크 랜덤 수준 성능 | Medium | SFT 필요 (예상된 결과) |
| 나무위키 PPL 25.88 | Medium | 데이터 믹스 재조정 또는 추가 학습 |
| MMLU-KO 평가 실패 | Low | lm-eval 버전 업그레이드 |
| 학습 데이터 노이즈 유출 | Low | 데이터 필터링 강화 |

---

## 7. 다음 단계 권장 사항

### 7.1 단기 (즉시)

1. **MMLU-KO 평가 환경 수정**: lm-eval 업그레이드 후 재평가
2. **생성 파라미터 고정**: 모든 서비스에서 `temperature=0.7, repetition_penalty=1.3` 적용
3. **SFT 데이터 큐레이션 시작**: KoAlpaca, OpenOrca-KO, ORCA-style 한국어 데이터 준비

### 7.2 중기 (1~2주)

4. **Instruction SFT 실행**:
   ```bash
   torchrun --nproc_per_node=8 train/sft.py \
     --base_model checkpoints/checkpoint-0057000 \
     --data data/sft/korean_instruction.jsonl \
     --output checkpoints/sft_v1
   ```

5. **SFT 후 동일 벤치마크 재평가**: KoBEST, HAE-RAE, MMLU-KO 재측정

6. **DPO/ORPO 적용 검토**: SFT 후 alignment 학습으로 hallucination 감소

### 7.3 장기 (1개월+)

7. **계속 사전학습 (Continual Pretraining)**: 나무위키, CC-100 데이터 추가 학습으로 PPL 개선
8. **RLHF**: 인간 피드백 기반 강화학습으로 최종 품질 향상
9. **모델 경량화**: 4-bit quantization, GGUF 변환으로 배포 준비

---

## 8. 컴퓨팅 자원 사용 통계

### 8.1 평가 파이프라인

| Phase | 태스크 | 사용 GPU | 소요 시간 | 비고 |
|-------|--------|---------|---------|------|
| Phase 1 | PPL (3b_val) | GPU 2 단독 | ~37분 | 전체 파이프라인 병목 |
| Phase 1 | PPL (나머지 18개) | GPU 3+4 병렬 | ~7.7분 | 병렬 실행 효율적 |
| Phase 1 | Calibration + NLL | GPU 5 | 3.6초 | 매우 빠름 |
| Phase 1 | 생성 품질 | GPU 6 | 2분 22초 | 15 프롬프트×4온도 |
| Phase 1 | Repetition 그리드 | GPU 7 | 포함 | 11개 설정×5 프롬프트 |
| Phase 2 | 0-shot 벤치마크 | GPU 2~7 | 2분 16초 | 6 GPU 병렬 |
| **전체** | **모든 평가** | **GPU 2~7 (6개)** | **39분 36초** | GPU 0,1 미사용 |

### 8.2 평가 커버리지

| 지표 | 총 평가 토큰 수 |
|------|-------------|
| Perplexity (19개 val set) | ~5.62억 토큰 |
| Calibration + NLL | 144,802 토큰 |
| Generation | 60 × 256 = 15,360 토큰 |
| Repetition Grid | ~11 × 5 × 256 = ~14,080 토큰 |

---

## 9. 상세 보고서 링크

| 보고서 | 내용 |
|--------|------|
| [01_perplexity_report.md](01_perplexity_report.md) | 19개 val set PPL 상세, 도메인별 분석, 학습 데이터 구성 추론 |
| [02_calibration_report.md](02_calibration_report.md) | Calibration 지표, Token NLL 분포, 고손실 토큰 분석 |
| [03_generation_quality_report.md](03_generation_quality_report.md) | 온도별 생성 품질, 반복 그리드 서치, 권장 파라미터 |
| [04_benchmark_report.md](04_benchmark_report.md) | KoBEST/HAE-RAE 결과, 참조 모델 비교, MMLU-KO 이슈 |

---

## 10. 종합 판정

### 학습 단계별 기대와 현실

| 단계 | 예상 | 현재 상태 | 판정 |
|------|------|----------|------|
| Pretraining 완료 | PPL < 6.0 | PPL 5.23 | 달성 |
| Calibration | Top-1 > 65% | 68.75% | 달성 |
| 벤치마크 (0-shot) | 랜덤 수준 | 랜덤 수준 | 예상됨 |
| 생성 품질 | rep_penalty 필요 | rep_penalty 필수 | 예상됨 |
| EOS 생성 | SFT 후 가능 | 0% (현재) | SFT 필요 |

### 최종 평가

FRANKENSTALLM 3B는 **사전학습 단계의 목표를 달성한 모델**이다. PPL 5.23과 Top-1 accuracy 68.75%는 3B 규모 한국어 base 모델로서 합리적인 성능이다. repetition penalty를 적용하면 품질 있는 한국어 텍스트를 생성할 수 있는 기초 능력이 검증되었다.

현재 상태는 SFT/RLHF를 위한 **준비된 base 모델**이며, 다음 단계로의 전환이 권장된다.

---

*이 보고서는 FRANKENSTALLM 3B checkpoint-0057000 평가 결과를 기반으로 2026-03-05에 작성되었습니다.*
*평가 실행: `/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_full_eval_20260305_0318/`*
