# FRANKENSTALLM 3B — Calibration & Token NLL 분포 보고서

- **모델**: FRANKENSTALLM 3B (checkpoint-0057000)
- **평가 일시**: 2026-03-05 03:18 KST
- **평가 GPU**: GPU 5 (단독 실행)
- **평가 소요 시간**: 3.6초 (calibration 2.0s + NLL 1.6s)
- **평가 토큰 수**: 144,802 tokens

---

## 1. 요약

| 지표 | 값 | 해석 |
|------|-----|------|
| Top-1 Accuracy | **68.75%** | 다음 토큰을 정확히 예측할 확률 |
| Top-5 Accuracy | **81.64%** | 정답이 상위 5개 예측에 포함될 확률 |
| Top-10 Accuracy | **85.93%** | 정답이 상위 10개 예측에 포함될 확률 |
| Mean Correct Prob | **0.6152** | 정답 토큰의 평균 예측 확률 |
| Mean Entropy | **1.5682 bits** | 예측 분포의 평균 불확실성 |
| NLL Mean | **1.5561 nats** | 평균 negative log-likelihood |
| NLL Median | **0.1221 nats** | 중앙값 NLL (median << mean = 우편향 분포) |

**핵심 발견**: 이 모델은 대부분의 토큰(중앙값 NLL 0.12)에 대해서는 매우 확실하게 예측하지만, 일부 고난이도 토큰에서 극단적으로 높은 손실이 발생하는 **이중 모드 분포(bimodal-like distribution)**를 보인다.

---

## 2. Calibration 지표 상세

### 2.1 Top-K Accuracy

```
Top-1:  68.75%  ████████████████████████████░░░░░░░░░░░░░  (랜덤 baseline: <0.1%)
Top-5:  81.64%  █████████████████████████████████░░░░░░░░
Top-10: 85.93%  ██████████████████████████████████░░░░░░░
```

**해석**:
- Top-1 68.75%는 사전학습 모델로서 준수한 수준이다. 언어 모델의 top-1 정확도는 PPL과 역관계이며, PPL 5.23에서 이 수치는 예상 범위 내이다.
- Top-5와 Top-1의 차이(+12.89%)는 정답 후보 중 상위권에 정답이 포함되어 있음을 의미하므로, 빔 서치(beam search)나 Top-K 샘플링 시 성능이 향상될 것으로 기대된다.
- Top-10에서의 포화(85.93%)는 토큰 예측의 상당수가 확실하게 수렴됨을 보여준다.

### 2.2 Mean Correct Probability vs. Entropy

| 지표 | 값 | 의미 |
|------|-----|------|
| Mean Correct Prob | 0.6152 | 정답 토큰이 평균 61.5% 확률로 예측됨 |
| Mean Entropy | 1.5682 bits | 예측 분포가 평균 약 3.0개 유효 후보를 가짐 (2^1.57) |

- **Correct Prob 0.615 vs. Entropy 1.57 bits**: 모델이 정답을 높은 확률로 예측하지만, 일부 위치에서는 불확실성이 큼을 나타낸다.
- **Effective vocabulary size** (= 2^entropy): 약 2.97 — 평균적으로 모델이 약 3개의 토큰 후보를 고르게 고려한다.

---

## 3. Token NLL 분포 분석

### 3.1 백분위 분포표

| 백분위 | NLL 값 | 해석 |
|--------|--------|------|
| p5 | **0.0000** | 하위 5% 토큰은 NLL이 거의 0 (완벽 예측) |
| p25 (Q1) | **0.0017** | 상위 75% 토큰은 NLL < 0.0017 — 거의 확실한 예측 |
| p50 (Median) | **0.1221** | 절반 이상의 토큰은 NLL 0.12 미만 |
| p75 (Q3) | **2.3594** | 상위 25% 토큰은 NLL > 2.36 |
| p95 | **7.0312** | 상위 5% 토큰은 NLL > 7.03 |
| p99 | **10.3125** | 상위 1% 토큰은 NLL > 10.31 |
| Mean | **1.5561** | 평균 NLL (중앙값의 12.8배 = 극단값에 의해 끌림) |
| Std | **2.4926** | 매우 높은 표준편차 — 분포의 넓은 산포 |

### 3.2 고손실(High-Loss) 토큰 비율

| 임계값 | 비율 | 토큰 수 (추정) |
|--------|------|-------------|
| NLL > 5.0 | **10.86%** | ~15,705 tokens |
| NLL > 10.0 | **1.18%** | ~1,709 tokens |

### 3.3 NLL 분포 형태 분석

```
NLL 분포 (개략적 밀도):

       ▄▄▄
      █████                              ← 압도적 다수가 낮은 NLL에 집중
  ░░░░████████░                          (p50 = 0.12)
  0   0.5   1   2   3   4   5   7   10+ NLL
                                   ▄ ▄  ← 고손실 토큰 분포 (꼬리)

중앙값(0.12) <<< 평균(1.56): 강한 우편향(right-skewed) 분포
IQR = p75 - p25 = 2.36 - 0.00 = 2.36  (범위가 매우 넓음)
```

**해석**: 이 분포는 두 가지 다른 패턴을 보여준다:

1. **"쉬운" 토큰 (약 75%)**: NLL < 2.36로, 모델이 매우 확실하게 예측하는 구조적 토큰들(조사, 어미, 자주 등장하는 어휘 등)
2. **"어려운" 토큰 (약 25%)**: NLL > 2.36으로, 고유명사, 낮은 빈도의 어휘, 문맥 의존적 의미 결정이 필요한 토큰들

---

## 4. 고손실 토큰 분석

### 4.1 NLL > 5.0 토큰 (10.86%)

전체 토큰의 약 1/10이 NLL 5.0을 초과하는 고손실 구간에 있다. 이는 모델이 해당 위치의 토큰을 거의 예측하지 못함(확률 e^-5 ≈ 0.7% 이하)을 의미한다. 고손실 토큰은 일반적으로 다음과 같은 특성을 가진다:

| 유형 | 설명 | 예시 |
|------|------|------|
| 희귀 어휘 | 학습 데이터에서 매우 드물게 등장한 토큰 | 전문 용어, 신조어 |
| 고유명사 | 특정 인물, 지명, 제품명 등 | "홍길동", "강남구청역" |
| 문맥 의존적 전환 | 이전 문맥과 급격히 다른 방향 전환 | 화제 전환 지점 |
| 나무위키 마크업 | `[[`, `]]`, 중괄호 등 | 위키 문법 토큰 |
| 숫자/특수문자 조합 | 복잡한 숫자-텍스트 혼합 | "1,234,567원" |

### 4.2 NLL > 10.0 토큰 (1.18%)

극단적으로 높은 손실을 보이는 상위 1.18% 토큰은 모델이 사실상 예측 불가능한 위치이다. 확률로 환산하면 e^-10 ≈ 0.0045% 이하로, 모델이 해당 토큰의 등장을 전혀 예측하지 못한 경우이다.

---

## 5. Calibration 품질 평가

### 5.1 과신(Overconfidence) vs. 과소신(Underconfidence) 분석

Mean Correct Probability 0.6152와 Top-1 Accuracy 0.6875의 관계:
- 정답 예측 시 평균 확률 0.615는 상당히 높은 편
- 하지만 오답 예측 시 확률이 어떻게 분포되는지는 추가 분석 필요
- Mean Entropy 1.57 bits ≈ PPL 환산 시 약 3.0 — 실제 PPL 5.23과 차이가 있음

**Note**: 이 calibration은 샘플 데이터(144K 토큰)로 측정되었으며, 전체 3b_val(226M 토큰) 기준과 결과가 다를 수 있다.

### 5.2 다른 모델과의 비교 (참고)

| 모델 유형 | 예상 Top-1 Acc | 이 모델 |
|----------|--------------|--------|
| 무작위 예측 (vocab ~32K) | ~0.003% | — |
| GPT-2 수준 (1.5B, 영어) | ~55-60% | — |
| 3B 사전학습 모델 (일반) | ~65-72% | **68.75%** |
| 7B 파인튜닝 모델 (참고) | ~73-78% | — |

FRANKENSTALLM 3B의 Top-1 68.75%는 동급 3B 사전학습 모델의 전형적인 범위(65-72%) 내에 있다.

---

## 6. 결론 및 개선 방향

### 긍정적 신호
- Top-1 68.75%: 스크래치 학습 3B 모델로서 정상 범위
- 중앙값 NLL 0.12: 대다수 토큰에 대해 매우 확신 있는 예측
- Top-5/Top-10 gap이 작음: 상위 후보가 빠르게 수렴

### 개선이 필요한 부분
- 고손실 토큰 10.86% (NLL > 5): 희귀 어휘 커버리지 부족
- NLL 표준편차 2.49: 예측 품질의 일관성 부족 — SFT를 통한 개선 가능
- 극단 토큰 1.18% (NLL > 10): 완전 실패 케이스 존재

### 권장 조치
1. **토크나이저 어휘 분석**: 고손실 토큰의 패턴을 분석하여 BPE 어휘 구성 최적화
2. **데이터 믹스 재조정**: 나무위키, 위키백과 비중 증가로 위키 도메인 NLL 개선
3. **Annealing 단계 추가**: 학습 후반부 LR을 더 낮게 조정하여 고손실 구간 개선
4. **SFT 이후 재평가**: Instruction tuning 후 calibration이 어떻게 변화하는지 추적

---

*관련 보고서: [01_perplexity_report.md](01_perplexity_report.md) | [03_generation_quality_report.md](03_generation_quality_report.md) | [04_benchmark_report.md](04_benchmark_report.md) | [00_executive_summary.md](00_executive_summary.md)*
