# FRANKENSTALLM 3B — Perplexity 평가 보고서

- **모델**: FRANKENSTALLM 3B (checkpoint-0057000)
- **평가 일시**: 2026-03-05 03:18 KST
- **보고서 작성일**: 2026-03-05
- **평가 데이터셋**: 19개 validation set
- **총 평가 토큰**: 약 5.62억 토큰 (Eval Tokens 기준)

---

## 1. 요약

| 지표 | 값 |
|------|-----|
| 주 Validation Set PPL (3b_val) | **5.2263** |
| 주 Validation Set Bits/Token | **2.3858** |
| 최저 PPL (가장 쉬운 도메인) | **2.4028** (hplt_ko) |
| 최고 PPL (가장 어려운 도메인) | **25.8814** (korean_namuwiki) |
| 전체 도메인 PPL 범위 | 2.40 ~ 25.88 |

주 validation set인 `3b_val` 기준 PPL **5.23**은 스크래치 사전학습(pretraining)된 3B 규모 한국어 모델로서 합리적인 수준이다. HPLT와 수학 도메인에서 매우 낮은 PPL이 관측되었으나, 나무위키 계열과 CC-100 한국어 데이터에서 현저히 높은 PPL이 관측되었다. 이는 학습 데이터 구성(data composition)과 직접적인 연관이 있다.

---

## 2. 전체 PPL 결과 (오름차순 정렬)

아래 표는 PPL 기준 오름차순 정렬이다. PPL이 낮을수록 모델이 해당 도메인을 더 잘 이해함을 의미한다.

| 순위 | 데이터셋 | PPL | Bits/Token | Eval Tokens | 소요시간(s) | 카테고리 |
|------|---------|-----|-----------|------------|-----------|---------|
| 1 | hplt_ko | 2.4028 | 1.2647 | 48,460,462 | 475.9 | 한국어 웹 |
| 2 | cosmo_khanacademy | 2.9322 | 1.5520 | 138,662 | 1.5 | Cosmo 교육 |
| 3 | mathpile | 2.7244 | 1.4459 | 7,129,052 | 69.9 | 수학 |
| 4 | cosmo_auto_math_text | 3.1492 | 1.6550 | 7,888,877 | 77.3 | Cosmo 수학 |
| 5 | cosmo_stanford | 3.3624 | 1.7495 | 6,642,457 | 65.3 | Cosmo 교육 |
| 6 | cosmo_wikihow | 3.3097 | 1.7267 | 1,180,927 | 11.8 | Cosmo 생활정보 |
| 7 | cosmo_openstax | 3.8673 | 1.9513 | 723,497 | 7.2 | Cosmo 교육 |
| 8 | cosmo_stories | 3.9552 | 1.9837 | 18,881,012 | 185.2 | Cosmo 영어 스토리 |
| 9 | cosmo_web_v2 | 4.1664 | 2.0588 | 8,616,467 | 84.6 | Cosmo 웹 |
| 10 | **3b_val (주 val set)** | **5.2263** | **2.3858** | **226,891,932** | 2227.3 | 주 val set |
| 11 | korean_c4 | 5.7173 | 2.5153 | 45,445,722 | 443.1 | 한국어 웹 |
| 12 | open_web_math | 6.9264 | 2.7921 | 15,677,467 | 153.5 | 수학(영어) |
| 13 | korean | 7.0155 | 2.8105 | 53,512,147 | 521.6 | 한국어 웹 |
| 14 | wikipedia_ko | 10.7059 | 3.4203 | 1,765,762 | 17.4 | 한국어 위키 |
| 15 | korean_wiki | 11.8359 | 3.5651 | 1,567,747 | 15.5 | 한국어 위키 |
| 16 | namuwiki_2023b | 18.9170 | 4.2416 | 7,654,022 | 75.1 | 나무위키 |
| 17 | val (generic) | 18.3046 | 4.1941 | 9,110,737 | 89.4 | 일반(영어?) |
| 18 | cc100_ko | 21.7820 | 4.4451 | 13,585,262 | 133.2 | 한국어 웹 |
| 19 | korean_namuwiki | 25.8814 | 4.6938 | 6,488,957 | 63.7 | 나무위키 |

---

## 3. 도메인별 그룹 분석

### 3.1 주 Validation Set

| 데이터셋 | PPL | Bits/Token | Eval Tokens |
|---------|-----|-----------|------------|
| 3b_val | 5.2263 | 2.3858 | 226,891,932 |

`3b_val`은 학습 데이터와 동일한 분포에서 추출된 주 validation set이다. 약 2.27억 토큰 규모이며, 총 평가 소요 시간 37분의 대부분을 차지했다. PPL 5.23은 모델이 이 분포를 잘 학습했음을 시사한다.

---

### 3.2 한국어 웹 데이터

| 데이터셋 | PPL | 비고 |
|---------|-----|-----|
| hplt_ko | **2.4028** | 최우수 성능 — 학습 데이터에 HPLT 비중이 높음 |
| korean_c4 | 5.7173 | 주 val set과 유사한 수준 |
| korean | 7.0155 | 약간 높은 PPL — 다소 다른 분포 |
| cc100_ko | 21.7820 | 매우 높은 PPL — 학습 데이터 미포함 가능성 |

**분석**: `hplt_ko`의 매우 낮은 PPL(2.40)은 학습 데이터에서 HPLT 코퍼스의 비중이 높았음을 강하게 시사한다. 반면 `cc100_ko`의 PPL(21.78)은 해당 데이터가 학습 데이터에 포함되지 않았거나 극히 적은 비중이었음을 나타낸다.

---

### 3.3 Cosmo 코퍼스 (영어 중심)

| 데이터셋 | PPL | 비고 |
|---------|-----|-----|
| cosmo_khanacademy | 2.9322 | 최우수 — KhanAcademy 교육 콘텐츠 |
| cosmo_auto_math_text | 3.1492 | 수학 관련 자동 생성 텍스트 |
| cosmo_stanford | 3.3624 | Stanford 강의 자료 |
| cosmo_wikihow | 3.3097 | WikiHow 생활정보 |
| cosmo_openstax | 3.8673 | OpenStax 교과서 |
| cosmo_stories | 3.9552 | 이야기/소설 스타일 |
| cosmo_web_v2 | 4.1664 | 일반 웹 텍스트 |

**분석**: Cosmo 코퍼스 전체가 PPL 3.0~4.2 범위로 우수한 성능을 보인다. 이는 모델이 영어를 포함한 다국어 텍스트 패턴을 잘 학습했음을 의미한다. KhanAcademy와 수학 텍스트에서 특히 낮은 PPL을 보이는 것은 수학적/교육적 텍스트 학습이 효과적으로 이루어졌음을 나타낸다.

---

### 3.4 위키백과 / 나무위키

| 데이터셋 | PPL | 비고 |
|---------|-----|-----|
| wikipedia_ko | 10.7059 | 한국어 위키 |
| korean_wiki | 11.8359 | 한국어 위키 (다른 버전) |
| namuwiki_2023b | 18.9170 | 나무위키 2023 버전 |
| korean_namuwiki | 25.8814 | 나무위키 (최고 PPL) |

**분석**: 위키 계열 데이터에서 PPL이 전반적으로 높다. 특히 나무위키의 PPL(19~26)이 매우 높은데, 이는 나무위키 특유의 문체(구어체, 인터넷 슬랭, 밈, 중괄호 등의 위키 마크업)가 학습 데이터에 충분히 포함되지 않았음을 의미한다. 표준 위키백과도 PPL 10~12 수준으로, 공식적인 백과사전 문체에 대한 노출이 부족했던 것으로 추정된다.

---

### 3.5 수학 데이터

| 데이터셋 | PPL | 비고 |
|---------|-----|-----|
| mathpile | 2.7244 | 최우수 수학 코퍼스 |
| cosmo_auto_math_text | 3.1492 | 수학 자동 텍스트 |
| open_web_math | 6.9264 | 웹 수학 데이터 (영어) |

**분석**: `mathpile`에서 PPL 2.72라는 매우 낮은 수치가 관측되었다. 이는 학습 데이터에 mathpile 또는 유사한 수학 코퍼스가 상당량 포함되었음을 의미한다. `open_web_math`의 PPL(6.93)이 상대적으로 높은 것은, 해당 데이터의 분포가 학습 시 사용한 수학 데이터와 다소 차이가 있음을 나타낸다.

---

### 3.6 일반(Generic) Validation Set

| 데이터셋 | PPL | 비고 |
|---------|-----|-----|
| val (generic) | 18.3046 | 일반 영어 텍스트 추정 |

**분석**: `val`(generic) 데이터셋의 PPL이 18.3으로 매우 높다. 이 데이터셋의 정확한 출처가 명확하지 않지만, 학습 분포와 상이한 도메인이거나 영어 중심 텍스트일 가능성이 높다.

---

## 4. 학습 데이터 구성 추론

PPL 결과를 통해 학습 데이터 구성을 역추론할 수 있다:

| 추론 결과 | 근거 |
|----------|------|
| HPLT 한국어 코퍼스 비중 **높음** | hplt_ko PPL 2.40 (최저) |
| MathPile 또는 유사 수학 코퍼스 포함 | mathpile PPL 2.72 |
| Cosmo 계열 영어 데이터 포함 | cosmo_* 전반적으로 PPL 3~4 |
| CC-100 한국어 비중 **낮음 또는 미포함** | cc100_ko PPL 21.78 |
| 나무위키 비중 **낮음** | korean_namuwiki PPL 25.88 |
| 한국어 위키백과 비중 **보통** | wikipedia_ko PPL 10.7 |

---

## 5. 도메인별 Bits/Token 시각화 (텍스트 막대 그래프)

```
도메인              Bits/Token  [████ 낮을수록 우수]
hplt_ko            1.26  ████
mathpile           1.45  █████
cosmo_khanacademy  1.55  █████
cosmo_auto_math    1.66  ██████
cosmo_wikihow      1.73  ██████
cosmo_stanford     1.75  ██████
cosmo_openstax     1.95  ███████
cosmo_stories      1.98  ███████
cosmo_web_v2       2.06  ████████
3b_val             2.39  █████████
korean_c4          2.52  ██████████
open_web_math      2.79  ███████████
korean             2.81  ███████████
wikipedia_ko       3.42  █████████████
korean_wiki        3.57  ██████████████
val (generic)      4.19  █████████████████
namuwiki_2023b     4.24  █████████████████
cc100_ko           4.45  ██████████████████
korean_namuwiki    4.69  ███████████████████
```

---

## 6. 평가 파이프라인 효율성

| 구간 | 소요 시간 | 비고 |
|------|---------|------|
| 3b_val (단일 GPU) | 37분 7.3초 | 전체 파이프라인의 병목 |
| 나머지 18개 dataset | ~7분 40초 | GPU 3+4 병렬 실행 |
| 전체 Phase 1 | ~37분 | 3b_val이 지배적 |

3b_val 평가에 GPU 2장을 추가 병렬화하거나 sliding window 방식으로 eval batch size를 키우면 파이프라인 총 소요 시간을 크게 단축할 수 있다.

---

## 7. 결론 및 권장 사항

1. **현재 모델 품질**: 주 val set PPL 5.23은 스크래치 학습 3B 한국어 모델로 합리적이나, 추가 학습 또는 데이터 믹스 보정을 통해 4.0 이하 달성이 목표가 될 수 있다.

2. **나무위키 데이터 보강**: korean_namuwiki PPL 25.88을 개선하기 위해 다음 학습 단계에서 나무위키 비중을 높일 것을 권장한다.

3. **CC-100 검토**: cc100_ko PPL 21.78은 데이터 품질 문제일 수 있다. CC-100은 웹 크롤링 품질이 낮은 것으로 알려져 있어, 의도적 미포함일 가능성도 있다.

4. **위키백과 강화**: wikipedia_ko PPL 10.7은 사실 기반 질의응답 성능과 직결된다. SFT 전 추가 위키 데이터 학습이 유익할 수 있다.

5. **평가 병목 해소**: 차기 평가 시 3b_val을 다중 GPU로 분산하여 전체 평가 시간을 20분 이하로 단축 가능.

---

*관련 보고서: [02_calibration_report.md](02_calibration_report.md) | [03_generation_quality_report.md](03_generation_quality_report.md) | [04_benchmark_report.md](04_benchmark_report.md) | [00_executive_summary.md](00_executive_summary.md)*
