# FRANKENSTALLM 3B — 표준 벤치마크 보고서

- **모델**: FRANKENSTALLM 3B (checkpoint-0057000)
- **평가 일시**: 2026-03-05 03:18 KST
- **평가 도구**: lm-evaluation-harness (EleutherAI)
- **평가 방식**: 0-shot (few-shot 미포함)
- **평가 소요 시간**: Phase 2 전체 2분 16초

---

## 1. 요약

| 벤치마크 | 결과 | 랜덤 baseline | 판정 |
|---------|------|-------------|------|
| KoBEST BoolQ | 50.14% | ~50% (2-way) | 랜덤 수준 |
| KoBEST COPA | 49.40% | ~50% (2-way) | 랜덤 수준 |
| KoBEST HellaSwag | 21.60% (norm) | ~25% (4-way) | 랜덤 수준 |
| KoBEST SentiNeg | 50.13% | ~50% (2-way) | 랜덤 수준 |
| KoBEST WiC | 48.81% | ~50% (2-way) | 랜덤 수준 |
| HAE-RAE | 19.98% | ~20% (5-way) | 랜덤 수준 |
| Global MMLU-KO | 미평가 | — | 레지스트리 오류 |

**전체 판정**: 모든 벤치마크에서 랜덤 baseline과 통계적으로 유의미한 차이 없음. 이는 **instruction tuning 없는 base 모델에서 예상되는 정상적인 결과**이다.

---

## 2. KoBEST 상세 결과

KoBEST(Korean Best: Korean Balanced Evaluation of Short Text)는 SKT에서 공개한 한국어 NLU 벤치마크로, 5개 subtask로 구성된다.

### 2.1 KoBEST 전체 결과표

| Task | Accuracy | Acc Std Error | F1 | 답변 유형 | 랜덤 baseline |
|------|----------|-------------|-----|---------|-------------|
| BoolQ | 0.5014 (50.14%) | ±1.33% | 0.334 | 2-way (예/아니오) | 50.0% |
| COPA | 0.4940 (49.40%) | ±1.58% | 0.493 | 2-way (원인/결과 선택) | 50.0% |
| HellaSwag (raw) | 0.1940 (19.40%) | ±1.77% | 0.193 | 4-way (문장 완성) | 25.0% |
| HellaSwag (norm) | **0.2160 (21.60%)** | ±1.84% | — | 4-way (길이 정규화) | 25.0% |
| SentiNeg | 0.5013 (50.13%) | ±2.51% | 0.467 | 2-way (긍/부정) | 50.0% |
| WiC | 0.4881 (48.81%) | ±1.41% | 0.329 | 2-way (동음이의어 판별) | 50.0% |

### 2.2 Task별 상세 분석

#### BoolQ (예/아니오 질문)
- **점수**: 50.14% (랜덤과 동일)
- **F1**: 0.334 — F1이 accuracy보다 낮은 것은 모델이 한쪽 클래스에 편향 예측 중임을 시사
- **해석**: 자연어 추론(NLI) 능력이 없는 상태. SFT 후 70%+ 달성 기대.

#### COPA (인과관계 추론)
- **점수**: 49.40% (랜덤 이하)
- **F1**: 0.493 — BoolQ보다 균형 잡힌 예측 분포
- **해석**: 원인-결과 관계 이해가 거의 없음. Base 모델에서는 전형적인 결과.

#### HellaSwag (상식적 문장 완성)
- **점수**: 21.60% (normalized), 19.40% (raw)
- **랜덤 baseline**: 25% (4-way)
- **해석**: raw accuracy는 랜덤보다도 낮으나 길이 정규화 후 개선. 4-way 선택이므로 25% baseline 대비 여전히 낮다. 가장 많은 개선 여지가 있는 task.

#### SentiNeg (감성 분석)
- **점수**: 50.13% (랜덤과 동일)
- **F1**: 0.467 — 한쪽 클래스에 약간 편향
- **해석**: 감성 분류 능력 없음. 단순 긍/부정 패턴도 학습 안 됨.

#### WiC (단어 의미 동일성 판별)
- **점수**: 48.81% (랜덤보다 약간 낮음)
- **F1**: 0.329 — 심각한 클래스 편향
- **해석**: 문맥에 따른 단어 의미 구분 능력 없음. 가장 낮은 F1 점수.

### 2.3 KoBEST 에러 분석

F1 점수가 Accuracy보다 현저히 낮은 task(BoolQ: acc 0.50 vs F1 0.33, WiC: acc 0.49 vs F1 0.33)는 모델이 2개 클래스 중 한쪽만 반복적으로 예측하는 **클래스 불균형 편향**을 보임을 나타낸다.

---

## 3. HAE-RAE 결과

HAE-RAE(한국어 AI 평가 데이터셋)는 한국 문화, 역사, 법률, 경제 등 한국 특화 지식을 평가하는 벤치마크이다.

| 지표 | 값 |
|------|-----|
| Accuracy | 0.1998 (19.98%) |
| Acc Norm | 0.1998 (19.98%) |
| Acc Std Error | ±1.21% |
| 랜덤 baseline (5-way) | ~20.0% |

**해석**: HAE-RAE는 5-way 선택형 과제로 랜덤 baseline이 20%이다. 모델 점수 19.98%는 랜덤과 사실상 동일하다. 한국 특화 지식(문화, 역사, 법률)에 대한 추론 능력이 없는 상태이다.

---

## 4. Global MMLU-KO 미평가 이슈

### 4.1 오류 상황

평가 시도한 57개 MMLU-KO 서브태스크(abstract_algebra ~ world_religions) 전부가 평가되지 않았다.

```
tasks_requested: 57개 (global_mmlu_ko_abstract_algebra ~ global_mmlu_ko_world_religions)
tasks_evaluated: 0개
tasks_skipped: 57개 (전부)
사유: "tasks not in registry"
```

### 4.2 원인

설치된 lm-evaluation-harness 버전에 `global_mmlu_ko_*` 태스크가 등록되지 않았다. 이는 버전 불일치 또는 패키지 미설치 문제이다.

### 4.3 해결 방법

```bash
# 방법 1: lm-eval 최신 버전으로 업그레이드
pip install lm-eval --upgrade

# 방법 2: global_mmlu 태스크 수동 등록
# lm_eval/tasks/global_mmlu/ko/ 디렉토리 확인 필요

# 방법 3: MMLU 대신 kmmlu 사용
pip install lm-eval[ko]
python -m lm_eval --tasks kmmlu --model hf ...
```

차기 평가 시 MMLU-KO 결과를 포함할 것을 강력히 권장한다. MMLU 점수는 모델의 세계 지식 수준을 정량적으로 비교하는 핵심 지표이다.

---

## 5. 참조 모델과의 비교

### 5.1 KoBEST 평균 비교 (0-shot)

아래 참조값은 공개 논문 및 리더보드에서 수집하였으며, 평가 조건이 다를 수 있으므로 참고용으로만 사용할 것.

| 모델 | 파라미터 | 모델 유형 | KoBEST avg | HAE-RAE | MMLU-KO |
|------|---------|---------|-----------|---------|--------|
| **FRANKENSTALLM 3B** | **3B** | **Base (0-shot)** | **~47.7%** | **20.0%** | **미평가** |
| Llama-3.2-3B (base) | 3B | Base | ~50-55% | ~30-35% | ~35-40% |
| Qwen2.5-3B (base) | 3B | Base | ~55-62% | ~38-42% | ~45-50% |
| EXAONE-3.5-2.4B (base) | 2.4B | Base | ~50-58% | ~35-40% | ~38-44% |
| Llama-3.2-3B-Instruct | 3B | Instruct | ~68-72% | ~55-60% | ~50-55% |
| Qwen2.5-3B-Instruct | 3B | Instruct | ~72-78% | ~62-67% | ~58-65% |

*참고: 위 비교 모델들의 수치는 공개 벤치마크 기준 추정값이며, 정확한 비교를 위해서는 동일 환경에서 재평가 필요.*

### 5.2 해석

FRANKENSTALLM 3B의 KoBEST 평균 ~47.7%는 동급 외국 모델의 base 버전(50-62%)보다 낮다. 이 차이는 주로:

1. **학습 데이터 분포**: FRANKENSTALLM은 한국어 특화 데이터로 학습되었지만, 다양한 NLU task에 필요한 추론 패턴 학습이 부족할 수 있다.
2. **학습 단계**: step 57,000은 전체 계획 대비 초기 단계일 수 있다.
3. **0-shot 특성**: Base 모델은 0-shot에서 일반적으로 낮은 성능을 보이며, few-shot 또는 SFT 후 급격히 향상된다.

---

## 6. 0-shot vs. 5-shot 비교

Phase 2에서 0-shot과 5-shot 평가가 모두 수행되었으나, 결과 파싱 과정에서 5-shot 데이터가 별도 집계되지 않았다. 일반적으로 base 모델의 경우 5-shot이 0-shot 대비 5-15%p 향상을 보인다.

차기 평가에서 명시적인 0-shot vs. 5-shot 비교를 수행하여 모델의 in-context learning 능력을 평가할 것을 권장한다.

---

## 7. 벤치마크 결과에 대한 올바른 해석

### 이 결과가 의미하는 것

- Instruction tuning 없는 base LLM의 **전형적이고 정상적인 성능**
- 랜덤 수준의 벤치마크 점수 ≠ 모델 실패
- Base 모델의 실제 능력은 PPL, calibration, 생성 품질로 더 잘 평가됨

### 이 결과가 의미하지 않는 것

- 모델이 한국어를 이해하지 못함 (PPL 5.23, calibration 68.75%가 이를 반증)
- 모델이 쓸모없음 (SFT/RLHF의 기초 모델로서 적합)
- 개발 실패

### 다음 단계에서의 기대 성능

SFT 적용 후 예상 개선:

| Task | 현재 (Base) | SFT 후 예상 |
|------|-----------|-----------|
| KoBEST avg | ~47.7% | ~65-72% |
| HAE-RAE | ~20% | ~50-58% |
| MMLU-KO | 미평가 | ~38-45% |
| 생성 품질 | 반복/탈선 | 자연스러운 응답 |
| EOS 도달률 | 0% | 85%+ |

---

## 8. 결론

현재 벤치마크 점수는 랜덤 baseline과 동일한 수준이지만, 이는 base model에서 예상되는 결과이다. 모델의 실제 언어 이해 능력(PPL 5.23, Top-1 accuracy 68.75%)은 벤치마크 점수와 별개로 양호하다.

**즉각적으로 필요한 조치**:
1. MMLU-KO 평가 환경 수정 및 재평가
2. Instruction SFT 데이터 준비 및 파인튜닝 시작
3. SFT 완료 후 동일 벤치마크 재평가로 개선도 측정

---

*관련 보고서: [01_perplexity_report.md](01_perplexity_report.md) | [02_calibration_report.md](02_calibration_report.md) | [03_generation_quality_report.md](03_generation_quality_report.md) | [00_executive_summary.md](00_executive_summary.md)*
