frankenstallm/reports/2026-03-05_BENCHMARK_RESULTS.md

# FRANKENSTALLM 3B — 벤치마크 평가 보고서

**작성일**: 2026-03-05
**모델**: FRANKENSTALLM 3B (base pretrain, checkpoint-0057000)
**평가 도구**: lm-evaluation-harness (lm-eval)
**HF 변환**: `scripts/convert_to_hf.py` → `eval/outputs/hf_3b_base/`

---

## 1. 개요

FRANKENSTALLM 3B base 모델을 HuggingFace LlamaForCausalLM 형식으로 변환한 뒤, lm-evaluation-harness를 사용하여 한국어 벤치마크 평가를 수행하였다.

### HF 변환 정보

| 항목 | 값 |
|------|-----|
| 원본 체크포인트 | `checkpoints/korean_3b_fp8_run1/checkpoint-0057000` |
| 변환 출력 | `eval/outputs/hf_3b_base/` |
| 모델 형식 | LlamaForCausalLM (safetensors, 11GB) |
| 정밀도 | bfloat16 |
| 수정 사항 | `lm_head.weight` 공유 메모리 → `.clone()` 적용 |

### 평가 설정

| 항목 | 값 |
|------|-----|
| 벤치마크 | belebele_kor_Hang, global_mmlu_full_ko |
| 배치 크기 | 8 |
| GPU | cuda:2 |
| few-shot | 0-shot |

> **참고**: kobest_copa, kobest_boolq, haerae 등의 태스크는 설치된 lm-eval 버전에서 지원하지 않아 대체 벤치마크를 사용하였다.

---

## 2. 벤치마크 결과

### 2-1. 전체 요약

| 벤치마크 | Accuracy | Stderr | 랜덤 기준 | 판정 |
|----------|----------|--------|-----------|------|
| **belebele_kor_Hang** | **0.2189** | ±0.0138 | 0.25 (4지선다) | ≈ 랜덤 |
| **global_mmlu_full_ko** | **0.2339** | ±0.0036 | 0.25 (4지선다) | ≈ 랜덤 |

### 2-2. MMLU 한국어 분야별 상세

| 분야 | Accuracy | Stderr |
|------|----------|--------|
| Humanities (인문학) | 0.2389 | ±0.0062 |
| Social Sciences (사회과학) | 0.2301 | ±0.0076 |
| STEM (이공계) | 0.2312 | ±0.0075 |
| Other (기타) | 0.2327 | ±0.0076 |

### 2-3. MMLU 개별 과목 중 주목할 수치

| 과목 | Accuracy | 비고 |
|------|----------|------|
| computer_security | 0.3100 | 랜덤 이상 (+0.06) |
| machine_learning | 0.3125 | 랜덤 이상 (+0.06) |
| us_foreign_policy | 0.2900 | 랜덤 근처 |
| college_mathematics | 0.2700 | 랜덤 근처 |
| high_school_government | 0.1762 | 랜덤 이하 |
| human_sexuality | 0.1832 | 랜덤 이하 |
| high_school_chemistry | 0.1823 | 랜덤 이하 |

---

## 3. 결과 해석

### 3-1. Base model에서 랜덤 수준은 정상인가?

**예, 완전히 정상이다.**

| 이유 | 설명 |
|------|------|
| **형식 미학습** | Base model은 "A/B/C/D 중 고르시오" 형식을 학습한 적이 없음 |
| **지시 미학습** | 질문에 답변하는 패턴(instruction following)이 없음 |
| **토큰 확률 분포** | 선택지 토큰(A, B, C, D)에 대한 확률이 태스크에 맞게 조정되지 않음 |
| **업계 사례** | Llama-2-7B base도 MMLU에서 ~0.25-0.30 수준. SFT/RLHF 후 0.45+ |

### 3-2. Belebele vs MMLU 비교

- **Belebele (0.219)**: 독해 이해력 테스트. 긴 지문 + 질문 형식으로, base model이 형식 자체를 이해하기 더 어려움
- **MMLU (0.234)**: 지식 평가. 단문 질문이라 미세하게 높지만, 여전히 랜덤 수준

### 3-3. 랜덤 미만 점수의 의미

일부 과목에서 0.25 미만(예: high_school_chemistry 0.182)이 나온 것은:
- 통계적 노이즈 (표본 크기에 의한 변동, stderr ±0.027)
- Base model이 특정 선택지 토큰에 편향된 확률을 부여할 수 있음 (systematic bias)
- 모델 품질 문제가 아닌 **형식 부적합 문제**

---

## 4. 1B 베이스라인과 비교

| 벤치마크 | 1B (SFT 후) | 3B Base | 비고 |
|----------|------------|---------|------|
| kobest_copa | 0.646 | N/A | lm-eval 버전 미지원 |
| kobest_boolq | 0.50 | N/A | lm-eval 버전 미지원 |
| haerae_gk | 0.227 | N/A | lm-eval 버전 미지원 |
| belebele_kor | N/A | 0.219 | 1B에서 미측정 |
| global_mmlu_ko | N/A | 0.234 | 1B에서 미측정 |

> **비교 한계**: 1B와 3B가 다른 벤치마크로 평가되어 직접 비교가 불가능하다. 1B의 kobest_copa 0.646은 SFT 이후 수치이므로, 3B base와 비교하는 것 자체가 부적절하다.

---

## 5. SFT 후 기대치

| 벤치마크 | 3B Base | SFT 후 목표 | 근거 |
|----------|---------|------------|------|
| belebele_kor | 0.219 | >0.45 | 형식 학습으로 큰 폭 향상 기대 |
| global_mmlu_ko | 0.234 | >0.35 | 지식 활용 + 형식 적응 |
| kobest_copa | N/A | >0.70 | 1B SFT(0.646) 대비 개선 목표 |

---

## 6. SFT 진행 판단 (벤치마크 기준)

| 판단 | 근거 |
|------|------|
| **SFT 진행 ✅** | Base model의 랜덤 수준 벤치마크는 정상. SFT가 해결할 영역 |
| | 모델 구조/학습 실패의 징후 없음 (특정 분야만 극단적으로 낮지 않음) |
| | 분야별 분포가 균일 (0.23 ± 0.01) → 건강한 표현 학습 |

---

## 7. 평가 데이터 파일

| 파일 | 설명 |
|------|------|
| `eval/outputs/3b_benchmark_results.txt` | lm-eval 전체 로그 + 결과 테이블 |
| `eval/outputs/hf_3b_base/` | HF 형식 변환 모델 (11GB) |

---

*보고서 작성: 2026-03-05*