7.9 KiB
korean_1b_fp8_run1 종합 평가 리포트
평가 날짜: 2026-02-26 평가 환경: NVIDIA B200 ×1 (추론), BF16, 평가 소요 시간 약 15분
모델 정보
| 항목 | 내용 |
|---|---|
| 모델명 | korean_1b_fp8_run1 |
| 파라미터 | 1,189.7M (1.19B) |
| 아키텍처 | Decoder-only Transformer, LLaMA-style |
| vocab_size | 64,000 |
| d_model | 2,048 |
| n_layers | 24 |
| n_heads | 16 |
| n_kv_heads (GQA) | 4 |
| d_ffn | 5,472 |
| 위치 인코딩 | RoPE (theta=500,000) |
| 정규화 | RMSNorm |
| 활성화 함수 | SwiGLU |
| 기타 | Weight Tying, FlashAttention-2, TransformerEngine FP8 (MXFP8BlockScaling) |
학습 설정
| 항목 | 내용 |
|---|---|
| 학습 단계 | 34,000 steps |
| GPU 환경 | 8× NVIDIA B200 |
| 학습 정밀도 | FP8 + BF16 혼합 |
| 학습률 | 2.0e-4 |
| 배치 크기 | 1.05M tok/step (8GPU × 8batch × 4accum × 4096seq) |
| 웜업 | 2,000 steps |
| 학습 데이터 | 한국어 위키백과 + C4 한국어 + 나무위키 (총 ~8.91B tokens, ~4 에포크) |
핵심 평가 결과 요약
| 평가 영역 | 핵심 지표 | 판정 |
|---|---|---|
| Perplexity (통합) | PPL=6.95, bits/tok=2.80 | Good (1B 기준) |
| Perplexity (C4) | PPL=5.67, bits/tok=2.50 | Excellent |
| Perplexity (Wiki) | PPL=11.66, bits/tok=3.54 | Acceptable |
| Perplexity (Namuwiki) | PPL=25.34, bits/tok=4.66 | Needs improvement |
| Top-1 Accuracy | 56.18% | Good |
| Top-5 Accuracy | 72.35% | Good |
| Top-10 Accuracy | 77.75% | Good |
| Mean Entropy | 2.24 nats (3.23 bits) | Healthy |
| 생성 품질 | 한국어 문법 양호, 사실 부분적 | Expected for 1B |
| 반복 퇴화 | 3/10 degenerate (30%) | Needs mitigation |
| 코드/수학 | 매우 제한적 | Expected |
상세 리포트 목록
| 파일 | 내용 |
|---|---|
01_perplexity_report.md |
데이터 소스별 Perplexity 상세 분석 |
02_generation_report.md |
10개 프롬프트 생성 품질 상세 분석 |
03_repetition_calibration_report.md |
반복 분석 + 캘리브레이션 점검 |
04_token_analysis_comparison_report.md |
토큰 수준 NLL 분석 + 온도별 비교 |
Perplexity 분석 요약
데이터 소스별 PPL
C4 한국어 (일반 웹 텍스트): PPL = 5.67 bits/tok = 2.50 ← Excellent
위키백과: PPL = 11.66 bits/tok = 3.54 ← Acceptable
나무위키: PPL = 25.34 bits/tok = 4.66 ← Needs improvement
통합 (가중 평균): PPL = 6.95 bits/tok = 2.80 ← Good
C4에서의 낮은 PPL은 일상적 웹 텍스트 분포에 잘 적응했음을 나타낸다. 위키백과 PPL이 나무위키보다 낮은 것은 위키백과 특유의 정형화된 문체가 학습 데이터로 더 많이 포함되었기 때문으로 해석된다. 나무위키의 높은 PPL은 구어체, 은어, 신조어, 표 형식 등 비정형 텍스트가 많기 때문이며, 1B 규모의 모델에서는 일반적인 결과이다.
비교 기준 (참고)
| 모델 | 규모 | 한국어 PPL (참고치) |
|---|---|---|
| GPT-2 Small | 125M | ~30–40 (영어 기준) |
| small_fp8_run1 (본 프로젝트) | 125M | ~18–22 (추정) |
| korean_1b_fp8_run1 (본 모델) | 1.19B | 6.95 (통합) |
| LLaMA-2 7B (한국어 적응 없음) | 7B | — |
125M → 1.19B 스케일업에서 PPL이 약 2.5배 이상 개선된 점은 스케일링 법칙(Chinchilla)과 일치하는 결과이다.
생성 품질 분석 요약
10개 프롬프트에 대한 greedy decoding 결과 기준:
생성 성공 사례 (7/10)
- 일상 대화 / 설명문: 자연스러운 한국어 문장 구성, 조사·어미 처리 안정적
- 사전적 정의 요청: 단어 설명 형식을 잘 따라가는 경향
- 간단한 목록 생성: 항목 나열 패턴 파악
문제 사례 (3/10)
- 반복 퇴화 (Repetition Degeneration): 같은 구절이 반복되며 문장이 수렴하지 않음. Greedy decoding에서 특히 발생하기 쉬운 패턴으로, temperature sampling 또는 repetition penalty 적용으로 완화 가능
- 사실 오류: 세종대왕 관련 연도, 김치찌개 레시피 비율 등에서 부정확한 내용 생성 — 1B 파라미터로는 세밀한 사실 기억 능력에 한계가 있으며 예상된 결과
- 코드/수학: 파이썬 코드 생성 및 수식 계산에서 매우 제한적인 성능 — 사전학습 데이터에 코드/수학 데이터가 포함되지 않았으므로 예상된 결과
캘리브레이션 분석 요약
Top-K Accuracy
| K | Accuracy |
|---|---|
| Top-1 | 56.18% |
| Top-5 | 72.35% |
| Top-10 | 77.75% |
Top-1 정확도 56%는 언어 모델로서 건강한 수준이다. 모델이 올바른 다음 토큰을 확률 상위 1위로 예측하는 비율이 56%라는 것은 과도한 확신(overconfidence)이나 과소한 확신(underconfidence) 없이 균형 잡힌 예측 분포를 가짐을 시사한다.
엔트로피 분석
Mean Entropy: 2.24 nats (3.23 bits)
엔트로피 2.24 nats는 모델이 예측 시 약 9.4개 토큰에 걸쳐 확률을 분산시킨다는 의미이다 (e^2.24 ≈ 9.4). 이 값은 너무 뾰족하지도(greedy collapse 위험) 너무 평탄하지도(무작위 출력 위험) 않은 건강한 분포를 나타낸다.
결론
전체 평가
1B 한국어 사전학습 모델로서 전반적으로 양호한 성능.
이 모델은 한국어 위키백과, C4 한국어, 나무위키 약 8.91B 토큰으로 학습된 1.19B 파라미터 Decoder-only 모델이다. 8× B200 GPU 환경에서 FP8 + BF16 혼합 정밀도로 34,000 steps 학습하였으며, Chinchilla 최적 계산량에 근사한 설정이다.
강점
- C4 PPL=5.67: 일반 웹 텍스트에 대한 우수한 언어 모델링 성능. 한국어 일상 텍스트의 패턴을 잘 학습함
- Top-1 Accuracy 56%: 과도한 확신 없이 건강한 캘리브레이션 상태를 유지함
- 한국어 문법 처리: 조사(은/는/이/가/을/를), 어미(~했다/~합니다/~이다) 처리가 안정적이며 문법적으로 자연스러운 문장 생성
- 일상적 프롬프트 대응: 설명, 정의, 목록 등 기본적인 텍스트 생성 패턴 파악
약점
- Namuwiki PPL=25.34: 비정형 텍스트(구어체, 은어, 신조어, 표 형식)에 상대적으로 약함. 도메인 불균형에서 비롯됨
- 반복 퇴화 30%: 10개 생성 중 3개에서 repetition degeneration 발생. Greedy decoding 환경에서 특히 두드러지며, SFT 또는 RLHF 단계에서 개선 예상
- 사실 정확도 제한: 세종대왕 연도, 음식 레시피 등 구체적 사실 기억 능력이 낮음. 1B 파라미터 모델의 고유한 한계이며, 7B 이상 스케일에서 개선 예상
- 코드/수학 거의 불가: 사전학습 데이터에 코드/수학이 포함되지 않아 예상된 결과. 전문 파인튜닝 필요
다음 단계 권장
| 우선순위 | 작업 | 기대 효과 |
|---|---|---|
| 1 | Instruction Tuning (SFT) | 반복 퇴화 완화, 지시문 따르기 능력 부여 |
| 2 | DPO/RLHF | 생성 품질 + 사실 정확도 개선 |
| 3 | 도메인 적응 | 나무위키/전문 도메인 추가 데이터로 PPL 개선 |
| 4 | 스케일업 (7B) | 사실 기억, 반복 문제 동시 개선 예상 |
| 5 | 양자화 + 배포 | GGUF Q4_K_M + Ollama 서빙 (Phase B 파이프라인 활용 가능) |
평가 환경
| 항목 | 내용 |
|---|---|
| GPU | NVIDIA B200 ×1 (추론) |
| 추론 dtype | BF16 |
| 평가 소요 시간 | 약 15분 (전체 6개 섹션) |
| 평가 날짜 | 2026-02-26 |
| 평가 스크립트 | eval/comprehensive_eval.py |