11 KiB
FRANKENSTALLM 3B SFT 모델 다면적 종합 평가 보고서
- 평가 일시: 2026-03-07 14:36:36
- SFT 체크포인트: checkpoint-best (val_loss=1.8851, step 25500)
- Base 참조 결과: 3b_reeval_20260305_1451
- 총 소요 시간: 49m 27s
- 결과 디렉토리: eval/outputs/3b_sft_eval_20260306_1536
1. Executive Summary
| 평가 차원 | 결과 | 상세 |
|---|---|---|
| 차원 1: Perplexity (지식 보존) | PASS | 최대 forgetting 0.9% (임계값 15.0%) |
| 차원 2: 생성 품질 | FAIL | 반복률 72.97% (목표 <5%), EOS 60% (목표 >90%) |
| 차원 3: 한국어 벤치마크 | FAIL | KoBEST 평균 43.26% (목표 >55%) |
| 차원 4: 영어 벤치마크 | PASS | hellaswag=25.9%, arc_easy=25.9%, arc_challenge=21.7%... |
| 차원 5: Calibration | PASS | Top-1 68.59% (목표 ≥65%) |
| 차원 6: SFT Chat 능력 | PASS | EOS 종료율 60%, 생성 샘플 수동 검토 필요 |
종합: 4/6 차원 통과
ORPO 판정 (정량 스코어)
결정: ORPO (확신도: 86%)
정량 스코어: 60.9/100
| 차원 | 점수 | /가중치 | 현재값 | 기준 | 상태 |
|---|---|---|---|---|---|
| PPL Forgetting | 23.5 | /25 | 0.9 | <15.0% | PASS |
| Greedy 반복률 | 0 | /20 | 73.0% | <5% | FAIL |
| EOS 종료율 | 6.7 | /10 | 60% | >90% | FAIL |
| KoBEST 평균 | 15.7 | /20 | 43.3% | >55% | FAIL |
| Calibration | 10 | /10 | 68.6% | >=65% | PASS |
| 다양성 | 0 | /10 | N/A | >70% | N/A |
| 영어 유지 | 5.0 | /5 | 전부 통과 | — | PASS |
ORPO 기대 이득: +30.0점 (반복률/EOS/다양성 개선 기대, PPL/벤치 변화 없음)
참조 모델 비교:
- Llama 3.2 1B: KoBEST=52%, MMLU-KO=28%
- Llama 3.2 3B: KoBEST=56%, MMLU-KO=35%
- Qwen 2.5 3B: KoBEST=58%, MMLU-KO=42%
→ Phase 3: ORPO (스코어 40-79, 지식 보존 양호, 생성 개선 필요)
2. Perplexity 비교 (지식 보존)
| 데이터셋 | Base PPL | SFT PPL | 변화 | Forgetting % | 판정 |
|---|---|---|---|---|---|
| 3b | 5.2263 | 5.2529 | +0.0266 | +0.5% | PASS |
| cc100_ko | 21.7820 | 21.8072 | +0.0252 | +0.1% | PASS |
| cosmo_auto_math_text | 3.1492 | 3.1581 | +0.0089 | +0.3% | PASS |
| cosmo_khanacademy | 2.9322 | 2.9390 | +0.0068 | +0.2% | PASS |
| cosmo_openstax | 3.8673 | 3.8805 | +0.0132 | +0.3% | PASS |
| cosmo_stanford | 3.3624 | 3.3742 | +0.0118 | +0.4% | PASS |
| cosmo_stories | 3.9552 | 3.9668 | +0.0116 | +0.3% | PASS |
| cosmo_web_v2 | 4.1664 | 4.1799 | +0.0135 | +0.3% | PASS |
| cosmo_wikihow | 3.3097 | 3.3201 | +0.0104 | +0.3% | PASS |
| hplt_ko | 2.4028 | 2.4121 | +0.0093 | +0.4% | PASS |
| korean | 7.0155 | 7.0714 | +0.0559 | +0.8% | PASS |
| korean_c4 | 5.7173 | 5.7617 | +0.0444 | +0.8% | PASS |
| korean_namuwiki | 25.8814 | 26.1185 | +0.2371 | +0.9% | PASS |
| korean_wiki | 11.8359 | 11.9394 | +0.1035 | +0.9% | PASS |
| mathpile | 2.7244 | 2.7286 | +0.0042 | +0.2% | PASS |
| namuwiki_2023b | 18.9170 | 18.9672 | +0.0502 | +0.3% | PASS |
| open_web_math | 6.9264 | 6.9422 | +0.0158 | +0.2% | PASS |
| val | 18.3046 | 18.3195 | +0.0149 | +0.1% | PASS |
| wikipedia_ko | 10.7059 | 10.7399 | +0.0340 | +0.3% | PASS |
평균 Forgetting: +0.4% | 최대: +0.9% | 판정: PASS (임계값 15.0%)
3. 생성 품질 비교
| 지표 | Base | SFT | 목표 | 판정 |
|---|---|---|---|---|
| Greedy 3-gram 반복률 | 60.99% | 72.97% | < 5% | FAIL |
| Greedy 4-gram 반복률 | 57.02% | 71.83% | < 5% | FAIL |
| EOS 종료율 | 0% | 60.00% | > 90% | FAIL |
| Sampled 3-gram 반복률 | — | 22.72% | — | — |
| Sampled EOS 종료율 | — | 73.33% | — | — |
Chat Template: 활성화
생성 샘플 (Greedy, Chat Template)
[1] 대한민국의 수도는
대한민국의 수도는 서울특별시입니다. 대한민국의 수도는 서울이며, 대한민국의 수도는 대한민국의 수도입니다. EOS=True, 3gram_rep=0.00%, tokens=20
[2] 인공지능이란
인공지능은 인공지능의 한 분야로, 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 학습하고 학습하여 새로운 지식을 창출하는 것을 목표로 하는 컴퓨터 과학의 한 분야입니다. 인공지능은 인간의 지능을 모방하여 스스로 EOS=True, 3gram_rep=82.50%, tokens=189
[3] 한국의 전통 음식 중에서
한국의 전통 음식 중에서김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다. 김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다.김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다. 김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다.김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사용하는 재료에 따라 다양한 종류가 있습니다. 김치는 한국의 대표적인 발효 음식으로, 김치를 담그는 방법과 김치를 담글 때 사 EOS=False, 3gram_rep=83.56%, tokens=256
[4] 지구 온난화의 주요 원인은
지구 온난화는 전 세계 온실가스 배출량의 증가와 지구 평균 기온 상승으로 인해 발생합니다. 이 온난화는 주로 온실가스 배출에 의해 발생합니다. 온실가스는 이산화탄소, 메탄, 아산화질소, 수소불화탄소, 육불화황, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 육플루오르화황, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육불화황, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소불화탄소, 육플루오르화탄소, 아산화질소, 수소 EOS=False, 3gram_rep=42.11%, tokens=256
[5] 프로그래밍을 배우려면
프로그래밍은 컴퓨터 과학의 한 분야로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래밍은 컴퓨터를 사용하여 문제를 해결하는 과정으로, 컴퓨터를 사용하여 문제를 해결하는 과정입니다. 프로그래 EOS=True, 3gram_rep=90.00%, tokens=234
Repetition 파라미터 검색 결과
| 설정 | 3-gram | EOS Rate | Avg Tokens |
|---|---|---|---|
| t0.7_rep1.2 | 0.0000 | 1.0000 | 66.0 |
| t0.7_rep1.3 | 0.0000 | 0.8000 | 82.8 |
| t0.9_rep1.2 | 0.0000 | 0.8000 | 104.2 |
| t1.0_rep1.1 | 0.0000 | 1.0000 | 92.8 |
| t0.7_rep1.1 | 0.0067 | 0.8000 | 111.2 |
| t1.0 | 0.0262 | 0.8000 | 95.0 |
4. 한국어 벤치마크
KoBEST (0-shot)
| 태스크 | Base | SFT | 변화 | 목표 | 판정 |
|---|---|---|---|---|---|
| kobest_boolq | 50.28% | 50.14% | -0.1pp | ≥60% | FAIL |
| kobest_copa | 49.30% | 48.60% | -0.7pp | ≥65% | FAIL |
| kobest_hellaswag | 21.60% | 19.80% | -1.8pp | ≥30% | FAIL |
| kobest_sentineg | 48.61% | 49.12% | +0.5pp | ≥60% | FAIL |
| kobest_wic | 48.65% | 48.65% | +0.0pp | ≥55% | FAIL |
| 평균 | 43.69% | 43.26% | -0.4pp | ≥55% | FAIL |
HAE-RAE (0-shot)
- Base: 19.71% → SFT: 19.89% (+0.2pp) | 목표 ≥25% | FAIL
MMLU-KO (0-shot)
- Base: 22.75% → SFT: 26.00% (+3.2pp) | 목표 ≥30% | FAIL
5-shot 비교 (한국어)
| 태스크 | 0-shot | 5-shot | 변화 |
|---|---|---|---|
| kobest_boolq | 50.14% | 50.21% | +0.1pp |
| kobest_copa | 48.60% | 48.20% | -0.4pp |
| kobest_hellaswag | 19.80% | 21.20% | +1.4pp |
| kobest_sentineg | 49.12% | 49.37% | +0.3pp |
| kobest_wic | 48.65% | 48.73% | +0.1pp |
| haerae | 19.89% | 18.61% | -1.3pp |
| global_mmlu_ko | 26.00% | 27.75% | +1.8pp |
5. 영어 벤치마크 (유지 확인)
| 태스크 | Base | SFT | 변화 | 하한 | 판정 |
|---|---|---|---|---|---|
| hellaswag | 26.15% | 26.07% | -0.1pp | ≥25% | PASS |
| arc_easy | 25.63% | 25.93% | +0.3pp | ≥25% | PASS |
| arc_challenge | 27.90% | 27.56% | -0.3pp | ≥21% | PASS |
| winogrande | 50.59% | 50.75% | +0.2pp | ≥49% | PASS |
| piqa | 52.50% | 52.61% | +0.1pp | ≥51% | PASS |
| MMLU-EN 평균 | 25.81% | 25.72% | -0.1pp | ≥25% | PASS |
6. Calibration 비교
| 지표 | Base | SFT | 목표 | 판정 |
|---|---|---|---|---|
| Top-1 Accuracy | 0.6875 | 0.6859 | ≥0.65 | PASS |
| Top-5 Accuracy | 0.8164 | 0.8155 | ≥0.78 | PASS |
| Top-10 Accuracy | 0.8593 | 0.8579 | ≥0.82 | PASS |
| Mean Entropy | 1.5682 | 1.5363 | <2.0 | PASS |
| Token NLL mean | 1.5561 | 1.5663 | < 2.0 | PASS |
| NLL > 5 비율 | 0.1086 | 0.1109 | < 0.15 | PASS |
7. 종합 판정 및 다음 단계
핵심 판정 기준
| 조건 | 현재 값 | 기준 | 충족 |
|---|---|---|---|
| Greedy 3-gram 반복률 | 72.97% | < 5% | NO |
| KoBEST 평균 | 43.26% | > 55% | NO |
| 최대 Forgetting | 0.9% | < 15.0% | YES |
권고
ORPO 판정 스코어 60.9/100 → Phase 3: ORPO 학습 진행 (795K preference pairs 활용)
ORPO 학습 시 주안점:
- Greedy 반복률 감소 (현재 72.97% → 목표 <5%)
- EOS 종료율 개선 (현재 60% → 목표 >90%)
- 벤치마크 점수 유지/향상
- 지식 보존 유지 (현재 forgetting 0.9%)
이 보고서는 eval/sft_eval_pipeline.py에 의해 자동 생성되었습니다.