21 KiB
FRANKENSTALLM 3B ORPO 모델 종합 평가 보고서
- 평가 일시: 2026-03-09 07:29:13
- 비교 대상: Base → SFT → ORPO
- 총 소요 시간: 41m 11s
- 결과 디렉토리: eval/outputs/3b_orpo_eval_20260309_0607
1. Executive Summary
| # | 평가 차원 | 결과 | 상세 |
|---|---|---|---|
| 1 | 차원 1: Perplexity (지식 보존) | PASS | 최대 forgetting 4.1% (임계값 15.0%) |
| 2 | 차원 2: 생성 품질 | FAIL | 반복률 30.89% (목표 <5%), EOS 67% (목표 >90%) |
| 3 | 차원 3: 한국어 벤치마크 | FAIL | KoBEST 평균 52.75% (목표 >55%) |
| 4 | 차원 4: 영어 벤치마크 | FAIL | hellaswag=27.9%, arc_easy=36.0%, arc_challenge=17.9%... |
| 5 | 차원 5: Calibration | PASS | Top-1 67.99% (목표 ≥65%) |
| 6 | 차원 6: SFT Chat 능력 | PASS | EOS 종료율 67%, 생성 샘플 수동 검토 필요 |
| 7 | ORPO-1: Preference Accuracy | PASS | 최종 76.02% (목표 > 65%) |
| 8 | ORPO-2: Reward Margins | PASS | 최종 0.6100 (목표 > 0.1) |
| 9 | ORPO-3: Parameter Sensitivity | PASS | rep_penalty=1.0 시 3-gram rep=0.64% (목표 < 5%) |
| 10 | ORPO-4: SFT→ORPO 개선 | PASS | 반복률 72.97%→30.89% (↓), EOS 60%→67% (↑) |
종합: 7/10 차원 통과
정량 스코어: 63.7/100
최종 판정: RETRY
2. 학습 곡선 분석
Training / Eval Loss
| Step | Train Loss | Eval Loss | Pref Accuracy | Reward Margin |
|---|---|---|---|---|
| 1000 | N/A | 1.7910 | 0.6678 | 0.1066 |
| 2000 | N/A | 1.7130 | 0.7010 | 0.2933 |
| 3000 | N/A | 1.6810 | 0.7189 | 0.3717 |
| 4000 | N/A | 1.6580 | 0.7361 | 0.4536 |
| 5000 | N/A | 1.6450 | 0.7467 | 0.5027 |
| 6000 | N/A | 1.6380 | 0.7511 | 0.5436 |
| 7000 | N/A | 1.6330 | 0.7539 | 0.5624 |
| 8000 | N/A | 1.6300 | 0.7558 | 0.5864 |
| 9000 | N/A | 1.6280 | 0.7568 | 0.5904 |
| 9997 | N/A | 1.6260 | 0.7594 | 0.6039 |
| 11001 | N/A | 1.6260 | 0.7590 | 0.6052 |
| 12005 | N/A | 1.6250 | 0.7598 | 0.6087 |
| 12999 | N/A | 1.6250 | 0.7599 | 0.6089 |
| 14002 | N/A | 1.6250 | 0.7600 | 0.6072 |
| 14996 | N/A | 1.6250 | 0.7601 | 0.6087 |
| 16000 | N/A | 1.6250 | 0.7605 | 0.6100 |
| 17004 | N/A | 1.6250 | 0.7606 | 0.6093 |
| 17997 | N/A | 1.6250 | 0.7601 | 0.6093 |
| 19001 | N/A | 1.6250 | 0.7602 | 0.6100 |
학습 곡선 요약
- Eval Loss: 1.7910 → 1.6250
- 최종 Preference Accuracy: 76.02%
- 최종 Reward Margin: 0.6100
3. Perplexity 비교 (지식 보존)
| 데이터셋 | Base PPL | SFT PPL | ORPO PPL | SFT Forgetting | ORPO Forgetting |
|---|---|---|---|---|---|
| 3b | 5.2263 | 5.2529 | 5.3222 | +0.5% | +1.8% |
| cc100_ko | 21.7820 | 21.8072 | 22.0415 | +0.1% | +1.2% |
| cosmo_auto_math_text | 3.1492 | 3.1581 | 3.1634 | +0.3% | +0.5% |
| cosmo_khanacademy | 2.9322 | 2.9390 | 2.9485 | +0.2% | +0.6% |
| cosmo_openstax | 3.8673 | 3.8805 | 3.8896 | +0.3% | +0.6% |
| cosmo_stanford | 3.3624 | 3.3742 | 3.3807 | +0.4% | +0.5% |
| cosmo_stories | 3.9552 | 3.9668 | 3.9687 | +0.3% | +0.3% |
| cosmo_web_v2 | 4.1664 | 4.1799 | 4.1852 | +0.3% | +0.5% |
| cosmo_wikihow | 3.3097 | 3.3201 | 3.3260 | +0.3% | +0.5% |
| hplt_ko | 2.4028 | 2.4121 | 2.4477 | +0.4% | +1.9% |
| korean | 7.0155 | 7.0714 | 7.2203 | +0.8% | +2.9% |
| korean_c4 | 5.7173 | 5.7617 | 5.8745 | +0.8% | +2.7% |
| korean_namuwiki | 25.8814 | 26.1185 | 26.9307 | +0.9% | +4.1% |
| korean_wiki | 11.8359 | 11.9394 | 12.2108 | +0.9% | +3.2% |
| mathpile | 2.7244 | 2.7286 | 2.7315 | +0.2% | +0.3% |
| namuwiki_2023b | 18.9170 | 18.9672 | 19.0191 | +0.3% | +0.5% |
| open_web_math | 6.9264 | 6.9422 | 6.9668 | +0.2% | +0.6% |
| val | 18.3046 | 18.3195 | 18.4256 | +0.1% | +0.7% |
| wikipedia_ko | 10.7059 | 10.7399 | 10.8055 | +0.3% | +0.9% |
4. 생성 품질 비교
| 지표 | Base | SFT | ORPO | SFT→ORPO 변화 |
|---|---|---|---|---|
| Greedy 3-gram 반복률 | 72.75% | 72.97% | 30.89% | -42.1pp |
| Greedy 4-gram 반복률 | 70.78% | 71.83% | 27.01% | -44.8pp |
| EOS 종료율 | 0.00% | 60.00% | 66.67% | +6.7pp |
5. 한국어 벤치마크
KoBEST (0-shot)
| 태스크 | Base | SFT | ORPO | Base→ORPO |
|---|---|---|---|---|
| kobest_boolq | 50.28% | 50.14% | 50.57% | +0.3pp |
| kobest_copa | 49.30% | 48.60% | 63.90% | +14.6pp |
| kobest_hellaswag | 21.60% | 19.80% | 38.00% | +16.4pp |
| kobest_sentineg | 48.61% | 49.12% | 62.47% | +13.9pp |
| kobest_wic | 48.65% | 48.65% | 48.81% | +0.2pp |
| 평균 | 43.69% | 43.26% | 52.75% | +9.1pp |
HAE-RAE (0-shot)
- Base: 19.71% → SFT: 19.89% → ORPO: 21.81%
MMLU-KO (0-shot)
- Base: 22.75% → SFT: 26.00% → ORPO: 24.50%
6. 영어 벤치마크
| 태스크 | Base | SFT | ORPO | Base→ORPO |
|---|---|---|---|---|
| hellaswag | 26.15% | 26.07% | 29.20% | +3.0pp |
| arc_easy | 25.63% | 25.93% | 36.03% | +10.4pp |
| arc_challenge | 27.90% | 27.56% | 22.61% | -5.3pp |
| winogrande | 50.59% | 50.75% | 50.99% | +0.4pp |
| piqa | 52.50% | 52.61% | 59.85% | +7.3pp |
| MMLU-EN 평균 | 25.81% | 25.72% | 23.26% | -2.6pp |
7. Calibration 비교
| 지표 | Base | SFT | ORPO |
|---|---|---|---|
| Top-1 Accuracy | 0.6875 | 0.6859 | 0.6799 |
| Top-5 Accuracy | 0.8164 | 0.8155 | 0.8133 |
| Top-10 Accuracy | 0.8593 | 0.8579 | 0.8563 |
8. ORPO 고유 지표
- 최종 Preference Accuracy: 76.02%
- 최종 Reward Margins: 0.6100
- Parameter Sensitivity: rep_penalty=1.0 → 3-gram rep=0.64% (목표 < 5%) → PASS
9. 반복률 그리드 서치
| 설정 | Temp | Rep Pen | 3-gram | 4-gram | EOS Rate | Avg Tokens |
|---|---|---|---|---|---|---|
| t0.7_rep1.2 | 0.70 | 1.20 | 0.0000 | 0.0000 | 1.0000 | 189.2 |
| t0.9_rep1.1 | 0.90 | 1.10 | 0.0000 | 0.0000 | 0.2000 | 213.0 |
| t0.9_rep1.2 | 0.90 | 1.20 | 0.0000 | 0.0000 | 0.6000 | 200.0 |
| t1.0_rep1.1 | 1.00 | 1.10 | 0.0000 | 0.0000 | 0.8000 | 118.4 |
| t0.5_rep1.1 | 0.50 | 1.10 | 0.0013 | 0.0000 | 0.6000 | 198.8 |
| t0.7_rep1.1 | 0.70 | 1.10 | 0.0017 | 0.0000 | 0.6000 | 177.0 |
| t0.7_rep1.3 | 0.70 | 1.30 | 0.0017 | 0.0000 | 1.0000 | 131.4 |
| t1.0 | 1.00 | 1.00 | 0.0064 | 0.0024 | 1.0000 | 136.8 |
| t0.9 | 0.90 | 1.00 | 0.0376 | 0.0228 | 0.8000 | 150.2 |
| t0.7 | 0.70 | 1.00 | 0.0789 | 0.0394 | 0.8000 | 196.2 |
| t0.5 | 0.50 | 1.00 | 0.0843 | 0.0620 | 0.8000 | 119.0 |
| greedy | 0.00 | 1.00 | 0.3157 | 0.2901 | 0.4000 | 173.2 |
10. 생성 샘플
ORPO Greedy 생성 샘플
[1] 대한민국의 수도는
대한민국은 서울을 수도로 하는 대한민국의 수도입니다. 서울은 대한민국의 수도이며, 대한민국의 수도입니다. EOS=True, 3gram_rep=0.00%, tokens=22
[2] 인공지능이란
인공지능(AI)은 컴퓨터가 인간의 지능을 모방하도록 설계된 인공 지능의 하위 집합입니다. 이는 컴퓨터가 인간과 같은 방식으로 생각하고, 문제를 해결하고, 의사 결정을 내릴 수 있도록 하는 컴퓨터 시스템의 하위 집합입니다. 인공지능은 컴퓨터가 인간과 같은 방식으로 생각하고, 문제를 해결하고, 의사 결정을 내릴 수 있도록 하는 데 도움이 되는 알고리즘, 데이터 구조, 소프트웨어를 개발합니다. EOS=True, 3gram_rep=22.92%, tokens=76
[3] 한국의 전통 음식 중에서
한국의 전통 음식 중 몇 가지를 소개해 드릴게요:1. 김치: 한국의 김치는 한국의 전통 발효 식품으로, 김치를 담그는 방법과 김치를 만드는 방법에 따라 다양한 종류가 있습니다. 일반적으로 김치는 무, 배추, 고추, 마늘, 생강, 파, 고추씨, 고추씨 기름, 소금, 설탕, 식초, 마늘 가루, 생강 가루, 파, 마늘 가루, 생강 가루, 파, 고추씨 기름, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, EOS=False, 3gram_rep=58.97%, tokens=256
[4] 지구 온난화의 주요 원인은
지구 온난화의 주요 원인은 여러 가지가 있습니다. 다음은 주요 원인 중 일부입니다:1. 화석 연료 연소: 화석 연료는 온실가스이며, 이는 지구 온난화의 주요 원인 중 하나입니다. 화석 연료 연소는 온실가스를 대기 중으로 방출하여 지구 온도를 상승시킵니다.2. 산림 벌채: 산림 벌채는 온실가스 배출의 주요 원인 중 하나입니다. 산림 벌채는 산림을 벌채하여 이산화탄소와 기타 온실가스를 대기 중으로 방출합니다.3. 산업 활동: 산업 활동은 온실가스 배출의 주요 원인 중 하나입니다. 산업 활동으로 인한 온실가스 배출은 지구 온난화의 주요 원인 중 하나입니다.4. 삼림 벌채: 삼림 벌채는 온실가스 배출의 주요 원인 중 하나입니다. 삼림 벌채는 삼림을 벌채하여 이산화탄소와 기타 온실가스를 대기 중으로 방출합니다.5. 삼림 벌채에 대한 규제: 삼림 벌채에 대한 규제는 온실가스 배출을 줄이는 데 도움이 될 수 있습니다. 예를 들어, 산림 벌채에 대한 규제는 산림 벌채의 영향을 받는 토지의 면적을 EOS=False, 3gram_rep=22.73%, tokens=256
[5] 프로그래밍을 배우려면
프로그래밍을 배우는 것은 흥미롭고 도전적인 경험이 될 수 있지만, 학습을 시작하기 전에 고려해야 할 몇 가지 사항이 있습니다:1. 학습 목표: 프로그래밍을 처음 접하는 경우, 학습 목표와 달성하고자 하는 목표를 명확하게 정의하는 것이 중요합니다. 프로그래밍의 기본 사항을 배우고 싶으신가요, 아니면 더 고급 주제를 배우고 싶으신가요? 프로그래밍의 기본 사항을 이해하면 더 깊이 있는 학습을 할 수 있습니다.2. 학습 속도: 프로그래밍을 배우는 데는 시간이 걸릴 수 있으며, 학습 속도는 학습 속도에 영향을 미칠 수 있습니다. 학습 속도를 높이려면 학습 자료를 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 EOS=False, 3gram_rep=53.25%, tokens=256
[6] 조선시대에는
조선시대에는 다양한 사회 계층이 존재했습니다. 다음은 조선시대의 사회 계층에 대한 몇 가지 주요 사항입니다:1. 양반: 조선시대에는 양반이 가장 높은 계층이었습니다. 양반은 주로 토지와 노비를 소유하고, 토지와 노비를 통해 부를 축적했습니다. 또한 양반은 관직에 진출하여 관료로 활동했습니다.2. 중인: 중인은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 상업과 무역에 종사했습니다.3. 상민: 상민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 상업과 무역에 종사했습니다.4. 천민: 천민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 농업과 상업에 종사했습니다.5. 천민: 천민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 농업과 상업에 종사했습니다. EOS=True, 3gram_rep=35.11%, tokens=192
[7] 물리학에서 에너지란
물리학에서 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 나타내는 양을 말합니다. 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 나타내는 양을 측정하는 양입니다. 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 측정하는 양입니다. EOS=True, 3gram_rep=46.88%, tokens=67
[8] 한국어는 세계에서
한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 한국어를 사용하는 사람들을 위해 만들어진 언어이며, 한국어를 사용하는 사람들은 한국어를 모국어로 사용하는 사람들보다 더 많은 시간을 한국어를 배우고 사용할 수 있습니다. 한국어는 한국어를 사용하는 사람들을 위해 만들어진 언어이며, 한국어를 사용하는 사람들은 한국어를 모국어로 사용하는 사람들보다 더 많은 시간을 한국어를 배우고 사용할 수 있습니다. EOS=True, 3gram_rep=40.00%, tokens=76
[9] 경제 성장을 위해서는
경제 성장을 위해서는 여러 가지 방법이 있습니다. 다음은 몇 가지 주요 방법입니다:1. 정부 지출 증가: 정부 지출은 경제 성장을 촉진하는 데 중요한 역할을 합니다. 정부는 경제 성장을 촉진하기 위해 다양한 정책을 시행할 수 있습니다. 예를 들어, 세금 감면, 보조금 제공, 세금 감면 등이 있습니다.2. 기업 투자 촉진: 기업은 새로운 산업을 창출하고 새로운 일자리를 창출하며 경제 성장을 촉진하는 데 중요한 역할을 합니다. 기업은 새로운 제품과 서비스를 개발하고, 새로운 시장을 개척하며, 새로운 시장을 개척하는 데 투자할 수 있습니다.3. 기술 혁신 촉진: 기술 혁신은 경제 성장을 촉진하는 데 중요한 역할을 합니다. 새로운 기술 개발, 새로운 제품 개발, 새로운 시장 개척 등이 경제 성장을 촉진하는 데 도움이 될 수 있습니다.4. 규제 완화: 규제는 경제 성장을 촉진하는 데 중요한 역할을 합니다. 정부는 새로운 규제를 도입하고, 새로운 정책을 시행하며, 새로운 산업을 육성할 수 있습 EOS=False, 3gram_rep=27.33%, tokens=256
[10] 우주 탐사의 역사를 보면
우주 탐사의 역사는 오래되었으며, 그 역사는 매우 다양합니다. 다음은 우주 탐사의 주요 시대와 그 주요 사건입니다:1. 초기 우주 탐사:1960년대와 1970년대에 우주 탐사가 시작되었습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 시작되었습니다.2. 우주 탐사의 발전:1980년대와 1990년대에는 우주 탐사가 더욱 발전하여 우주 탐사 임무가 더욱 다양해졌습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 더욱 발전했습니다.3. 우주 탐사의 절정:1990년대에는 우주 탐사가 절정에 달하여 우주 탐사 임무가 더욱 다양해졌습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 더욱 발전했습니다.4. 우주 탐사의 쇠퇴:2000년대와 2010년대에는 우주 탐사가 쇠퇴하여 우주 탐사 임무가 더 이상 존재하지 않게 되었습니다 EOS=True, 3gram_rep=31.20%, tokens=223
[11] 머신러닝과 딥러닝의 차이는
머신 러닝과 딥 러닝은 모두 인공 지능의 하위 집합이지만, 그 정의와 적용 분야에는 차이가 있습니다.머신 러닝은 컴퓨터가 데이터를 통해 학습하고 예측을 수행하는 데 사용되는 인공 지능의 한 유형입니다. 이는 데이터에서 학습하고 패턴을 식별하는 데 중점을 둔 머신 러닝의 하위 집합입니다. 머신 러닝은 데이터에서 학습하고 예측을 수행하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다.머신 러닝은 일반적으로 데이터에서 학습하고 패턴을 식별하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다. 예를 들어, 머신 러닝은 지도 학습, 비지도 학습, 강화 학습의 세 가지 주요 유형으로 분류할 수 있습니다. 지도 학습은 지도 학습이라고도 하며, 데이터에서 학습하고 패턴을 식별하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다. 비지도 학습은 지도 학습과 유사하지만, 데이터에서 학습하고 패턴을 식별하는 데 사용되는 EOS=True, 3gram_rep=35.42%, tokens=232
[12] 한국 문학의 대표적인 작품으로는
한국 문학의 대표적인 작품으로는 다음과 같은 것들이 있습니다:1. 윤동주 시인의 '서시': 윤동주 시인의 시는 한국 문학의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.2. 김수영 시인의 '풀': 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.3. 김수영 시인의 '풀': 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.4. 김수영 시인의 '풀': 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다. EOS=True, 3gram_rep=47.44%, tokens=177
[13] 양자 컴퓨터란
양자 컴퓨터는 양자 역학의 원리를 사용하여 정보를 처리하는 컴퓨터입니다. 이 컴퓨터는 양자 비트 또는 큐비트로 알려진 양자 비트를 사용하여 정보를 처리합니다. 양자 컴퓨터는 양자 비트의 양자 중첩을 사용하여 정보를 저장하고 조작할 수 있습니다. EOS=True, 3gram_rep=3.23%, tokens=50
[14] 건강한 식습관을 위해서는
건강한 식습관은 개인의 건강과 웰빙에 매우 중요합니다. 다음은 건강한 식습관을 위해 따라야 할 몇 가지 팁입니다:1. 규칙적인 식사: 매일 일정한 양의 식사를 섭취하면 신체가 필요한 영양소를 공급받을 수 있습니다. 규칙적인 식사는 신체가 필요한 영양소를 더 잘 흡수할 수 있도록 도와줍니다.2. 과일과 채소: 과일과 채소는 비타민, 미네랄, 섬유질 등 다양한 영양소를 제공합니다. 이러한 영양소를 충분히 섭취하면 전반적인 건강을 개선하는 데 도움이 됩니다.3. 건강한 지방: 포화 지방과 트랜스 지방은 건강에 해로울 수 있으므로 피하세요. 대신 건강한 지방을 선택하세요.4. 통곡물: 통곡물은 섬유질, 비타민, 미네랄이 풍부하여 건강한 소화를 돕습니다. 통곡물을 섭취하면 소화가 더 잘 되고 더 많은 영양소를 섭취할 수 있습니다.5. 저지방 단백질: 저지방 단백질은 근육과 뼈 건강에 필수적입니다. 저지방 단백질을 섭취하면 근육량을 늘리고 뼈 건강을 개선하는 데 도움이 됩니다.6. 저지방 유제 EOS=False, 3gram_rep=7.97%, tokens=256
[15] 세계 2차 대전 이후
세계 2차 대전 이후, 유럽과 아시아의 많은 국가에서 다양한 사회, 경제, 정치 시스템이 변화했습니다. 다음은 몇 가지 주요 변화입니다:1. 경제: 유럽과 아시아의 많은 국가에서 경제는 크게 변화했습니다. 유럽은 산업화와 도시화가 진행되면서 경제가 크게 성장했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 경제가 크게 변화했습니다.2. 정치: 유럽과 아시아의 많은 국가에서 정치는 크게 변화했습니다. 유럽은 민주주의와 인권의 확산으로 인해 정치 시스템이 크게 변화했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 정치 시스템이 크게 변화했습니다.3. 사회: 유럽과 아시아의 많은 국가에서 사회는 크게 변화했습니다. 유럽은 산업화와 도시화가 진행되면서 사회가 크게 변화했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 사회가 크게 변화했습니다. EOS=True, 3gram_rep=30.84%, tokens=181
11. 최종 판정
배포 기준 충족 여부
| 조건 | 기준 | 현재 값 | 충족 |
|---|---|---|---|
| Greedy 3-gram 반복률 | < 5% | 30.89% | NO |
| EOS 종료율 | > 90% | 66.67% | NO |
| PPL Forgetting | < 5% | 4.1% | YES |
| KoBEST 평균 | >= 43% | 52.75% | YES |
→ 배포 기준 미달: RETRY (ORPO 재학습 또는 하이퍼파라미터 조정 필요)
이 보고서는 eval/report_generator.py::generate_three_way_report()에 의해 자동 생성되었습니다.