初始化项目，由ModelHub XC社区提供模型
Model: pathcosmos/frankenstallm Source: Original Platform
This commit is contained in:
ModelHub XC
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,236 @@
|
||||
# FRANKENSTALLM 3B ORPO 모델 종합 평가 보고서
|
||||
|
||||
- **평가 일시**: 2026-03-09 07:29:13
|
||||
- **비교 대상**: Base → SFT → ORPO
|
||||
- **총 소요 시간**: 41m 11s
|
||||
- **결과 디렉토리**: eval/outputs/3b_orpo_eval_20260309_0607
|
||||
|
||||
## 1. Executive Summary
|
||||
|
||||
| # | 평가 차원 | 결과 | 상세 |
|
||||
|---|----------|------|------|
|
||||
| 1 | 차원 1: Perplexity (지식 보존) | **PASS** | 최대 forgetting 4.1% (임계값 15.0%) |
|
||||
| 2 | 차원 2: 생성 품질 | **FAIL** | 반복률 30.89% (목표 <5%), EOS 67% (목표 >90%) |
|
||||
| 3 | 차원 3: 한국어 벤치마크 | **FAIL** | KoBEST 평균 52.75% (목표 >55%) |
|
||||
| 4 | 차원 4: 영어 벤치마크 | **FAIL** | hellaswag=27.9%, arc_easy=36.0%, arc_challenge=17.9%... |
|
||||
| 5 | 차원 5: Calibration | **PASS** | Top-1 67.99% (목표 ≥65%) |
|
||||
| 6 | 차원 6: SFT Chat 능력 | **PASS** | EOS 종료율 67%, 생성 샘플 수동 검토 필요 |
|
||||
| 7 | ORPO-1: Preference Accuracy | **PASS** | 최종 76.02% (목표 > 65%) |
|
||||
| 8 | ORPO-2: Reward Margins | **PASS** | 최종 0.6100 (목표 > 0.1) |
|
||||
| 9 | ORPO-3: Parameter Sensitivity | **PASS** | rep_penalty=1.0 시 3-gram rep=0.64% (목표 < 5%) |
|
||||
| 10 | ORPO-4: SFT→ORPO 개선 | **PASS** | 반복률 72.97%→30.89% (↓), EOS 60%→67% (↑) |
|
||||
|
||||
**종합**: 7/10 차원 통과
|
||||
|
||||
**정량 스코어**: 63.7/100
|
||||
|
||||
**최종 판정**: **RETRY**
|
||||
|
||||
|
||||
## 2. 학습 곡선 분석
|
||||
|
||||
### Training / Eval Loss
|
||||
|
||||
| Step | Train Loss | Eval Loss | Pref Accuracy | Reward Margin |
|
||||
|------|-----------|-----------|---------------|---------------|
|
||||
| 1000 | N/A | 1.7910 | 0.6678 | 0.1066 |
|
||||
| 2000 | N/A | 1.7130 | 0.7010 | 0.2933 |
|
||||
| 3000 | N/A | 1.6810 | 0.7189 | 0.3717 |
|
||||
| 4000 | N/A | 1.6580 | 0.7361 | 0.4536 |
|
||||
| 5000 | N/A | 1.6450 | 0.7467 | 0.5027 |
|
||||
| 6000 | N/A | 1.6380 | 0.7511 | 0.5436 |
|
||||
| 7000 | N/A | 1.6330 | 0.7539 | 0.5624 |
|
||||
| 8000 | N/A | 1.6300 | 0.7558 | 0.5864 |
|
||||
| 9000 | N/A | 1.6280 | 0.7568 | 0.5904 |
|
||||
| 9997 | N/A | 1.6260 | 0.7594 | 0.6039 |
|
||||
| 11001 | N/A | 1.6260 | 0.7590 | 0.6052 |
|
||||
| 12005 | N/A | 1.6250 | 0.7598 | 0.6087 |
|
||||
| 12999 | N/A | 1.6250 | 0.7599 | 0.6089 |
|
||||
| 14002 | N/A | 1.6250 | 0.7600 | 0.6072 |
|
||||
| 14996 | N/A | 1.6250 | 0.7601 | 0.6087 |
|
||||
| 16000 | N/A | 1.6250 | 0.7605 | 0.6100 |
|
||||
| 17004 | N/A | 1.6250 | 0.7606 | 0.6093 |
|
||||
| 17997 | N/A | 1.6250 | 0.7601 | 0.6093 |
|
||||
| 19001 | N/A | 1.6250 | 0.7602 | 0.6100 |
|
||||
|
||||
### 학습 곡선 요약
|
||||
|
||||
- **Eval Loss**: 1.7910 → 1.6250
|
||||
- **최종 Preference Accuracy**: 76.02%
|
||||
- **최종 Reward Margin**: 0.6100
|
||||
|
||||
## 3. Perplexity 비교 (지식 보존)
|
||||
|
||||
| 데이터셋 | Base PPL | SFT PPL | ORPO PPL | SFT Forgetting | ORPO Forgetting |
|
||||
|---------|---------|---------|---------|----------------|-----------------|
|
||||
| 3b | 5.2263 | 5.2529 | 5.3222 | +0.5% | +1.8% |
|
||||
| cc100_ko | 21.7820 | 21.8072 | 22.0415 | +0.1% | +1.2% |
|
||||
| cosmo_auto_math_text | 3.1492 | 3.1581 | 3.1634 | +0.3% | +0.5% |
|
||||
| cosmo_khanacademy | 2.9322 | 2.9390 | 2.9485 | +0.2% | +0.6% |
|
||||
| cosmo_openstax | 3.8673 | 3.8805 | 3.8896 | +0.3% | +0.6% |
|
||||
| cosmo_stanford | 3.3624 | 3.3742 | 3.3807 | +0.4% | +0.5% |
|
||||
| cosmo_stories | 3.9552 | 3.9668 | 3.9687 | +0.3% | +0.3% |
|
||||
| cosmo_web_v2 | 4.1664 | 4.1799 | 4.1852 | +0.3% | +0.5% |
|
||||
| cosmo_wikihow | 3.3097 | 3.3201 | 3.3260 | +0.3% | +0.5% |
|
||||
| hplt_ko | 2.4028 | 2.4121 | 2.4477 | +0.4% | +1.9% |
|
||||
| korean | 7.0155 | 7.0714 | 7.2203 | +0.8% | +2.9% |
|
||||
| korean_c4 | 5.7173 | 5.7617 | 5.8745 | +0.8% | +2.7% |
|
||||
| korean_namuwiki | 25.8814 | 26.1185 | 26.9307 | +0.9% | +4.1% |
|
||||
| korean_wiki | 11.8359 | 11.9394 | 12.2108 | +0.9% | +3.2% |
|
||||
| mathpile | 2.7244 | 2.7286 | 2.7315 | +0.2% | +0.3% |
|
||||
| namuwiki_2023b | 18.9170 | 18.9672 | 19.0191 | +0.3% | +0.5% |
|
||||
| open_web_math | 6.9264 | 6.9422 | 6.9668 | +0.2% | +0.6% |
|
||||
| val | 18.3046 | 18.3195 | 18.4256 | +0.1% | +0.7% |
|
||||
| wikipedia_ko | 10.7059 | 10.7399 | 10.8055 | +0.3% | +0.9% |
|
||||
|
||||
## 4. 생성 품질 비교
|
||||
|
||||
| 지표 | Base | SFT | ORPO | SFT→ORPO 변화 |
|
||||
|------|------|-----|------|---------------|
|
||||
| Greedy 3-gram 반복률 | 72.75% | 72.97% | 30.89% | -42.1pp |
|
||||
| Greedy 4-gram 반복률 | 70.78% | 71.83% | 27.01% | -44.8pp |
|
||||
| EOS 종료율 | 0.00% | 60.00% | 66.67% | +6.7pp |
|
||||
|
||||
## 5. 한국어 벤치마크
|
||||
|
||||
### KoBEST (0-shot)
|
||||
|
||||
| 태스크 | Base | SFT | ORPO | Base→ORPO |
|
||||
|--------|------|-----|------|-----------|
|
||||
| kobest_boolq | 50.28% | 50.14% | 50.57% | +0.3pp |
|
||||
| kobest_copa | 49.30% | 48.60% | 63.90% | +14.6pp |
|
||||
| kobest_hellaswag | 21.60% | 19.80% | 38.00% | +16.4pp |
|
||||
| kobest_sentineg | 48.61% | 49.12% | 62.47% | +13.9pp |
|
||||
| kobest_wic | 48.65% | 48.65% | 48.81% | +0.2pp |
|
||||
| **평균** | **43.69%** | **43.26%** | **52.75%** | **+9.1pp** |
|
||||
|
||||
### HAE-RAE (0-shot)
|
||||
|
||||
- Base: 19.71% → SFT: 19.89% → ORPO: 21.81%
|
||||
|
||||
### MMLU-KO (0-shot)
|
||||
|
||||
- Base: 22.75% → SFT: 26.00% → ORPO: 24.50%
|
||||
|
||||
## 6. 영어 벤치마크
|
||||
|
||||
| 태스크 | Base | SFT | ORPO | Base→ORPO |
|
||||
|--------|------|-----|------|-----------|
|
||||
| hellaswag | 26.15% | 26.07% | 29.20% | +3.0pp |
|
||||
| arc_easy | 25.63% | 25.93% | 36.03% | +10.4pp |
|
||||
| arc_challenge | 27.90% | 27.56% | 22.61% | -5.3pp |
|
||||
| winogrande | 50.59% | 50.75% | 50.99% | +0.4pp |
|
||||
| piqa | 52.50% | 52.61% | 59.85% | +7.3pp |
|
||||
| MMLU-EN 평균 | 25.81% | 25.72% | 23.26% | -2.6pp |
|
||||
|
||||
## 7. Calibration 비교
|
||||
|
||||
| 지표 | Base | SFT | ORPO |
|
||||
|------|------|-----|------|
|
||||
| Top-1 Accuracy | 0.6875 | 0.6859 | 0.6799 |
|
||||
| Top-5 Accuracy | 0.8164 | 0.8155 | 0.8133 |
|
||||
| Top-10 Accuracy | 0.8593 | 0.8579 | 0.8563 |
|
||||
|
||||
## 8. ORPO 고유 지표
|
||||
|
||||
- **최종 Preference Accuracy**: 76.02%
|
||||
- **최종 Reward Margins**: 0.6100
|
||||
- **Parameter Sensitivity**: rep_penalty=1.0 → 3-gram rep=0.64% (목표 < 5%) → PASS
|
||||
|
||||
## 9. 반복률 그리드 서치
|
||||
|
||||
| 설정 | Temp | Rep Pen | 3-gram | 4-gram | EOS Rate | Avg Tokens |
|
||||
|------|------|---------|--------|--------|----------|-----------|
|
||||
| t0.7_rep1.2 | 0.70 | 1.20 | 0.0000 | 0.0000 | 1.0000 | 189.2 | **← best**
|
||||
| t0.9_rep1.1 | 0.90 | 1.10 | 0.0000 | 0.0000 | 0.2000 | 213.0 |
|
||||
| t0.9_rep1.2 | 0.90 | 1.20 | 0.0000 | 0.0000 | 0.6000 | 200.0 |
|
||||
| t1.0_rep1.1 | 1.00 | 1.10 | 0.0000 | 0.0000 | 0.8000 | 118.4 |
|
||||
| t0.5_rep1.1 | 0.50 | 1.10 | 0.0013 | 0.0000 | 0.6000 | 198.8 |
|
||||
| t0.7_rep1.1 | 0.70 | 1.10 | 0.0017 | 0.0000 | 0.6000 | 177.0 |
|
||||
| t0.7_rep1.3 | 0.70 | 1.30 | 0.0017 | 0.0000 | 1.0000 | 131.4 |
|
||||
| t1.0 | 1.00 | 1.00 | 0.0064 | 0.0024 | 1.0000 | 136.8 |
|
||||
| t0.9 | 0.90 | 1.00 | 0.0376 | 0.0228 | 0.8000 | 150.2 |
|
||||
| t0.7 | 0.70 | 1.00 | 0.0789 | 0.0394 | 0.8000 | 196.2 |
|
||||
| t0.5 | 0.50 | 1.00 | 0.0843 | 0.0620 | 0.8000 | 119.0 |
|
||||
| greedy | 0.00 | 1.00 | 0.3157 | 0.2901 | 0.4000 | 173.2 |
|
||||
|
||||
## 10. 생성 샘플
|
||||
|
||||
### ORPO Greedy 생성 샘플
|
||||
|
||||
**[1]** `대한민국의 수도는`
|
||||
> 대한민국은 서울을 수도로 하는 대한민국의 수도입니다. 서울은 대한민국의 수도이며, 대한민국의 수도입니다.
|
||||
> *EOS=True, 3gram_rep=0.00%, tokens=22*
|
||||
|
||||
**[2]** `인공지능이란`
|
||||
> 인공지능(AI)은 컴퓨터가 인간의 지능을 모방하도록 설계된 인공 지능의 하위 집합입니다. 이는 컴퓨터가 인간과 같은 방식으로 생각하고, 문제를 해결하고, 의사 결정을 내릴 수 있도록 하는 컴퓨터 시스템의 하위 집합입니다. 인공지능은 컴퓨터가 인간과 같은 방식으로 생각하고, 문제를 해결하고, 의사 결정을 내릴 수 있도록 하는 데 도움이 되는 알고리즘, 데이터 구조, 소프트웨어를 개발합니다.
|
||||
> *EOS=True, 3gram_rep=22.92%, tokens=76*
|
||||
|
||||
**[3]** `한국의 전통 음식 중에서`
|
||||
> 한국의 전통 음식 중 몇 가지를 소개해 드릴게요:1. **김치**: 한국의 김치는 한국의 전통 발효 식품으로, 김치를 담그는 방법과 김치를 만드는 방법에 따라 다양한 종류가 있습니다. 일반적으로 김치는 무, 배추, 고추, 마늘, 생강, 파, 고추씨, 고추씨 기름, 소금, 설탕, 식초, 마늘 가루, 생강 가루, 파, 마늘 가루, 생강 가루, 파, 고추씨 기름, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕, 식초, 소금, 설탕,
|
||||
> *EOS=False, 3gram_rep=58.97%, tokens=256*
|
||||
|
||||
**[4]** `지구 온난화의 주요 원인은`
|
||||
> 지구 온난화의 주요 원인은 여러 가지가 있습니다. 다음은 주요 원인 중 일부입니다:1. 화석 연료 연소: 화석 연료는 온실가스이며, 이는 지구 온난화의 주요 원인 중 하나입니다. 화석 연료 연소는 온실가스를 대기 중으로 방출하여 지구 온도를 상승시킵니다.2. 산림 벌채: 산림 벌채는 온실가스 배출의 주요 원인 중 하나입니다. 산림 벌채는 산림을 벌채하여 이산화탄소와 기타 온실가스를 대기 중으로 방출합니다.3. 산업 활동: 산업 활동은 온실가스 배출의 주요 원인 중 하나입니다. 산업 활동으로 인한 온실가스 배출은 지구 온난화의 주요 원인 중 하나입니다.4. 삼림 벌채: 삼림 벌채는 온실가스 배출의 주요 원인 중 하나입니다. 삼림 벌채는 삼림을 벌채하여 이산화탄소와 기타 온실가스를 대기 중으로 방출합니다.5. 삼림 벌채에 대한 규제: 삼림 벌채에 대한 규제는 온실가스 배출을 줄이는 데 도움이 될 수 있습니다. 예를 들어, 산림 벌채에 대한 규제는 산림 벌채의 영향을 받는 토지의 면적을
|
||||
> *EOS=False, 3gram_rep=22.73%, tokens=256*
|
||||
|
||||
**[5]** `프로그래밍을 배우려면`
|
||||
> 프로그래밍을 배우는 것은 흥미롭고 도전적인 경험이 될 수 있지만, 학습을 시작하기 전에 고려해야 할 몇 가지 사항이 있습니다:1. 학습 목표: 프로그래밍을 처음 접하는 경우, 학습 목표와 달성하고자 하는 목표를 명확하게 정의하는 것이 중요합니다. 프로그래밍의 기본 사항을 배우고 싶으신가요, 아니면 더 고급 주제를 배우고 싶으신가요? 프로그래밍의 기본 사항을 이해하면 더 깊이 있는 학습을 할 수 있습니다.2. 학습 속도: 프로그래밍을 배우는 데는 시간이 걸릴 수 있으며, 학습 속도는 학습 속도에 영향을 미칠 수 있습니다. 학습 속도를 높이려면 학습 자료를 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더 자주, 더
|
||||
> *EOS=False, 3gram_rep=53.25%, tokens=256*
|
||||
|
||||
**[6]** `조선시대에는`
|
||||
> 조선시대에는 다양한 사회 계층이 존재했습니다. 다음은 조선시대의 사회 계층에 대한 몇 가지 주요 사항입니다:1. 양반: 조선시대에는 양반이 가장 높은 계층이었습니다. 양반은 주로 토지와 노비를 소유하고, 토지와 노비를 통해 부를 축적했습니다. 또한 양반은 관직에 진출하여 관료로 활동했습니다.2. 중인: 중인은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 상업과 무역에 종사했습니다.3. 상민: 상민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 상업과 무역에 종사했습니다.4. 천민: 천민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 농업과 상업에 종사했습니다.5. 천민: 천민은 주로 토지와 노비를 소유하고, 관직에 진출하여 관료로 활동했습니다. 그들은 주로 농업과 상업에 종사했습니다.
|
||||
> *EOS=True, 3gram_rep=35.11%, tokens=192*
|
||||
|
||||
**[7]** `물리학에서 에너지란`
|
||||
> 물리학에서 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 나타내는 양을 말합니다. 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 나타내는 양을 측정하는 양입니다. 에너지는 물체의 운동, 에너지의 변화, 또는 에너지의 양을 측정하는 양입니다.
|
||||
> *EOS=True, 3gram_rep=46.88%, tokens=67*
|
||||
|
||||
**[8]** `한국어는 세계에서`
|
||||
> 한국어는 세계에서 가장 널리 사용되는 언어 중 하나입니다. 한국어는 한국어를 사용하는 사람들을 위해 만들어진 언어이며, 한국어를 사용하는 사람들은 한국어를 모국어로 사용하는 사람들보다 더 많은 시간을 한국어를 배우고 사용할 수 있습니다. 한국어는 한국어를 사용하는 사람들을 위해 만들어진 언어이며, 한국어를 사용하는 사람들은 한국어를 모국어로 사용하는 사람들보다 더 많은 시간을 한국어를 배우고 사용할 수 있습니다.
|
||||
> *EOS=True, 3gram_rep=40.00%, tokens=76*
|
||||
|
||||
**[9]** `경제 성장을 위해서는`
|
||||
> 경제 성장을 위해서는 여러 가지 방법이 있습니다. 다음은 몇 가지 주요 방법입니다:1. 정부 지출 증가: 정부 지출은 경제 성장을 촉진하는 데 중요한 역할을 합니다. 정부는 경제 성장을 촉진하기 위해 다양한 정책을 시행할 수 있습니다. 예를 들어, 세금 감면, 보조금 제공, 세금 감면 등이 있습니다.2. 기업 투자 촉진: 기업은 새로운 산업을 창출하고 새로운 일자리를 창출하며 경제 성장을 촉진하는 데 중요한 역할을 합니다. 기업은 새로운 제품과 서비스를 개발하고, 새로운 시장을 개척하며, 새로운 시장을 개척하는 데 투자할 수 있습니다.3. 기술 혁신 촉진: 기술 혁신은 경제 성장을 촉진하는 데 중요한 역할을 합니다. 새로운 기술 개발, 새로운 제품 개발, 새로운 시장 개척 등이 경제 성장을 촉진하는 데 도움이 될 수 있습니다.4. 규제 완화: 규제는 경제 성장을 촉진하는 데 중요한 역할을 합니다. 정부는 새로운 규제를 도입하고, 새로운 정책을 시행하며, 새로운 산업을 육성할 수 있습
|
||||
> *EOS=False, 3gram_rep=27.33%, tokens=256*
|
||||
|
||||
**[10]** `우주 탐사의 역사를 보면`
|
||||
> 우주 탐사의 역사는 오래되었으며, 그 역사는 매우 다양합니다. 다음은 우주 탐사의 주요 시대와 그 주요 사건입니다:1. 초기 우주 탐사:1960년대와 1970년대에 우주 탐사가 시작되었습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 시작되었습니다.2. 우주 탐사의 발전:1980년대와 1990년대에는 우주 탐사가 더욱 발전하여 우주 탐사 임무가 더욱 다양해졌습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 더욱 발전했습니다.3. 우주 탐사의 절정:1990년대에는 우주 탐사가 절정에 달하여 우주 탐사 임무가 더욱 다양해졌습니다. 이 시기에는 우주 탐사선이 발사되어 지구 궤도에 진입하고, 우주선이 지구로 귀환하는 등 우주 탐사가 더욱 발전했습니다.4. 우주 탐사의 쇠퇴:2000년대와 2010년대에는 우주 탐사가 쇠퇴하여 우주 탐사 임무가 더 이상 존재하지 않게 되었습니다
|
||||
> *EOS=True, 3gram_rep=31.20%, tokens=223*
|
||||
|
||||
**[11]** `머신러닝과 딥러닝의 차이는`
|
||||
> 머신 러닝과 딥 러닝은 모두 인공 지능의 하위 집합이지만, 그 정의와 적용 분야에는 차이가 있습니다.머신 러닝은 컴퓨터가 데이터를 통해 학습하고 예측을 수행하는 데 사용되는 인공 지능의 한 유형입니다. 이는 데이터에서 학습하고 패턴을 식별하는 데 중점을 둔 머신 러닝의 하위 집합입니다. 머신 러닝은 데이터에서 학습하고 예측을 수행하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다.머신 러닝은 일반적으로 데이터에서 학습하고 패턴을 식별하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다. 예를 들어, 머신 러닝은 지도 학습, 비지도 학습, 강화 학습의 세 가지 주요 유형으로 분류할 수 있습니다. 지도 학습은 지도 학습이라고도 하며, 데이터에서 학습하고 패턴을 식별하는 데 사용되는 알고리즘과 모델을 사용하여 학습할 수 있는 데이터의 유형입니다. 비지도 학습은 지도 학습과 유사하지만, 데이터에서 학습하고 패턴을 식별하는 데 사용되는
|
||||
> *EOS=True, 3gram_rep=35.42%, tokens=232*
|
||||
|
||||
**[12]** `한국 문학의 대표적인 작품으로는`
|
||||
> 한국 문학의 대표적인 작품으로는 다음과 같은 것들이 있습니다:1. **윤동주 시인의 '서시'**: 윤동주 시인의 시는 한국 문학의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.2. **김수영 시인의 '풀'**: 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.3. **김수영 시인의 '풀'**: 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.4. **김수영 시인의 '풀'**: 김춘수의 시 '풀'은 한국 현대시의 대표작으로, 그의 시는 한국 현대 문학의 발전에 큰 영향을 미쳤습니다.
|
||||
> *EOS=True, 3gram_rep=47.44%, tokens=177*
|
||||
|
||||
**[13]** `양자 컴퓨터란`
|
||||
> 양자 컴퓨터는 양자 역학의 원리를 사용하여 정보를 처리하는 컴퓨터입니다. 이 컴퓨터는 양자 비트 또는 큐비트로 알려진 양자 비트를 사용하여 정보를 처리합니다. 양자 컴퓨터는 양자 비트의 양자 중첩을 사용하여 정보를 저장하고 조작할 수 있습니다.
|
||||
> *EOS=True, 3gram_rep=3.23%, tokens=50*
|
||||
|
||||
**[14]** `건강한 식습관을 위해서는`
|
||||
> 건강한 식습관은 개인의 건강과 웰빙에 매우 중요합니다. 다음은 건강한 식습관을 위해 따라야 할 몇 가지 팁입니다:1. 규칙적인 식사: 매일 일정한 양의 식사를 섭취하면 신체가 필요한 영양소를 공급받을 수 있습니다. 규칙적인 식사는 신체가 필요한 영양소를 더 잘 흡수할 수 있도록 도와줍니다.2. 과일과 채소: 과일과 채소는 비타민, 미네랄, 섬유질 등 다양한 영양소를 제공합니다. 이러한 영양소를 충분히 섭취하면 전반적인 건강을 개선하는 데 도움이 됩니다.3. 건강한 지방: 포화 지방과 트랜스 지방은 건강에 해로울 수 있으므로 피하세요. 대신 건강한 지방을 선택하세요.4. 통곡물: 통곡물은 섬유질, 비타민, 미네랄이 풍부하여 건강한 소화를 돕습니다. 통곡물을 섭취하면 소화가 더 잘 되고 더 많은 영양소를 섭취할 수 있습니다.5. 저지방 단백질: 저지방 단백질은 근육과 뼈 건강에 필수적입니다. 저지방 단백질을 섭취하면 근육량을 늘리고 뼈 건강을 개선하는 데 도움이 됩니다.6. 저지방 유제
|
||||
> *EOS=False, 3gram_rep=7.97%, tokens=256*
|
||||
|
||||
**[15]** `세계 2차 대전 이후`
|
||||
> 세계 2차 대전 이후, 유럽과 아시아의 많은 국가에서 다양한 사회, 경제, 정치 시스템이 변화했습니다. 다음은 몇 가지 주요 변화입니다:1. 경제: 유럽과 아시아의 많은 국가에서 경제는 크게 변화했습니다. 유럽은 산업화와 도시화가 진행되면서 경제가 크게 성장했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 경제가 크게 변화했습니다.2. 정치: 유럽과 아시아의 많은 국가에서 정치는 크게 변화했습니다. 유럽은 민주주의와 인권의 확산으로 인해 정치 시스템이 크게 변화했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 정치 시스템이 크게 변화했습니다.3. 사회: 유럽과 아시아의 많은 국가에서 사회는 크게 변화했습니다. 유럽은 산업화와 도시화가 진행되면서 사회가 크게 변화했습니다. 아시아는 여전히 많은 사람들이 일하고 있지만, 많은 사람들이 농촌에서 도시로 이주하면서 사회가 크게 변화했습니다.
|
||||
> *EOS=True, 3gram_rep=30.84%, tokens=181*
|
||||
|
||||
## 11. 최종 판정
|
||||
|
||||
### 배포 기준 충족 여부
|
||||
|
||||
| 조건 | 기준 | 현재 값 | 충족 |
|
||||
|------|------|---------|------|
|
||||
| Greedy 3-gram 반복률 | < 5% | 30.89% | NO |
|
||||
| EOS 종료율 | > 90% | 66.67% | NO |
|
||||
| PPL Forgetting | < 5% | 4.1% | YES |
|
||||
| KoBEST 평균 | >= 43% | 52.75% | YES |
|
||||
|
||||
**→ 배포 기준 미달: RETRY (ORPO 재학습 또는 하이퍼파라미터 조정 필요)**
|
||||
|
||||
---
|
||||
|
||||
*이 보고서는 `eval/report_generator.py::generate_three_way_report()`에 의해 자동 생성되었습니다.*
|
||||
@@ -0,0 +1,27 @@
|
||||
{
|
||||
"calibration": {
|
||||
"n_eval_tokens": 144802,
|
||||
"top1_accuracy": 0.6799,
|
||||
"top5_accuracy": 0.8133,
|
||||
"top10_accuracy": 0.8563,
|
||||
"mean_correct_prob": 0.6002,
|
||||
"mean_entropy": 1.6353,
|
||||
"elapsed_sec": 2.2
|
||||
},
|
||||
"token_nll": {
|
||||
"n_eval_tokens": 144802,
|
||||
"nll_mean": 1.5989,
|
||||
"nll_std": 2.5038,
|
||||
"nll_median": 0.1904,
|
||||
"nll_percentiles": {
|
||||
"p5": 0.0,
|
||||
"p25": 0.0021,
|
||||
"p75": 2.4375,
|
||||
"p95": 7.0312,
|
||||
"p99": 10.375
|
||||
},
|
||||
"high_loss_fraction_5": 0.111463,
|
||||
"high_loss_fraction_10": 0.012141,
|
||||
"elapsed_sec": 1.7
|
||||
}
|
||||
}
|
||||
@@ -0,0 +1,17 @@
|
||||
[TASK_RUNNER gpu_id=5] Starting task=calib_nll
|
||||
[TASK_RUNNER gpu_id=5] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[CALIB cuda:0] Loading model...
|
||||
[CALIB cuda:0] Using 50,000 tokens from 3b_val.bin
|
||||
[CALIB cuda:0] DONE top1=0.6799, top5=0.8133, top10=0.8563, entropy=1.6353, 2.2s
|
||||
[NLL cuda:0] Loading model...
|
||||
[NLL cuda:0] Using 50,000 tokens from 3b_val.bin
|
||||
[NLL cuda:0] DONE n=144,802, mean=1.5989, std=2.5038, median=0.1904, high_loss(>5)=11.15%, high_loss(>10)=1.21%, 1.7s
|
||||
[TASK_RUNNER gpu_id=5] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_calib_nll_gpu5.json
|
||||
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,74 @@
|
||||
[TASK_RUNNER gpu_id=6] Starting task=generation
|
||||
[TASK_RUNNER gpu_id=6] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[GEN cuda:0] Loading model...
|
||||
[GEN cuda:0] Chat template ENABLED
|
||||
[GEN cuda:0] (1/60) 대한민국의 수도는... (greedy): 22tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (2/60) 대한민국의 수도는... (t=0.5): 256tok, 3gram_rep=44.36%, eos=False
|
||||
[GEN cuda:0] (3/60) 대한민국의 수도는... (t=0.8): 43tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (4/60) 대한민국의 수도는... (t=1.0): 29tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (5/60) 인공지능이란... (greedy): 76tok, 3gram_rep=22.92%, eos=True
|
||||
[GEN cuda:0] (6/60) 인공지능이란... (t=0.5): 154tok, 3gram_rep=12.90%, eos=True
|
||||
[GEN cuda:0] (7/60) 인공지능이란... (t=0.8): 191tok, 3gram_rep=5.88%, eos=True
|
||||
[GEN cuda:0] (8/60) 인공지능이란... (t=1.0): 69tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (9/60) 한국의 전통 음식 중에서... (greedy): 256tok, 3gram_rep=58.97%, eos=False
|
||||
[GEN cuda:0] (10/60) 한국의 전통 음식 중에서... (t=0.5): 231tok, 3gram_rep=21.36%, eos=True
|
||||
[GEN cuda:0] (11/60) 한국의 전통 음식 중에서... (t=0.8): 256tok, 3gram_rep=9.88%, eos=False
|
||||
[GEN cuda:0] (12/60) 한국의 전통 음식 중에서... (t=1.0): 212tok, 3gram_rep=0.83%, eos=True
|
||||
[GEN cuda:0] (13/60) 지구 온난화의 주요 원인은... (greedy): 256tok, 3gram_rep=22.73%, eos=False
|
||||
[GEN cuda:0] (14/60) 지구 온난화의 주요 원인은... (t=0.5): 185tok, 3gram_rep=17.53%, eos=True
|
||||
[GEN cuda:0] (15/60) 지구 온난화의 주요 원인은... (t=0.8): 199tok, 3gram_rep=3.48%, eos=True
|
||||
[GEN cuda:0] (16/60) 지구 온난화의 주요 원인은... (t=1.0): 59tok, 3gram_rep=2.63%, eos=True
|
||||
[GEN cuda:0] (17/60) 프로그래밍을 배우려면... (greedy): 256tok, 3gram_rep=53.25%, eos=False
|
||||
[GEN cuda:0] (18/60) 프로그래밍을 배우려면... (t=0.5): 217tok, 3gram_rep=7.75%, eos=True
|
||||
[GEN cuda:0] (19/60) 프로그래밍을 배우려면... (t=0.8): 256tok, 3gram_rep=10.06%, eos=False
|
||||
[GEN cuda:0] (20/60) 프로그래밍을 배우려면... (t=1.0): 256tok, 3gram_rep=0.60%, eos=False
|
||||
[GEN cuda:0] (21/60) 조선시대에는... (greedy): 192tok, 3gram_rep=35.11%, eos=True
|
||||
[GEN cuda:0] (22/60) 조선시대에는... (t=0.5): 222tok, 3gram_rep=1.79%, eos=True
|
||||
[GEN cuda:0] (23/60) 조선시대에는... (t=0.8): 256tok, 3gram_rep=0.68%, eos=False
|
||||
[GEN cuda:0] (24/60) 조선시대에는... (t=1.0): 171tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (25/60) 물리학에서 에너지란... (greedy): 67tok, 3gram_rep=46.88%, eos=True
|
||||
[GEN cuda:0] (26/60) 물리학에서 에너지란... (t=0.5): 221tok, 3gram_rep=25.38%, eos=True
|
||||
[GEN cuda:0] (27/60) 물리학에서 에너지란... (t=0.8): 30tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (28/60) 물리학에서 에너지란... (t=1.0): 55tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (29/60) 한국어는 세계에서... (greedy): 76tok, 3gram_rep=40.00%, eos=True
|
||||
[GEN cuda:0] (30/60) 한국어는 세계에서... (t=0.5): 92tok, 3gram_rep=53.97%, eos=True
|
||||
[GEN cuda:0] (31/60) 한국어는 세계에서... (t=0.8): 256tok, 3gram_rep=3.17%, eos=False
|
||||
[GEN cuda:0] (32/60) 한국어는 세계에서... (t=1.0): 256tok, 3gram_rep=1.32%, eos=False
|
||||
[GEN cuda:0] (33/60) 경제 성장을 위해서는... (greedy): 256tok, 3gram_rep=27.33%, eos=False
|
||||
[GEN cuda:0] (34/60) 경제 성장을 위해서는... (t=0.5): 256tok, 3gram_rep=14.02%, eos=False
|
||||
[GEN cuda:0] (35/60) 경제 성장을 위해서는... (t=0.8): 213tok, 3gram_rep=1.67%, eos=True
|
||||
[GEN cuda:0] (36/60) 경제 성장을 위해서는... (t=1.0): 135tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (37/60) 우주 탐사의 역사를 보면... (greedy): 223tok, 3gram_rep=31.20%, eos=True
|
||||
[GEN cuda:0] (38/60) 우주 탐사의 역사를 보면... (t=0.5): 256tok, 3gram_rep=23.61%, eos=False
|
||||
[GEN cuda:0] (39/60) 우주 탐사의 역사를 보면... (t=0.8): 255tok, 3gram_rep=5.30%, eos=True
|
||||
[GEN cuda:0] (40/60) 우주 탐사의 역사를 보면... (t=1.0): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (41/60) 머신러닝과 딥러닝의 차이는... (greedy): 232tok, 3gram_rep=35.42%, eos=True
|
||||
[GEN cuda:0] (42/60) 머신러닝과 딥러닝의 차이는... (t=0.5): 242tok, 3gram_rep=25.49%, eos=True
|
||||
[GEN cuda:0] (43/60) 머신러닝과 딥러닝의 차이는... (t=0.8): 224tok, 3gram_rep=19.31%, eos=True
|
||||
[GEN cuda:0] (44/60) 머신러닝과 딥러닝의 차이는... (t=1.0): 185tok, 3gram_rep=0.78%, eos=True
|
||||
[GEN cuda:0] (45/60) 한국 문학의 대표적인 작품으... (greedy): 177tok, 3gram_rep=47.44%, eos=True
|
||||
[GEN cuda:0] (46/60) 한국 문학의 대표적인 작품으... (t=0.5): 189tok, 3gram_rep=22.99%, eos=True
|
||||
[GEN cuda:0] (47/60) 한국 문학의 대표적인 작품으... (t=0.8): 256tok, 3gram_rep=0.00%, eos=False
|
||||
[GEN cuda:0] (48/60) 한국 문학의 대표적인 작품으... (t=1.0): 238tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (49/60) 양자 컴퓨터란... (greedy): 50tok, 3gram_rep=3.23%, eos=True
|
||||
[GEN cuda:0] (50/60) 양자 컴퓨터란... (t=0.5): 210tok, 3gram_rep=39.57%, eos=True
|
||||
[GEN cuda:0] (51/60) 양자 컴퓨터란... (t=0.8): 56tok, 3gram_rep=5.71%, eos=True
|
||||
[GEN cuda:0] (52/60) 양자 컴퓨터란... (t=1.0): 54tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (53/60) 건강한 식습관을 위해서는... (greedy): 256tok, 3gram_rep=7.97%, eos=False
|
||||
[GEN cuda:0] (54/60) 건강한 식습관을 위해서는... (t=0.5): 224tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (55/60) 건강한 식습관을 위해서는... (t=0.8): 256tok, 3gram_rep=2.72%, eos=False
|
||||
[GEN cuda:0] (56/60) 건강한 식습관을 위해서는... (t=1.0): 256tok, 3gram_rep=1.52%, eos=False
|
||||
[GEN cuda:0] (57/60) 세계 2차 대전 이후... (greedy): 181tok, 3gram_rep=30.84%, eos=True
|
||||
[GEN cuda:0] (58/60) 세계 2차 대전 이후... (t=0.5): 30tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (59/60) 세계 2차 대전 이후... (t=0.8): 56tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] (60/60) 세계 2차 대전 이후... (t=1.0): 198tok, 3gram_rep=0.00%, eos=True
|
||||
[GEN cuda:0] DONE greedy 3gram_rep=0.3089, eos_rate=66.67%, 81.1s
|
||||
[TASK_RUNNER gpu_id=6] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_generation_gpu6.json
|
||||
@@ -0,0 +1,24 @@
|
||||
[
|
||||
{
|
||||
"name": "korean_c4",
|
||||
"file": "korean_c4_val.bin",
|
||||
"n_tokens": 15159838,
|
||||
"n_eval_tokens": 45445722,
|
||||
"ppl": 5.8745,
|
||||
"bits_per_token": 2.5545,
|
||||
"avg_nll": 1.770626,
|
||||
"elapsed_sec": 491.2,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "korean",
|
||||
"file": "korean_val.bin",
|
||||
"n_tokens": 17850578,
|
||||
"n_eval_tokens": 53512147,
|
||||
"ppl": 7.2203,
|
||||
"bits_per_token": 2.8521,
|
||||
"avg_nll": 1.9769,
|
||||
"elapsed_sec": 578.3,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,55 @@
|
||||
[TASK_RUNNER gpu_id=1] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=1] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 2 files...
|
||||
[PPL cuda:0] korean_c4: 15,159,838 tokens, 30.3 MB
|
||||
[PPL cuda:0] korean_c4: batch 50/926, running PPL=5.5121, 27s
|
||||
[PPL cuda:0] korean_c4: batch 100/926, running PPL=6.1635, 53s
|
||||
[PPL cuda:0] korean_c4: batch 150/926, running PPL=5.6819, 80s
|
||||
[PPL cuda:0] korean_c4: batch 200/926, running PPL=6.2143, 106s
|
||||
[PPL cuda:0] korean_c4: batch 250/926, running PPL=6.1376, 133s
|
||||
[PPL cuda:0] korean_c4: batch 300/926, running PPL=6.1179, 159s
|
||||
[PPL cuda:0] korean_c4: batch 350/926, running PPL=6.0748, 186s
|
||||
[PPL cuda:0] korean_c4: batch 400/926, running PPL=6.0394, 212s
|
||||
[PPL cuda:0] korean_c4: batch 450/926, running PPL=6.0028, 239s
|
||||
[PPL cuda:0] korean_c4: batch 500/926, running PPL=5.8109, 265s
|
||||
[PPL cuda:0] korean_c4: batch 550/926, running PPL=5.8244, 292s
|
||||
[PPL cuda:0] korean_c4: batch 600/926, running PPL=5.8171, 319s
|
||||
[PPL cuda:0] korean_c4: batch 650/926, running PPL=5.7737, 345s
|
||||
[PPL cuda:0] korean_c4: batch 700/926, running PPL=5.8390, 372s
|
||||
[PPL cuda:0] korean_c4: batch 750/926, running PPL=5.8929, 398s
|
||||
[PPL cuda:0] korean_c4: batch 800/926, running PPL=5.8987, 425s
|
||||
[PPL cuda:0] korean_c4: batch 850/926, running PPL=5.8780, 451s
|
||||
[PPL cuda:0] korean_c4: batch 900/926, running PPL=5.8598, 478s
|
||||
[PPL cuda:0] DONE korean_c4: PPL=5.8745, BPT=2.5545, 491.2s
|
||||
[PPL cuda:0] korean: 17,850,578 tokens, 35.7 MB
|
||||
[PPL cuda:0] korean: batch 50/1090, running PPL=5.5121, 27s
|
||||
[PPL cuda:0] korean: batch 100/1090, running PPL=6.1635, 53s
|
||||
[PPL cuda:0] korean: batch 150/1090, running PPL=5.6819, 80s
|
||||
[PPL cuda:0] korean: batch 200/1090, running PPL=6.2143, 106s
|
||||
[PPL cuda:0] korean: batch 250/1090, running PPL=6.1376, 133s
|
||||
[PPL cuda:0] korean: batch 300/1090, running PPL=6.1179, 159s
|
||||
[PPL cuda:0] korean: batch 350/1090, running PPL=6.0748, 186s
|
||||
[PPL cuda:0] korean: batch 400/1090, running PPL=6.0394, 213s
|
||||
[PPL cuda:0] korean: batch 450/1090, running PPL=6.0028, 239s
|
||||
[PPL cuda:0] korean: batch 500/1090, running PPL=5.8109, 266s
|
||||
[PPL cuda:0] korean: batch 550/1090, running PPL=5.8244, 292s
|
||||
[PPL cuda:0] korean: batch 600/1090, running PPL=5.8171, 319s
|
||||
[PPL cuda:0] korean: batch 650/1090, running PPL=5.7737, 345s
|
||||
[PPL cuda:0] korean: batch 700/1090, running PPL=5.8390, 372s
|
||||
[PPL cuda:0] korean: batch 750/1090, running PPL=5.8929, 398s
|
||||
[PPL cuda:0] korean: batch 800/1090, running PPL=5.8987, 425s
|
||||
[PPL cuda:0] korean: batch 850/1090, running PPL=5.8780, 451s
|
||||
[PPL cuda:0] korean: batch 900/1090, running PPL=5.8598, 478s
|
||||
[PPL cuda:0] korean: batch 950/1090, running PPL=6.1163, 504s
|
||||
[PPL cuda:0] korean: batch 1000/1090, running PPL=6.5863, 531s
|
||||
[PPL cuda:0] korean: batch 1050/1090, running PPL=7.0441, 557s
|
||||
[PPL cuda:0] DONE korean: PPL=7.2203, BPT=2.8521, 578.3s
|
||||
[TASK_RUNNER gpu_id=1] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_ppl_multi_gpu1.json
|
||||
@@ -0,0 +1,24 @@
|
||||
[
|
||||
{
|
||||
"name": "hplt_ko",
|
||||
"file": "hplt_ko_val.bin",
|
||||
"n_tokens": 16165735,
|
||||
"n_eval_tokens": 48460462,
|
||||
"ppl": 2.4477,
|
||||
"bits_per_token": 1.2915,
|
||||
"avg_nll": 0.895169,
|
||||
"elapsed_sec": 524.1,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cc100_ko",
|
||||
"file": "cc100_ko_val.bin",
|
||||
"n_tokens": 4532995,
|
||||
"n_eval_tokens": 13585262,
|
||||
"ppl": 22.0415,
|
||||
"bits_per_token": 4.4621,
|
||||
"avg_nll": 3.092925,
|
||||
"elapsed_sec": 146.6,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,40 @@
|
||||
[TASK_RUNNER gpu_id=2] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=2] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 2 files...
|
||||
[PPL cuda:0] hplt_ko: 16,165,735 tokens, 32.3 MB
|
||||
[PPL cuda:0] hplt_ko: batch 50/987, running PPL=2.9094, 27s
|
||||
[PPL cuda:0] hplt_ko: batch 100/987, running PPL=3.0206, 53s
|
||||
[PPL cuda:0] hplt_ko: batch 150/987, running PPL=2.7206, 80s
|
||||
[PPL cuda:0] hplt_ko: batch 200/987, running PPL=2.6531, 106s
|
||||
[PPL cuda:0] hplt_ko: batch 250/987, running PPL=2.9085, 133s
|
||||
[PPL cuda:0] hplt_ko: batch 300/987, running PPL=2.9928, 159s
|
||||
[PPL cuda:0] hplt_ko: batch 350/987, running PPL=2.9987, 186s
|
||||
[PPL cuda:0] hplt_ko: batch 400/987, running PPL=2.9838, 213s
|
||||
[PPL cuda:0] hplt_ko: batch 450/987, running PPL=2.9263, 239s
|
||||
[PPL cuda:0] hplt_ko: batch 500/987, running PPL=2.8678, 266s
|
||||
[PPL cuda:0] hplt_ko: batch 550/987, running PPL=2.8428, 292s
|
||||
[PPL cuda:0] hplt_ko: batch 600/987, running PPL=2.9569, 319s
|
||||
[PPL cuda:0] hplt_ko: batch 650/987, running PPL=2.9650, 345s
|
||||
[PPL cuda:0] hplt_ko: batch 700/987, running PPL=2.8144, 372s
|
||||
[PPL cuda:0] hplt_ko: batch 750/987, running PPL=2.8644, 398s
|
||||
[PPL cuda:0] hplt_ko: batch 800/987, running PPL=2.8529, 425s
|
||||
[PPL cuda:0] hplt_ko: batch 850/987, running PPL=2.7166, 451s
|
||||
[PPL cuda:0] hplt_ko: batch 900/987, running PPL=2.5834, 478s
|
||||
[PPL cuda:0] hplt_ko: batch 950/987, running PPL=2.4666, 505s
|
||||
[PPL cuda:0] DONE hplt_ko: PPL=2.4477, BPT=1.2915, 524.1s
|
||||
[PPL cuda:0] cc100_ko: 4,532,995 tokens, 9.1 MB
|
||||
[PPL cuda:0] cc100_ko: batch 50/277, running PPL=20.9802, 27s
|
||||
[PPL cuda:0] cc100_ko: batch 100/277, running PPL=21.4499, 53s
|
||||
[PPL cuda:0] cc100_ko: batch 150/277, running PPL=21.7434, 80s
|
||||
[PPL cuda:0] cc100_ko: batch 200/277, running PPL=21.8991, 106s
|
||||
[PPL cuda:0] cc100_ko: batch 250/277, running PPL=21.9568, 133s
|
||||
[PPL cuda:0] DONE cc100_ko: PPL=22.0415, BPT=4.4621, 146.6s
|
||||
[TASK_RUNNER gpu_id=2] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_ppl_multi_gpu2.json
|
||||
@@ -0,0 +1,79 @@
|
||||
[
|
||||
{
|
||||
"name": "cosmo_auto_math_text",
|
||||
"file": "cosmo_auto_math_text_val.bin",
|
||||
"n_tokens": 2632946,
|
||||
"n_eval_tokens": 7888877,
|
||||
"ppl": 3.1634,
|
||||
"bits_per_token": 1.6615,
|
||||
"avg_nll": 1.151656,
|
||||
"elapsed_sec": 84.7,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_stories",
|
||||
"file": "cosmo_stories_val.bin",
|
||||
"n_tokens": 6299229,
|
||||
"n_eval_tokens": 18881012,
|
||||
"ppl": 3.9687,
|
||||
"bits_per_token": 1.9887,
|
||||
"avg_nll": 1.378443,
|
||||
"elapsed_sec": 202.1,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_web_v2",
|
||||
"file": "cosmo_web_v2_val.bin",
|
||||
"n_tokens": 2875418,
|
||||
"n_eval_tokens": 8616467,
|
||||
"ppl": 4.1852,
|
||||
"bits_per_token": 2.0653,
|
||||
"avg_nll": 1.431563,
|
||||
"elapsed_sec": 92.4,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_stanford",
|
||||
"file": "cosmo_stanford_val.bin",
|
||||
"n_tokens": 2217375,
|
||||
"n_eval_tokens": 6642457,
|
||||
"ppl": 3.3807,
|
||||
"bits_per_token": 1.7573,
|
||||
"avg_nll": 1.218085,
|
||||
"elapsed_sec": 71.3,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_khanacademy",
|
||||
"file": "cosmo_khanacademy_val.bin",
|
||||
"n_tokens": 47751,
|
||||
"n_eval_tokens": 138662,
|
||||
"ppl": 2.9485,
|
||||
"bits_per_token": 1.56,
|
||||
"avg_nll": 1.081312,
|
||||
"elapsed_sec": 1.6,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_openstax",
|
||||
"file": "cosmo_openstax_val.bin",
|
||||
"n_tokens": 242751,
|
||||
"n_eval_tokens": 723497,
|
||||
"ppl": 3.8896,
|
||||
"bits_per_token": 1.9596,
|
||||
"avg_nll": 1.358295,
|
||||
"elapsed_sec": 7.9,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "cosmo_wikihow",
|
||||
"file": "cosmo_wikihow_val.bin",
|
||||
"n_tokens": 395586,
|
||||
"n_eval_tokens": 1180927,
|
||||
"ppl": 3.326,
|
||||
"bits_per_token": 1.7338,
|
||||
"avg_nll": 1.201766,
|
||||
"elapsed_sec": 12.8,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,41 @@
|
||||
[TASK_RUNNER gpu_id=3] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=3] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 7 files...
|
||||
[PPL cuda:0] cosmo_auto_math_text: 2,632,946 tokens, 5.3 MB
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 50/161, running PPL=3.1428, 27s
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 100/161, running PPL=3.1307, 53s
|
||||
[PPL cuda:0] cosmo_auto_math_text: batch 150/161, running PPL=3.1642, 79s
|
||||
[PPL cuda:0] DONE cosmo_auto_math_text: PPL=3.1634, BPT=1.6615, 84.7s
|
||||
[PPL cuda:0] cosmo_stories: 6,299,229 tokens, 12.6 MB
|
||||
[PPL cuda:0] cosmo_stories: batch 50/385, running PPL=3.9330, 26s
|
||||
[PPL cuda:0] cosmo_stories: batch 100/385, running PPL=3.9408, 53s
|
||||
[PPL cuda:0] cosmo_stories: batch 150/385, running PPL=3.9626, 79s
|
||||
[PPL cuda:0] cosmo_stories: batch 200/385, running PPL=3.9601, 105s
|
||||
[PPL cuda:0] cosmo_stories: batch 250/385, running PPL=3.9662, 131s
|
||||
[PPL cuda:0] cosmo_stories: batch 300/385, running PPL=3.9604, 158s
|
||||
[PPL cuda:0] cosmo_stories: batch 350/385, running PPL=3.9661, 184s
|
||||
[PPL cuda:0] DONE cosmo_stories: PPL=3.9687, BPT=1.9887, 202.1s
|
||||
[PPL cuda:0] cosmo_web_v2: 2,875,418 tokens, 5.8 MB
|
||||
[PPL cuda:0] cosmo_web_v2: batch 50/176, running PPL=4.1437, 26s
|
||||
[PPL cuda:0] cosmo_web_v2: batch 100/176, running PPL=4.1547, 53s
|
||||
[PPL cuda:0] cosmo_web_v2: batch 150/176, running PPL=4.1711, 79s
|
||||
[PPL cuda:0] DONE cosmo_web_v2: PPL=4.1852, BPT=2.0653, 92.4s
|
||||
[PPL cuda:0] cosmo_stanford: 2,217,375 tokens, 4.4 MB
|
||||
[PPL cuda:0] cosmo_stanford: batch 50/136, running PPL=3.3885, 26s
|
||||
[PPL cuda:0] cosmo_stanford: batch 100/136, running PPL=3.3782, 53s
|
||||
[PPL cuda:0] DONE cosmo_stanford: PPL=3.3807, BPT=1.7573, 71.3s
|
||||
[PPL cuda:0] cosmo_khanacademy: 47,751 tokens, 0.1 MB
|
||||
[PPL cuda:0] DONE cosmo_khanacademy: PPL=2.9485, BPT=1.5600, 1.6s
|
||||
[PPL cuda:0] cosmo_openstax: 242,751 tokens, 0.5 MB
|
||||
[PPL cuda:0] DONE cosmo_openstax: PPL=3.8896, BPT=1.9596, 7.9s
|
||||
[PPL cuda:0] cosmo_wikihow: 395,586 tokens, 0.8 MB
|
||||
[PPL cuda:0] DONE cosmo_wikihow: PPL=3.3260, BPT=1.7338, 12.8s
|
||||
[TASK_RUNNER gpu_id=3] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_ppl_multi_gpu3.json
|
||||
@@ -0,0 +1,79 @@
|
||||
[
|
||||
{
|
||||
"name": "korean_namuwiki",
|
||||
"file": "korean_namuwiki_val.bin",
|
||||
"n_tokens": 2166179,
|
||||
"n_eval_tokens": 6488957,
|
||||
"ppl": 26.9307,
|
||||
"bits_per_token": 4.7512,
|
||||
"avg_nll": 3.293268,
|
||||
"elapsed_sec": 70.1,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "korean_wiki",
|
||||
"file": "korean_wiki_val.bin",
|
||||
"n_tokens": 524561,
|
||||
"n_eval_tokens": 1567747,
|
||||
"ppl": 12.2108,
|
||||
"bits_per_token": 3.6101,
|
||||
"avg_nll": 2.502318,
|
||||
"elapsed_sec": 17.0,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "namuwiki_2023b",
|
||||
"file": "namuwiki_2023b_val.bin",
|
||||
"n_tokens": 2554574,
|
||||
"n_eval_tokens": 7654022,
|
||||
"ppl": 19.0191,
|
||||
"bits_per_token": 4.2494,
|
||||
"avg_nll": 2.945444,
|
||||
"elapsed_sec": 82.6,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "wikipedia_ko",
|
||||
"file": "wikipedia_ko_val.bin",
|
||||
"n_tokens": 590691,
|
||||
"n_eval_tokens": 1765762,
|
||||
"ppl": 10.8055,
|
||||
"bits_per_token": 3.4337,
|
||||
"avg_nll": 2.380058,
|
||||
"elapsed_sec": 19.2,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "mathpile",
|
||||
"file": "mathpile_val.bin",
|
||||
"n_tokens": 2379696,
|
||||
"n_eval_tokens": 7129052,
|
||||
"ppl": 2.7315,
|
||||
"bits_per_token": 1.4497,
|
||||
"avg_nll": 1.004868,
|
||||
"elapsed_sec": 76.8,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "open_web_math",
|
||||
"file": "open_web_math_val.bin",
|
||||
"n_tokens": 5230614,
|
||||
"n_eval_tokens": 15677467,
|
||||
"ppl": 6.9668,
|
||||
"bits_per_token": 2.8005,
|
||||
"avg_nll": 1.941158,
|
||||
"elapsed_sec": 168.8,
|
||||
"device": "cuda:0"
|
||||
},
|
||||
{
|
||||
"name": "val",
|
||||
"file": "val.bin",
|
||||
"n_tokens": 3040344,
|
||||
"n_eval_tokens": 9110737,
|
||||
"ppl": 18.4256,
|
||||
"bits_per_token": 4.2036,
|
||||
"avg_nll": 2.913741,
|
||||
"elapsed_sec": 98.3,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
]
|
||||
@@ -0,0 +1,42 @@
|
||||
[TASK_RUNNER gpu_id=4] Starting task=ppl_multi
|
||||
[TASK_RUNNER gpu_id=4] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL_MULTI cuda:0] Loading model once for 7 files...
|
||||
[PPL cuda:0] korean_namuwiki: 2,166,179 tokens, 4.3 MB
|
||||
[PPL cuda:0] korean_namuwiki: batch 50/133, running PPL=26.7511, 27s
|
||||
[PPL cuda:0] korean_namuwiki: batch 100/133, running PPL=26.9125, 53s
|
||||
[PPL cuda:0] DONE korean_namuwiki: PPL=26.9307, BPT=4.7512, 70.1s
|
||||
[PPL cuda:0] korean_wiki: 524,561 tokens, 1.0 MB
|
||||
[PPL cuda:0] DONE korean_wiki: PPL=12.2108, BPT=3.6101, 17.0s
|
||||
[PPL cuda:0] namuwiki_2023b: 2,554,574 tokens, 5.1 MB
|
||||
[PPL cuda:0] namuwiki_2023b: batch 50/156, running PPL=19.1798, 27s
|
||||
[PPL cuda:0] namuwiki_2023b: batch 100/156, running PPL=20.1219, 53s
|
||||
[PPL cuda:0] namuwiki_2023b: batch 150/156, running PPL=19.0264, 79s
|
||||
[PPL cuda:0] DONE namuwiki_2023b: PPL=19.0191, BPT=4.2494, 82.6s
|
||||
[PPL cuda:0] wikipedia_ko: 590,691 tokens, 1.2 MB
|
||||
[PPL cuda:0] DONE wikipedia_ko: PPL=10.8055, BPT=3.4337, 19.2s
|
||||
[PPL cuda:0] mathpile: 2,379,696 tokens, 4.8 MB
|
||||
[PPL cuda:0] mathpile: batch 50/146, running PPL=2.7377, 26s
|
||||
[PPL cuda:0] mathpile: batch 100/146, running PPL=2.6441, 53s
|
||||
[PPL cuda:0] DONE mathpile: PPL=2.7315, BPT=1.4497, 76.8s
|
||||
[PPL cuda:0] open_web_math: 5,230,614 tokens, 10.5 MB
|
||||
[PPL cuda:0] open_web_math: batch 50/320, running PPL=6.1030, 27s
|
||||
[PPL cuda:0] open_web_math: batch 100/320, running PPL=7.2361, 53s
|
||||
[PPL cuda:0] open_web_math: batch 150/320, running PPL=6.9186, 79s
|
||||
[PPL cuda:0] open_web_math: batch 200/320, running PPL=6.9636, 106s
|
||||
[PPL cuda:0] open_web_math: batch 250/320, running PPL=6.8942, 132s
|
||||
[PPL cuda:0] open_web_math: batch 300/320, running PPL=7.0007, 159s
|
||||
[PPL cuda:0] DONE open_web_math: PPL=6.9668, BPT=2.8005, 168.8s
|
||||
[PPL cuda:0] val: 3,040,344 tokens, 6.1 MB
|
||||
[PPL cuda:0] val: batch 50/186, running PPL=18.5004, 27s
|
||||
[PPL cuda:0] val: batch 100/186, running PPL=18.7740, 53s
|
||||
[PPL cuda:0] val: batch 150/186, running PPL=18.5457, 79s
|
||||
[PPL cuda:0] DONE val: PPL=18.4256, BPT=4.2036, 98.3s
|
||||
[TASK_RUNNER gpu_id=4] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_ppl_multi_gpu4.json
|
||||
@@ -0,0 +1,11 @@
|
||||
{
|
||||
"name": "3b",
|
||||
"file": "3b_val.bin",
|
||||
"n_tokens": 75681623,
|
||||
"n_eval_tokens": 226891932,
|
||||
"ppl": 5.3222,
|
||||
"bits_per_token": 2.412,
|
||||
"avg_nll": 1.671889,
|
||||
"elapsed_sec": 2426.4,
|
||||
"device": "cuda:0"
|
||||
}
|
||||
@@ -0,0 +1,106 @@
|
||||
[TASK_RUNNER gpu_id=0] Starting task=ppl_single
|
||||
[TASK_RUNNER gpu_id=0] NUMA affinity set: cores 0-35
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[PPL cuda:0] Loading model for 3b...
|
||||
[PPL cuda:0] 3b: 75,681,623 tokens, 151.4 MB
|
||||
[PPL cuda:0] 3b: batch 50/4620, running PPL=5.5121, 26s
|
||||
[PPL cuda:0] 3b: batch 100/4620, running PPL=6.1635, 53s
|
||||
[PPL cuda:0] 3b: batch 150/4620, running PPL=5.6819, 79s
|
||||
[PPL cuda:0] 3b: batch 200/4620, running PPL=6.2143, 105s
|
||||
[PPL cuda:0] 3b: batch 250/4620, running PPL=6.1376, 131s
|
||||
[PPL cuda:0] 3b: batch 300/4620, running PPL=6.1179, 158s
|
||||
[PPL cuda:0] 3b: batch 350/4620, running PPL=6.0748, 184s
|
||||
[PPL cuda:0] 3b: batch 400/4620, running PPL=6.0394, 210s
|
||||
[PPL cuda:0] 3b: batch 450/4620, running PPL=6.0028, 237s
|
||||
[PPL cuda:0] 3b: batch 500/4620, running PPL=5.8109, 263s
|
||||
[PPL cuda:0] 3b: batch 550/4620, running PPL=5.8244, 289s
|
||||
[PPL cuda:0] 3b: batch 600/4620, running PPL=5.8171, 316s
|
||||
[PPL cuda:0] 3b: batch 650/4620, running PPL=5.7737, 342s
|
||||
[PPL cuda:0] 3b: batch 700/4620, running PPL=5.8390, 368s
|
||||
[PPL cuda:0] 3b: batch 750/4620, running PPL=5.8929, 394s
|
||||
[PPL cuda:0] 3b: batch 800/4620, running PPL=5.8987, 421s
|
||||
[PPL cuda:0] 3b: batch 850/4620, running PPL=5.8780, 447s
|
||||
[PPL cuda:0] 3b: batch 900/4620, running PPL=5.8598, 473s
|
||||
[PPL cuda:0] 3b: batch 950/4620, running PPL=6.1163, 499s
|
||||
[PPL cuda:0] 3b: batch 1000/4620, running PPL=6.5863, 526s
|
||||
[PPL cuda:0] 3b: batch 1050/4620, running PPL=7.0441, 552s
|
||||
[PPL cuda:0] 3b: batch 1100/4620, running PPL=7.1624, 578s
|
||||
[PPL cuda:0] 3b: batch 1150/4620, running PPL=6.8709, 605s
|
||||
[PPL cuda:0] 3b: batch 1200/4620, running PPL=6.6688, 631s
|
||||
[PPL cuda:0] 3b: batch 1250/4620, running PPL=6.3543, 657s
|
||||
[PPL cuda:0] 3b: batch 1300/4620, running PPL=6.1695, 684s
|
||||
[PPL cuda:0] 3b: batch 1350/4620, running PPL=6.0666, 710s
|
||||
[PPL cuda:0] 3b: batch 1400/4620, running PPL=5.9098, 736s
|
||||
[PPL cuda:0] 3b: batch 1450/4620, running PPL=5.7964, 762s
|
||||
[PPL cuda:0] 3b: batch 1500/4620, running PPL=5.6837, 789s
|
||||
[PPL cuda:0] 3b: batch 1550/4620, running PPL=5.5119, 815s
|
||||
[PPL cuda:0] 3b: batch 1600/4620, running PPL=5.3612, 841s
|
||||
[PPL cuda:0] 3b: batch 1650/4620, running PPL=5.2583, 867s
|
||||
[PPL cuda:0] 3b: batch 1700/4620, running PPL=5.2631, 894s
|
||||
[PPL cuda:0] 3b: batch 1750/4620, running PPL=5.1320, 920s
|
||||
[PPL cuda:0] 3b: batch 1800/4620, running PPL=5.0010, 946s
|
||||
[PPL cuda:0] 3b: batch 1850/4620, running PPL=4.9501, 973s
|
||||
[PPL cuda:0] 3b: batch 1900/4620, running PPL=4.8355, 999s
|
||||
[PPL cuda:0] 3b: batch 1950/4620, running PPL=4.6664, 1025s
|
||||
[PPL cuda:0] 3b: batch 2000/4620, running PPL=4.5007, 1052s
|
||||
[PPL cuda:0] 3b: batch 2050/4620, running PPL=4.3495, 1078s
|
||||
[PPL cuda:0] 3b: batch 2100/4620, running PPL=4.3223, 1104s
|
||||
[PPL cuda:0] 3b: batch 2150/4620, running PPL=4.3722, 1131s
|
||||
[PPL cuda:0] 3b: batch 2200/4620, running PPL=4.3987, 1157s
|
||||
[PPL cuda:0] 3b: batch 2250/4620, running PPL=4.4308, 1183s
|
||||
[PPL cuda:0] 3b: batch 2300/4620, running PPL=4.4625, 1209s
|
||||
[PPL cuda:0] 3b: batch 2350/4620, running PPL=4.4965, 1236s
|
||||
[PPL cuda:0] 3b: batch 2400/4620, running PPL=4.5178, 1262s
|
||||
[PPL cuda:0] 3b: batch 2450/4620, running PPL=4.5485, 1288s
|
||||
[PPL cuda:0] 3b: batch 2500/4620, running PPL=4.5646, 1314s
|
||||
[PPL cuda:0] 3b: batch 2550/4620, running PPL=4.5792, 1341s
|
||||
[PPL cuda:0] 3b: batch 2600/4620, running PPL=4.5829, 1367s
|
||||
[PPL cuda:0] 3b: batch 2650/4620, running PPL=4.5943, 1393s
|
||||
[PPL cuda:0] 3b: batch 2700/4620, running PPL=4.6278, 1419s
|
||||
[PPL cuda:0] 3b: batch 2750/4620, running PPL=4.6390, 1446s
|
||||
[PPL cuda:0] 3b: batch 2800/4620, running PPL=4.6767, 1472s
|
||||
[PPL cuda:0] 3b: batch 2850/4620, running PPL=4.6950, 1498s
|
||||
[PPL cuda:0] 3b: batch 2900/4620, running PPL=4.7125, 1524s
|
||||
[PPL cuda:0] 3b: batch 2950/4620, running PPL=4.7331, 1551s
|
||||
[PPL cuda:0] 3b: batch 3000/4620, running PPL=4.7480, 1577s
|
||||
[PPL cuda:0] 3b: batch 3050/4620, running PPL=4.8623, 1603s
|
||||
[PPL cuda:0] 3b: batch 3100/4620, running PPL=4.9818, 1629s
|
||||
[PPL cuda:0] 3b: batch 3150/4620, running PPL=5.1017, 1656s
|
||||
[PPL cuda:0] 3b: batch 3200/4620, running PPL=5.2211, 1682s
|
||||
[PPL cuda:0] 3b: batch 3250/4620, running PPL=5.3390, 1708s
|
||||
[PPL cuda:0] 3b: batch 3300/4620, running PPL=5.4478, 1734s
|
||||
[PPL cuda:0] 3b: batch 3350/4620, running PPL=5.5587, 1761s
|
||||
[PPL cuda:0] 3b: batch 3400/4620, running PPL=5.6595, 1787s
|
||||
[PPL cuda:0] 3b: batch 3450/4620, running PPL=5.7225, 1813s
|
||||
[PPL cuda:0] 3b: batch 3500/4620, running PPL=5.7292, 1839s
|
||||
[PPL cuda:0] 3b: batch 3550/4620, running PPL=5.7630, 1865s
|
||||
[PPL cuda:0] 3b: batch 3600/4620, running PPL=5.7747, 1892s
|
||||
[PPL cuda:0] 3b: batch 3650/4620, running PPL=5.7855, 1918s
|
||||
[PPL cuda:0] 3b: batch 3700/4620, running PPL=5.8090, 1944s
|
||||
[PPL cuda:0] 3b: batch 3750/4620, running PPL=5.8192, 1970s
|
||||
[PPL cuda:0] 3b: batch 3800/4620, running PPL=5.7669, 1997s
|
||||
[PPL cuda:0] 3b: batch 3850/4620, running PPL=5.7048, 2023s
|
||||
[PPL cuda:0] 3b: batch 3900/4620, running PPL=5.6570, 2049s
|
||||
[PPL cuda:0] 3b: batch 3950/4620, running PPL=5.6148, 2075s
|
||||
[PPL cuda:0] 3b: batch 4000/4620, running PPL=5.5738, 2101s
|
||||
[PPL cuda:0] 3b: batch 4050/4620, running PPL=5.5365, 2128s
|
||||
[PPL cuda:0] 3b: batch 4100/4620, running PPL=5.5107, 2154s
|
||||
[PPL cuda:0] 3b: batch 4150/4620, running PPL=5.4884, 2180s
|
||||
[PPL cuda:0] 3b: batch 4200/4620, running PPL=5.4681, 2206s
|
||||
[PPL cuda:0] 3b: batch 4250/4620, running PPL=5.4470, 2233s
|
||||
[PPL cuda:0] 3b: batch 4300/4620, running PPL=5.4272, 2259s
|
||||
[PPL cuda:0] 3b: batch 4350/4620, running PPL=5.4074, 2285s
|
||||
[PPL cuda:0] 3b: batch 4400/4620, running PPL=5.3888, 2311s
|
||||
[PPL cuda:0] 3b: batch 4450/4620, running PPL=5.3710, 2338s
|
||||
[PPL cuda:0] 3b: batch 4500/4620, running PPL=5.3555, 2364s
|
||||
[PPL cuda:0] 3b: batch 4550/4620, running PPL=5.3406, 2390s
|
||||
[PPL cuda:0] 3b: batch 4600/4620, running PPL=5.3268, 2416s
|
||||
[PPL cuda:0] DONE 3b: PPL=5.3222, BPT=2.4120, 2426.4s
|
||||
[TASK_RUNNER gpu_id=0] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_ppl_single_gpu0.json
|
||||
@@ -0,0 +1,684 @@
|
||||
{
|
||||
"grid_results": [
|
||||
{
|
||||
"params": "t0.7_rep1.2",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 1.0,
|
||||
"avg_tokens": 189.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 166,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.021739130434782594,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 126,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.059523809523809534,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 254,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.037878787878787845,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 255,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.065359477124183,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 145,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9_rep1.1",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.2,
|
||||
"avg_tokens": 213.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1578947368421053,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.09999999999999998,
|
||||
"2gram_rep": 0.0062893081761006275,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.08843537414965985,
|
||||
"2gram_rep": 0.006849315068493178,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 41,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.04347826086956519,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.24528301886792447,
|
||||
"2gram_rep": 0.03797468354430378,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9_rep1.2",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.6,
|
||||
"avg_tokens": 200.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1063829787234043,
|
||||
"2gram_rep": 0.016042780748663055,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 243,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.07954545454545459,
|
||||
"2gram_rep": 0.005714285714285672,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.05035971223021585,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 57,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 188,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.054545454545454564,
|
||||
"2gram_rep": 0.00917431192660545,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t1.0_rep1.1",
|
||||
"temperature": 1.0,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 118.4,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 31,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 62,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 191,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.14893617021276595,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 52,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.05882352941176472,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.21383647798742134,
|
||||
"2gram_rep": 0.012658227848101222,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.5_rep1.1",
|
||||
"temperature": 0.5,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0013,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.6,
|
||||
"avg_tokens": 198.8,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.1496598639455783,
|
||||
"2gram_rep": 0.020547945205479423,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.17834394904458595,
|
||||
"2gram_rep": 0.02564102564102566,
|
||||
"3gram_rep": 0.006451612903225823,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 205,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.15254237288135597,
|
||||
"2gram_rep": 0.008547008547008517,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 33,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.050000000000000044,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 244,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.16778523489932884,
|
||||
"2gram_rep": 0.013513513513513487,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7_rep1.1",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.1,
|
||||
"avg_3gram_rep": 0.0017,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 0.6,
|
||||
"avg_tokens": 177.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 23,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.12,
|
||||
"2gram_rep": 0.01342281879194629,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 157,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.06382978723404253,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 193,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.17213114754098358,
|
||||
"2gram_rep": 0.03305785123966942,
|
||||
"3gram_rep": 0.008333333333333304,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.16666666666666663,
|
||||
"2gram_rep": 0.0119760479041916,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7_rep1.3",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.3,
|
||||
"avg_3gram_rep": 0.0017,
|
||||
"avg_4gram_rep": 0.0,
|
||||
"eos_rate": 1.0,
|
||||
"avg_tokens": 131.4,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 33,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 70,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.020000000000000018,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 93,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0535714285714286,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 217,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.07317073170731703,
|
||||
"2gram_rep": 0.016393442622950838,
|
||||
"3gram_rep": 0.008264462809917328,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 244,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.07096774193548383,
|
||||
"2gram_rep": 0.012987012987012991,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t1.0",
|
||||
"temperature": 1.0,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0064,
|
||||
"avg_4gram_rep": 0.0024,
|
||||
"eos_rate": 1.0,
|
||||
"avg_tokens": 136.8,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 39,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 128,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1428571428571429,
|
||||
"2gram_rep": 0.022222222222222254,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 247,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.30597014925373134,
|
||||
"2gram_rep": 0.06766917293233088,
|
||||
"3gram_rep": 0.007575757575757569,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 26,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.0,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 244,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.35928143712574845,
|
||||
"2gram_rep": 0.10843373493975905,
|
||||
"3gram_rep": 0.024242424242424288,
|
||||
"4gram_rep": 0.012195121951219523
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.9",
|
||||
"temperature": 0.9,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0376,
|
||||
"avg_4gram_rep": 0.0228,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 150.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 28,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1875,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.2955974842767296,
|
||||
"2gram_rep": 0.08227848101265822,
|
||||
"3gram_rep": 0.05095541401273884,
|
||||
"4gram_rep": 0.04487179487179482
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 193,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.22340425531914898,
|
||||
"2gram_rep": 0.06451612903225812,
|
||||
"3gram_rep": 0.021739130434782594,
|
||||
"4gram_rep": 0.01098901098901095
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 197,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.32407407407407407,
|
||||
"2gram_rep": 0.12149532710280375,
|
||||
"3gram_rep": 0.05660377358490565,
|
||||
"4gram_rep": 0.03809523809523807
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 77,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.3584905660377359,
|
||||
"2gram_rep": 0.15384615384615385,
|
||||
"3gram_rep": 0.05882352941176472,
|
||||
"4gram_rep": 0.020000000000000018
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.7",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0789,
|
||||
"avg_4gram_rep": 0.0394,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 196.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 237,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.40601503759398494,
|
||||
"2gram_rep": 0.16666666666666663,
|
||||
"3gram_rep": 0.05343511450381677,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 109,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.18840579710144922,
|
||||
"2gram_rep": 0.08823529411764708,
|
||||
"3gram_rep": 0.02985074626865669,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.28688524590163933,
|
||||
"2gram_rep": 0.07438016528925617,
|
||||
"3gram_rep": 0.025000000000000022,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 195,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.4,
|
||||
"2gram_rep": 0.18085106382978722,
|
||||
"3gram_rep": 0.08602150537634412,
|
||||
"4gram_rep": 0.021739130434782594
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 184,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.4273504273504274,
|
||||
"2gram_rep": 0.25,
|
||||
"3gram_rep": 0.19999999999999996,
|
||||
"4gram_rep": 0.17543859649122806
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "t0.5",
|
||||
"temperature": 0.5,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.0843,
|
||||
"avg_4gram_rep": 0.062,
|
||||
"eos_rate": 0.8,
|
||||
"avg_tokens": 119.0,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 34,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.1428571428571429,
|
||||
"2gram_rep": 0.050000000000000044,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 64,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.13888888888888884,
|
||||
"2gram_rep": 0.08571428571428574,
|
||||
"3gram_rep": 0.05882352941176472,
|
||||
"4gram_rep": 0.030303030303030276
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.5474452554744526,
|
||||
"2gram_rep": 0.3529411764705882,
|
||||
"3gram_rep": 0.274074074074074,
|
||||
"4gram_rep": 0.23880597014925375
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 46,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.04347826086956519,
|
||||
"2gram_rep": 0.0,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 195,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.39682539682539686,
|
||||
"2gram_rep": 0.19999999999999996,
|
||||
"3gram_rep": 0.08870967741935487,
|
||||
"4gram_rep": 0.04065040650406504
|
||||
}
|
||||
]
|
||||
},
|
||||
{
|
||||
"params": "greedy",
|
||||
"temperature": 0.0,
|
||||
"repetition_penalty": 1.0,
|
||||
"avg_3gram_rep": 0.3157,
|
||||
"avg_4gram_rep": 0.2901,
|
||||
"eos_rate": 0.4,
|
||||
"avg_tokens": 173.2,
|
||||
"per_prompt": [
|
||||
{
|
||||
"prompt": "대한민국의 수도는",
|
||||
"n_tokens": 22,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.2727272727272727,
|
||||
"2gram_rep": 0.09999999999999998,
|
||||
"3gram_rep": 0.0,
|
||||
"4gram_rep": 0.0
|
||||
},
|
||||
{
|
||||
"prompt": "인공지능이란",
|
||||
"n_tokens": 76,
|
||||
"hit_eos": true,
|
||||
"1gram_rep": 0.31999999999999995,
|
||||
"2gram_rep": 0.26530612244897955,
|
||||
"3gram_rep": 0.22916666666666663,
|
||||
"4gram_rep": 0.21276595744680848
|
||||
},
|
||||
{
|
||||
"prompt": "한국의 전통 음식 중에서",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6890756302521008,
|
||||
"2gram_rep": 0.6186440677966102,
|
||||
"3gram_rep": 0.5897435897435898,
|
||||
"4gram_rep": 0.5689655172413793
|
||||
},
|
||||
{
|
||||
"prompt": "지구 온난화의 주요 원인은",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.5298507462686567,
|
||||
"2gram_rep": 0.3308270676691729,
|
||||
"3gram_rep": 0.2272727272727273,
|
||||
"4gram_rep": 0.14503816793893132
|
||||
},
|
||||
{
|
||||
"prompt": "프로그래밍을 배우려면",
|
||||
"n_tokens": 256,
|
||||
"hit_eos": false,
|
||||
"1gram_rep": 0.6491228070175439,
|
||||
"2gram_rep": 0.5470588235294118,
|
||||
"3gram_rep": 0.5325443786982249,
|
||||
"4gram_rep": 0.5238095238095238
|
||||
}
|
||||
]
|
||||
}
|
||||
],
|
||||
"best": {
|
||||
"params": "t0.7_rep1.2",
|
||||
"temperature": 0.7,
|
||||
"repetition_penalty": 1.2,
|
||||
"avg_3gram_rep": 0.0,
|
||||
"avg_4gram_rep": 0.0
|
||||
},
|
||||
"elapsed_sec": 88.8
|
||||
}
|
||||
@@ -0,0 +1,26 @@
|
||||
[TASK_RUNNER gpu_id=7] Starting task=repetition_grid
|
||||
[TASK_RUNNER gpu_id=7] NUMA affinity set: cores 36-71
|
||||
/usr/local/lib/python3.12/dist-packages/torch/library.py:356: UserWarning: Warning only once for all operators, other operators may also be overridden.
|
||||
Overriding a previously registered kernel for the same operator and the same dispatch key
|
||||
operator: flash_attn::_flash_attn_backward(Tensor dout, Tensor q, Tensor k, Tensor v, Tensor out, Tensor softmax_lse, Tensor(a6!)? dq, Tensor(a7!)? dk, Tensor(a8!)? dv, float dropout_p, float softmax_scale, bool causal, SymInt window_size_left, SymInt window_size_right, float softcap, Tensor? alibi_slopes, bool deterministic, Tensor? rng_state=None) -> Tensor
|
||||
registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922
|
||||
dispatch key: ADInplaceOrView
|
||||
previous kernel: no debug info
|
||||
new kernel: registered at /usr/local/lib/python3.12/dist-packages/torch/_library/custom_ops.py:922 (Triggered internally at /opt/pytorch/pytorch/aten/src/ATen/core/dispatch/OperatorEntry.cpp:208.)
|
||||
self.m.impl(
|
||||
[REP cuda:0] Loading model...
|
||||
[REP cuda:0] Chat template ENABLED
|
||||
[REP cuda:0] greedy: 3gram=31.57%, 4gram=29.01%, eos=40%, 173tok
|
||||
[REP cuda:0] t0.5: 3gram=8.43%, 4gram=6.20%, eos=80%, 119tok
|
||||
[REP cuda:0] t0.5_rep1.1: 3gram=0.13%, 4gram=0.00%, eos=60%, 199tok
|
||||
[REP cuda:0] t0.7: 3gram=7.89%, 4gram=3.94%, eos=80%, 196tok
|
||||
[REP cuda:0] t0.7_rep1.1: 3gram=0.17%, 4gram=0.00%, eos=60%, 177tok
|
||||
[REP cuda:0] t0.7_rep1.2: 3gram=0.00%, 4gram=0.00%, eos=100%, 189tok
|
||||
[REP cuda:0] t0.7_rep1.3: 3gram=0.17%, 4gram=0.00%, eos=100%, 131tok
|
||||
[REP cuda:0] t0.9: 3gram=3.76%, 4gram=2.28%, eos=80%, 150tok
|
||||
[REP cuda:0] t0.9_rep1.1: 3gram=0.00%, 4gram=0.00%, eos=20%, 213tok
|
||||
[REP cuda:0] t0.9_rep1.2: 3gram=0.00%, 4gram=0.00%, eos=60%, 200tok
|
||||
[REP cuda:0] t1.0: 3gram=0.64%, 4gram=0.24%, eos=100%, 137tok
|
||||
[REP cuda:0] t1.0_rep1.1: 3gram=0.00%, 4gram=0.00%, eos=80%, 118tok
|
||||
[REP cuda:0] DONE best=t0.7_rep1.2 (3gram=0.00%), 88.8s
|
||||
[TASK_RUNNER gpu_id=7] Done. Result saved to eval/outputs/3b_orpo_eval_20260309_0607/phase1_repetition_grid_gpu7.json
|
||||
@@ -0,0 +1,65 @@
|
||||
2026-03-09 06:47:56 [INFO] ========================================================================
|
||||
2026-03-09 06:47:56 [INFO] FRANKENSTALLM 3B — ORPO Evaluation Pipeline
|
||||
2026-03-09 06:47:56 [INFO] ========================================================================
|
||||
2026-03-09 06:47:56 [INFO] ORPO Checkpoint : checkpoints/korean_3b_orpo_v1/checkpoint-9840
|
||||
2026-03-09 06:47:56 [INFO] Tokenizer : checkpoints/korean_3b_orpo_v1/checkpoint-9840/tokenizer.json
|
||||
2026-03-09 06:47:56 [INFO] HF Model Path : checkpoints/korean_3b_orpo_v1/checkpoint-9840 (same as checkpoint)
|
||||
2026-03-09 06:47:56 [INFO] Base Results : /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_reeval_20260305_1451
|
||||
2026-03-09 06:47:56 [INFO] SFT Results : /PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/outputs/3b_sft_eval_20260306_1536
|
||||
2026-03-09 06:47:56 [INFO] Output dir : eval/outputs/3b_orpo_eval_20260309_0607
|
||||
2026-03-09 06:47:56 [INFO] GPUs : [0, 1, 2, 3, 4, 5, 6, 7]
|
||||
2026-03-09 06:47:56 [INFO] Phases : phase1=run phase2=skip
|
||||
2026-03-09 06:47:56 [INFO] Preflight OK: checkpoint=checkpoints/korean_3b_orpo_v1/checkpoint-9840, tokenizer=checkpoints/korean_3b_orpo_v1/checkpoint-9840/tokenizer.json
|
||||
2026-03-09 06:47:56 [INFO]
|
||||
2026-03-09 06:47:56 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 06:47:56 [INFO] PRE-PHASE — Extract Training Curve from train.log
|
||||
2026-03-09 06:47:56 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 06:47:56 [INFO] Parsing training log: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/checkpoints/korean_3b_orpo_v1/train.log
|
||||
2026-03-09 06:47:56 [INFO] Extracted 985 train steps, 19 eval steps from log.
|
||||
2026-03-09 06:47:56 [INFO] Training curve saved: eval/outputs/3b_orpo_eval_20260309_0607/training_curve.json
|
||||
2026-03-09 06:47:56 [INFO]
|
||||
2026-03-09 06:47:56 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 06:47:56 [INFO] PHASE 1 — ORPO Internal Evaluation — 8 GPU Parallel
|
||||
2026-03-09 06:47:56 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 5 — Calibration + Token NLL (GPU 5) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 6 — Generation (15 prompts × 4 temps) (GPU 6) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 7 — Repetition grid (12 × 5) (GPU 7) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 0 — PPL: 3b_val.bin (GPU 0) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 1 — PPL: korean_c4 + korean_val (GPU 1) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 2 — PPL: hplt_ko + cc100_ko (GPU 2) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 3 — PPL: 7 cosmo files (GPU 3) [ORPO]
|
||||
2026-03-09 06:47:56 [INFO] Spawning: GPU 4 — PPL: 7 remaining files (GPU 4) [ORPO]
|
||||
2026-03-09 06:49:02 [INFO] [DONE] GPU 5 — Calibration + Token NLL
|
||||
2026-03-09 06:49:58 [INFO] [DONE] GPU 6 — Generation (15 prompts × 4 temps)
|
||||
2026-03-09 06:50:06 [INFO] [DONE] GPU 7 — Repetition grid (12 × 5)
|
||||
2026-03-09 06:56:30 [INFO] [DONE] GPU 3 — PPL: 7 cosmo files
|
||||
2026-03-09 06:57:30 [INFO] [DONE] GPU 4 — PPL: 7 remaining files
|
||||
2026-03-09 06:59:48 [INFO] [DONE] GPU 2 — PPL: hplt_ko + cc100_ko
|
||||
2026-03-09 07:06:26 [INFO] [DONE] GPU 1 — PPL: korean_c4 + korean_val
|
||||
2026-03-09 07:29:04 [INFO] [DONE] GPU 0 — PPL: 3b_val.bin
|
||||
2026-03-09 07:29:04 [INFO] Complete: 8 succeeded, 0 failed
|
||||
2026-03-09 07:29:04 [INFO] Phase 1 results saved: eval/outputs/3b_orpo_eval_20260309_0607/phase1_results.json
|
||||
2026-03-09 07:29:04 [INFO] Generation samples saved: eval/outputs/3b_orpo_eval_20260309_0607/generation_samples.json
|
||||
2026-03-09 07:29:04 [INFO] Phase 1 complete in 41m 8s.
|
||||
2026-03-09 07:29:04 [INFO]
|
||||
2026-03-09 07:29:04 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 07:29:04 [INFO] PHASE 2 — ORPO Benchmarks — 8 GPU Parallel
|
||||
2026-03-09 07:29:04 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 07:29:04 [INFO] Skipping Phase 2.
|
||||
2026-03-09 07:29:08 [INFO] Loaded existing Phase 2 results.
|
||||
2026-03-09 07:29:08 [INFO]
|
||||
2026-03-09 07:29:08 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 07:29:08 [INFO] PHASE 3 — Base vs SFT vs ORPO — 3-Way Comparison Report
|
||||
2026-03-09 07:29:08 [INFO] ------------------------------------------------------------------------
|
||||
2026-03-09 07:29:13 [INFO] 3-way comparison report saved: /PROJECT/0325120031_A/ghong/taketimes/llm-bang/reports/2026-03-09_ORPO_EVALUATION_REPORT.md
|
||||
2026-03-09 07:29:13 [INFO] Phase 3 complete in 5s.
|
||||
2026-03-09 07:29:13 [INFO] ========================================================================
|
||||
2026-03-09 07:29:13 [INFO] ORPO EVALUATION PIPELINE COMPLETE
|
||||
2026-03-09 07:29:13 [INFO] ========================================================================
|
||||
2026-03-09 07:29:13 [INFO] Total time : 41m 17s
|
||||
2026-03-09 07:29:13 [INFO] Output dir : eval/outputs/3b_orpo_eval_20260309_0607
|
||||
2026-03-09 07:29:13 [INFO] Training curve : eval/outputs/3b_orpo_eval_20260309_0607/training_curve.json
|
||||
2026-03-09 07:29:13 [INFO] Phase 1 results : eval/outputs/3b_orpo_eval_20260309_0607/phase1_results.json
|
||||
2026-03-09 07:29:13 [INFO] Phase 2 results : eval/outputs/3b_orpo_eval_20260309_0607/phase2_results.json
|
||||
2026-03-09 07:29:13 [INFO] Report : /PROJECT/0325120031_A/ghong/taketimes/llm-bang/reports/2026-03-09_ORPO_EVALUATION_REPORT.md
|
||||
2026-03-09 07:29:13 [INFO] ========================================================================
|
||||
1982
source/eval/outputs/3b_orpo_eval_20260309_0607/phase1_results.json
Normal file
1982
source/eval/outputs/3b_orpo_eval_20260309_0607/phase1_results.json
Normal file
File diff suppressed because it is too large
Load Diff
208766
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu0_0shot.json
Normal file
208766
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu0_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:6571e4dcae74ccb51fcb49f5099753a23d50fd6f5437292e1b19793b46177d44
|
||||
size 19264181
|
||||
File diff suppressed because one or more lines are too long
70582
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu1_0shot.json
Normal file
70582
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu1_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
104181
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu2_0shot.json
Normal file
104181
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu2_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:67d221bf2ea07bb58c64c7db3e229b549f84ad6ebd97fe685c975c3992ba171c
|
||||
size 13087292
|
||||
File diff suppressed because one or more lines are too long
37750
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu3_0shot.json
Normal file
37750
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu3_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:bfaac7fef7009a2df97e1b2ef84b3ccd0308a1316c7e6da884c01966671fbbe0
|
||||
size 64393750
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:0dfa55edcc94b70b273dc2fa64a3ee9e3554cec55e4f409af48abb7f565dffef
|
||||
size 148110843
|
||||
File diff suppressed because one or more lines are too long
165351
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu5_0shot.json
Normal file
165351
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu5_0shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
165351
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu5_5shot_5shot.json
Normal file
165351
source/eval/outputs/3b_orpo_eval_20260309_0607/phase2_gpu5_5shot_5shot.json
Normal file
File diff suppressed because one or more lines are too long
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:f179d28c503b5787e9479260881a5982882a8a72bcdac44a437c59c87a6bb4bd
|
||||
size 40401209
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:e320613e6ddc275865c3dae61e9a422e92116e3edf4af53054da7429e8f87cd2
|
||||
size 142960634
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:86b45d56393eaafad92ca95c6985109e30c81cf1373437f43328f67184dd378d
|
||||
size 22526737
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:3e458de209b460ec7be95d58e3a84815b4bef486d2f07d6f4bbde96fa2a49cac
|
||||
size 61255784
|
||||
File diff suppressed because one or more lines are too long
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:5c0a976fbf8f65faddc4e960f28f0de51eac8f991a835a00532ecf754fec20b3
|
||||
size 575347028
|
||||
10065
source/eval/outputs/3b_orpo_eval_20260309_0607/training_curve.json
Normal file
10065
source/eval/outputs/3b_orpo_eval_20260309_0607/training_curve.json
Normal file
File diff suppressed because it is too large
Load Diff
Reference in New Issue
Block a user