初始化项目，由ModelHub XC社区提供模型
Model: pathcosmos/frankenstallm Source: Original Platform
This commit is contained in:
ModelHub XC
158
source/eval/outputs/3b_reeval_20260305_1450/full_eval_report.md
Normal file
158
source/eval/outputs/3b_reeval_20260305_1450/full_eval_report.md
Normal file
@@ -0,0 +1,158 @@
|
||||
# FRANKENSTALLM 3B 종합 평가 리포트
|
||||
|
||||
- **모델**: FRANKENSTALLM 3B
|
||||
- **체크포인트**: checkpoint-0057000
|
||||
- **평가 일시**: 2026-03-05 14:50:27
|
||||
- **총 소요 시간**: 0.0초
|
||||
|
||||
## Executive Summary
|
||||
|
||||
| 메트릭 | 값 |
|
||||
|--------|-----|
|
||||
| 주요 PPL (3b_val) | 5.2263 |
|
||||
| MMLU-KO 평균 (0과목) | N/A |
|
||||
| MMLU-EN 평균 | N/A |
|
||||
| KoBEST 평균 (0태스크) | N/A |
|
||||
| HAE-RAE | N/A |
|
||||
| Top-1 정확도 (Calibration) | 0.6875 |
|
||||
|
||||
## 참고 모델 비교
|
||||
|
||||
| 모델 | 파라미터 | MMLU-KO | MMLU-EN | KoBEST 평균 | PPL |
|
||||
|------|---------|---------|---------|------------|-----|
|
||||
| **FRANKENSTALLM 3B** | 3B | N/A | N/A | N/A | 5.2263 |
|
||||
| Llama-3.2-3B | 3B | ~42% | ~58% | ~55% | — |
|
||||
| Qwen2.5-3B | 3B | ~48% | ~65% | ~60% | — |
|
||||
| EXAONE-3.5-2.4B | 2.4B | ~35% | ~50% | ~50% | — |
|
||||
|
||||
|
||||
---
|
||||
|
||||
# Perplexity 평가
|
||||
|
||||
| 데이터셋 | PPL | Bits/Token | 전체 토큰 | 평가 토큰 | 소요 시간 |
|
||||
|---------|-----|-----------|---------|---------|---------|
|
||||
| korean_namuwiki | 25.8814 | 4.6938 | 2,166,179 | 6,488,957 | 63.7s |
|
||||
| cc100_ko | 21.7820 | 4.4451 | 4,532,995 | 13,585,262 | 133.2s |
|
||||
| namuwiki_2023b | 18.9170 | 4.2416 | 2,554,574 | 7,654,022 | 75.1s |
|
||||
| val | 18.3046 | 4.1941 | 3,040,344 | 9,110,737 | 89.4s |
|
||||
| korean_wiki | 11.8359 | 3.5651 | 524,561 | 1,567,747 | 15.5s |
|
||||
| wikipedia_ko | 10.7059 | 3.4203 | 590,691 | 1,765,762 | 17.4s |
|
||||
| korean | 7.0155 | 2.8105 | 17,850,578 | 53,512,147 | 521.6s |
|
||||
| open_web_math | 6.9264 | 2.7921 | 5,230,614 | 15,677,467 | 153.5s |
|
||||
| korean_c4 | 5.7173 | 2.5153 | 15,159,838 | 45,445,722 | 443.1s |
|
||||
| 3b | 5.2263 | 2.3858 | 75,681,623 | 226,891,932 | 2227.3s |
|
||||
| cosmo_web_v2 | 4.1664 | 2.0588 | 2,875,418 | 8,616,467 | 84.6s |
|
||||
| cosmo_stories | 3.9552 | 1.9837 | 6,299,229 | 18,881,012 | 185.2s |
|
||||
| cosmo_openstax | 3.8673 | 1.9513 | 242,751 | 723,497 | 7.2s |
|
||||
| cosmo_stanford | 3.3624 | 1.7495 | 2,217,375 | 6,642,457 | 65.3s |
|
||||
| cosmo_wikihow | 3.3097 | 1.7267 | 395,586 | 1,180,927 | 11.8s |
|
||||
| cosmo_auto_math_text | 3.1492 | 1.6550 | 2,632,946 | 7,888,877 | 77.3s |
|
||||
| cosmo_khanacademy | 2.9322 | 1.5520 | 47,751 | 138,662 | 1.5s |
|
||||
| mathpile | 2.7244 | 1.4459 | 2,379,696 | 7,129,052 | 69.9s |
|
||||
| hplt_ko | 2.4028 | 1.2647 | 16,165,735 | 48,460,462 | 475.9s |
|
||||
|
||||
|
||||
---
|
||||
|
||||
# Calibration 및 Token NLL 분석
|
||||
|
||||
## Calibration 결과
|
||||
|
||||
| 메트릭 | 값 |
|
||||
|--------|-----|
|
||||
| Top-1 Accuracy | 0.6875 |
|
||||
| Top-5 Accuracy | 0.8164 |
|
||||
| Top-10 Accuracy | 0.8593 |
|
||||
| Mean Correct Prob | 0.6152 |
|
||||
| Mean Entropy | 1.5682 |
|
||||
|
||||
## Token NLL 분포
|
||||
|
||||
| 통계 | 값 |
|
||||
|------|-----|
|
||||
| 평균 | 1.5561 |
|
||||
| 표준편차 | 2.4926 |
|
||||
| 중앙값 | 0.1221 |
|
||||
| 최솟값 | N/A |
|
||||
| 최댓값 | N/A |
|
||||
|
||||
### Percentiles
|
||||
|
||||
| Percentile | 값 |
|
||||
|------------|-----|
|
||||
| p5th | 0.0000 |
|
||||
| p25th | 0.0017 |
|
||||
| p75th | 2.3594 |
|
||||
| p95th | 7.0312 |
|
||||
| p99th | 10.3125 |
|
||||
|
||||
### 고손실 토큰 비율
|
||||
|
||||
| 임계값 | 비율 |
|
||||
|--------|-----|
|
||||
| NLL > 10 | 0.0118 |
|
||||
| NLL > 5 | 0.1086 |
|
||||
|
||||
|
||||
---
|
||||
|
||||
# 생성 품질 분석
|
||||
|
||||
## 요약 통계
|
||||
|
||||
| 메트릭 | 값 |
|
||||
|--------|-----|
|
||||
| Total Generations | 60.0000 |
|
||||
| N Prompts | 15.0000 |
|
||||
| Temperatures | [0.0, 0.5, 0.8, 1.0] |
|
||||
| Greedy Avg 1Gram Rep | 0.7964 |
|
||||
| Greedy Avg 2Gram Rep | 0.7586 |
|
||||
| Greedy Avg 3Gram Rep | 0.7275 |
|
||||
| Greedy Avg 4Gram Rep | 0.7078 |
|
||||
| Greedy Eos Rate | 0.0000 |
|
||||
| Greedy Avg Tokens | 256.0000 |
|
||||
| Sampled Avg 3Gram Rep | 0.2427 |
|
||||
| Sampled Eos Rate | 0.0000 |
|
||||
| Sampled Avg Tokens | 256.0000 |
|
||||
| Elapsed Sec | 141.8000 |
|
||||
|
||||
## 생성 샘플 (Greedy)
|
||||
|
||||
### 샘플 1
|
||||
|
||||
**Prompt**: 대한민국의 수도는
|
||||
|
||||
**Generated**:
|
||||
|
||||
### 샘플 2
|
||||
|
||||
**Prompt**: 대한민국의 수도는
|
||||
|
||||
**Generated**:
|
||||
|
||||
### 샘플 3
|
||||
|
||||
**Prompt**: 대한민국의 수도는
|
||||
|
||||
**Generated**:
|
||||
|
||||
### 샘플 4
|
||||
|
||||
**Prompt**: 대한민국의 수도는
|
||||
|
||||
**Generated**:
|
||||
|
||||
### 샘플 5
|
||||
|
||||
**Prompt**: 인공지능이란
|
||||
|
||||
**Generated**:
|
||||
|
||||
|
||||
|
||||
---
|
||||
|
||||
# 표준 벤치마크 결과
|
||||
|
||||
데이터 없음
|
||||
1370
source/eval/outputs/3b_reeval_20260305_1450/generation_samples.json
Normal file
1370
source/eval/outputs/3b_reeval_20260305_1450/generation_samples.json
Normal file
File diff suppressed because it is too large
Load Diff
1610
source/eval/outputs/3b_reeval_20260305_1450/phase1_results.json
Normal file
1610
source/eval/outputs/3b_reeval_20260305_1450/phase1_results.json
Normal file
File diff suppressed because it is too large
Load Diff
@@ -0,0 +1,26 @@
|
||||
# FRANKENSTALLM 3B 종합 평가 리포트
|
||||
|
||||
- **모델**: FRANKENSTALLM 3B
|
||||
- **체크포인트**: checkpoint-0057000
|
||||
- **평가 일시**: 2026-03-05 14:50:27
|
||||
- **총 소요 시간**: 0.0초
|
||||
|
||||
## Executive Summary
|
||||
|
||||
| 메트릭 | 값 |
|
||||
|--------|-----|
|
||||
| 주요 PPL (3b_val) | 5.2263 |
|
||||
| MMLU-KO 평균 (0과목) | N/A |
|
||||
| MMLU-EN 평균 | N/A |
|
||||
| KoBEST 평균 (0태스크) | N/A |
|
||||
| HAE-RAE | N/A |
|
||||
| Top-1 정확도 (Calibration) | 0.6875 |
|
||||
|
||||
## 참고 모델 비교
|
||||
|
||||
| 모델 | 파라미터 | MMLU-KO | MMLU-EN | KoBEST 평균 | PPL |
|
||||
|------|---------|---------|---------|------------|-----|
|
||||
| **FRANKENSTALLM 3B** | 3B | N/A | N/A | N/A | 5.2263 |
|
||||
| Llama-3.2-3B | 3B | ~42% | ~58% | ~55% | — |
|
||||
| Qwen2.5-3B | 3B | ~48% | ~65% | ~60% | — |
|
||||
| EXAONE-3.5-2.4B | 2.4B | ~35% | ~50% | ~50% | — |
|
||||
@@ -0,0 +1,23 @@
|
||||
# Perplexity 평가
|
||||
|
||||
| 데이터셋 | PPL | Bits/Token | 전체 토큰 | 평가 토큰 | 소요 시간 |
|
||||
|---------|-----|-----------|---------|---------|---------|
|
||||
| korean_namuwiki | 25.8814 | 4.6938 | 2,166,179 | 6,488,957 | 63.7s |
|
||||
| cc100_ko | 21.7820 | 4.4451 | 4,532,995 | 13,585,262 | 133.2s |
|
||||
| namuwiki_2023b | 18.9170 | 4.2416 | 2,554,574 | 7,654,022 | 75.1s |
|
||||
| val | 18.3046 | 4.1941 | 3,040,344 | 9,110,737 | 89.4s |
|
||||
| korean_wiki | 11.8359 | 3.5651 | 524,561 | 1,567,747 | 15.5s |
|
||||
| wikipedia_ko | 10.7059 | 3.4203 | 590,691 | 1,765,762 | 17.4s |
|
||||
| korean | 7.0155 | 2.8105 | 17,850,578 | 53,512,147 | 521.6s |
|
||||
| open_web_math | 6.9264 | 2.7921 | 5,230,614 | 15,677,467 | 153.5s |
|
||||
| korean_c4 | 5.7173 | 2.5153 | 15,159,838 | 45,445,722 | 443.1s |
|
||||
| 3b | 5.2263 | 2.3858 | 75,681,623 | 226,891,932 | 2227.3s |
|
||||
| cosmo_web_v2 | 4.1664 | 2.0588 | 2,875,418 | 8,616,467 | 84.6s |
|
||||
| cosmo_stories | 3.9552 | 1.9837 | 6,299,229 | 18,881,012 | 185.2s |
|
||||
| cosmo_openstax | 3.8673 | 1.9513 | 242,751 | 723,497 | 7.2s |
|
||||
| cosmo_stanford | 3.3624 | 1.7495 | 2,217,375 | 6,642,457 | 65.3s |
|
||||
| cosmo_wikihow | 3.3097 | 1.7267 | 395,586 | 1,180,927 | 11.8s |
|
||||
| cosmo_auto_math_text | 3.1492 | 1.6550 | 2,632,946 | 7,888,877 | 77.3s |
|
||||
| cosmo_khanacademy | 2.9322 | 1.5520 | 47,751 | 138,662 | 1.5s |
|
||||
| mathpile | 2.7244 | 1.4459 | 2,379,696 | 7,129,052 | 69.9s |
|
||||
| hplt_ko | 2.4028 | 1.2647 | 16,165,735 | 48,460,462 | 475.9s |
|
||||
@@ -0,0 +1,38 @@
|
||||
# Calibration 및 Token NLL 분석
|
||||
|
||||
## Calibration 결과
|
||||
|
||||
| 메트릭 | 값 |
|
||||
|--------|-----|
|
||||
| Top-1 Accuracy | 0.6875 |
|
||||
| Top-5 Accuracy | 0.8164 |
|
||||
| Top-10 Accuracy | 0.8593 |
|
||||
| Mean Correct Prob | 0.6152 |
|
||||
| Mean Entropy | 1.5682 |
|
||||
|
||||
## Token NLL 분포
|
||||
|
||||
| 통계 | 값 |
|
||||
|------|-----|
|
||||
| 평균 | 1.5561 |
|
||||
| 표준편차 | 2.4926 |
|
||||
| 중앙값 | 0.1221 |
|
||||
| 최솟값 | N/A |
|
||||
| 최댓값 | N/A |
|
||||
|
||||
### Percentiles
|
||||
|
||||
| Percentile | 값 |
|
||||
|------------|-----|
|
||||
| p5th | 0.0000 |
|
||||
| p25th | 0.0017 |
|
||||
| p75th | 2.3594 |
|
||||
| p95th | 7.0312 |
|
||||
| p99th | 10.3125 |
|
||||
|
||||
### 고손실 토큰 비율
|
||||
|
||||
| 임계값 | 비율 |
|
||||
|--------|-----|
|
||||
| NLL > 10 | 0.0118 |
|
||||
| NLL > 5 | 0.1086 |
|
||||
@@ -0,0 +1,52 @@
|
||||
# 생성 품질 분석
|
||||
|
||||
## 요약 통계
|
||||
|
||||
| 메트릭 | 값 |
|
||||
|--------|-----|
|
||||
| Total Generations | 60.0000 |
|
||||
| N Prompts | 15.0000 |
|
||||
| Temperatures | [0.0, 0.5, 0.8, 1.0] |
|
||||
| Greedy Avg 1Gram Rep | 0.7964 |
|
||||
| Greedy Avg 2Gram Rep | 0.7586 |
|
||||
| Greedy Avg 3Gram Rep | 0.7275 |
|
||||
| Greedy Avg 4Gram Rep | 0.7078 |
|
||||
| Greedy Eos Rate | 0.0000 |
|
||||
| Greedy Avg Tokens | 256.0000 |
|
||||
| Sampled Avg 3Gram Rep | 0.2427 |
|
||||
| Sampled Eos Rate | 0.0000 |
|
||||
| Sampled Avg Tokens | 256.0000 |
|
||||
| Elapsed Sec | 141.8000 |
|
||||
|
||||
## 생성 샘플 (Greedy)
|
||||
|
||||
### 샘플 1
|
||||
|
||||
**Prompt**: 대한민국의 수도는
|
||||
|
||||
**Generated**:
|
||||
|
||||
### 샘플 2
|
||||
|
||||
**Prompt**: 대한민국의 수도는
|
||||
|
||||
**Generated**:
|
||||
|
||||
### 샘플 3
|
||||
|
||||
**Prompt**: 대한민국의 수도는
|
||||
|
||||
**Generated**:
|
||||
|
||||
### 샘플 4
|
||||
|
||||
**Prompt**: 대한민국의 수도는
|
||||
|
||||
**Generated**:
|
||||
|
||||
### 샘플 5
|
||||
|
||||
**Prompt**: 인공지능이란
|
||||
|
||||
**Generated**:
|
||||
|
||||
@@ -0,0 +1,3 @@
|
||||
# 표준 벤치마크 결과
|
||||
|
||||
데이터 없음
|
||||
Reference in New Issue
Block a user