8.2 KiB
8.2 KiB
Korean LLM Benchmark Pipeline
작성: 2026-02-26 | 서버: 8× NVIDIA B200 183GB | PyTorch 2.10 (NV custom), CUDA 13.1
1. lm-eval 설치 상태
lm-eval 0.4.11 설치됨 (/usr/local/lib/python3.12/dist-packages/)
설치 명령: pip install lm-eval --break-system-packages
⚠️
lm-eval[ko]extra는 0.4.11에 없음. 기본lm-eval로 설치하면 됨. Korean 관련 태스크는 기본 패키지에 모두 포함돼 있음.
2. Open Ko-LLM Leaderboard 9개 태스크 분석
❌ 결론: 로컬 실행 불가 (비공개 데이터셋)
Open Ko-LLM Leaderboard 2의 9개 태스크는 전용 비공개 데이터셋 사용:
- Ko-GPQA, Ko-WinoGrande, Ko-GSM8K, Ko-EQ-Bench → Flitto 제공 (비공개)
- KorNAT-CKA, KorNAT-SVA, Ko-Harmlessness, Ko-Helpfulness → SELECTSTAR + KAIST AI (비공개)
- Ko-IFEval → 비공개 번역본
leaderboard는 lm-evaluation-harness를 사용하지만, 데이터셋에 직접 접근 불가.
각 태스크 상세 (메트릭 기준, 결과 데이터 분석)
| 태스크 | 레이블 | 메트릭 | Few-shot | 특징 |
|---|---|---|---|---|
ko_eqbench |
Ko-EQ Bench | eqbench,none |
0-shot | 감정지능 평가, 파싱 필요 |
ko_gpqa_diamond_zeroshot |
Ko-GPQA Diamond | acc_norm,none |
0-shot | 대학원 수준 과학 |
ko_gsm8k |
Ko-GSM8K | exact_match,strict-match |
0-shot | 초등 수학 추론 |
ko_ifeval |
Ko-IFEval | prompt_level_strict_acc,none + inst_level_strict_acc,none (평균) |
0-shot | 지시 따르기 |
ko_winogrande |
Ko-Winogrande | acc,none |
0-shot | 상식 추론 |
kornat_common |
KorNAT-CKA | acc_norm,none |
0-shot | 한국 문화·지식 |
kornat_harmless |
Ko-Harmlessness | acc_norm,none |
0-shot | 무해성 |
kornat_helpful |
Ko-Helpfulness | acc_norm,none |
0-shot | 유용성 |
kornat_social |
KorNAT-SVA | A-SVA,none |
0-shot | 사회적 가치 |
대안: 공개 유사 태스크로 간접 측정
| 원래 태스크 | 공개 대안 (lm-eval) |
|---|---|
| Ko-GSM8K | global_mmlu_ko + 수학 서브셋 |
| Ko-WinoGrande | paws_ko (유사 상식) |
| KorNAT-CKA | haerae_general_knowledge, haerae_history |
| Ko-IFEval | 별도 IFEval 스크립트 필요 |
3. 실제 사용 가능한 한국어 벤치마크
3-1. KoBEST ✅ (lm-eval 내장)
- HF 데이터셋:
skt/kobest_v1 - lm-eval 태스크 그룹:
kobest - 5개 서브태스크:
kobest_boolq: True/False 이진 분류 (~950 test)kobest_copa: 원인·결과 추론 (~500 test)kobest_hellaswag: 문장 완성 상식 (~500 test)kobest_sentineg: 감성 분석 부정문 (~500 test)kobest_wic: 단어 의미 파악 (~638 test)
- 실행 명령:
lm_eval --model hf --model_args pretrained=<HF_MODEL_PATH> \ --tasks kobest --num_fewshot 0 --batch_size auto - 예상 소요: 1B 모델 기준 GPU 1장 ~15-30분
3-2. HAE-RAE Bench ✅ (lm-eval 내장)
- HF 데이터셋:
HAERAE-HUB/HAE_RAE_BENCH_1.0 - lm-eval 태스크 그룹:
haerae - 6개 서브태스크: (reading_comprehension 제외 5개 lm-eval에서 지원)
haerae_general_knowledge: 한국 상식 (~430 test)haerae_history: 역사 (~100 test)haerae_loan_word: 외래어 (~200 test)haerae_rare_word: 희귀어 (~200 test)haerae_standard_nomenclature: 표준어 표기 (~200 test)
- 실행 명령:
lm_eval --model hf --model_args pretrained=<HF_MODEL_PATH> \ --tasks haerae --num_fewshot 0 --batch_size auto - 예상 소요: ~5-10분
3-3. Global MMLU (Korean) ✅ (lm-eval 내장)
- HF 데이터셋:
CohereForAI/Global-MMLU - lm-eval 태스크 그룹:
global_mmlu_ko - 57개 도메인 한국어 번역본
- 실행 명령:
lm_eval --model hf --model_args pretrained=<HF_MODEL_PATH> \ --tasks global_mmlu_ko --num_fewshot 0 --batch_size auto - 예상 소요: 1B 모델 기준 ~60-90분
3-4. K2-Eval ⚠️ (별도 평가 필요)
- HF 데이터셋:
HAERAE-HUB/K2-Eval✅ (공개 접근 가능) - 형태: 개방형 지시 따르기 (Open-ended instructions)
- 카테고리: Korean History, Geography, Social Issues, Numerical Estimation, Creative Writing 등
- lm-eval 지원: ❌ — LLM-as-a-Judge 방식 필요 (GPT-4 또는 Claude)
- 대안: vLLM으로 생성 후 별도 judge 스크립트
3-5. LogiKor ❌ (HuggingFace에서 미확인)
- 공개된 LogiKor 데이터셋을 HF에서 찾지 못함
- 논문/GitHub 경로 직접 확인 필요
- 추후 발견 시 추가 예정
3-6. PAWS-Ko ✅ (lm-eval 내장)
- 태스크:
paws_ko— 패러프레이즈 탐지 - 빠르게 언어 이해 측정 가능
4. 빠른 체크 vs 전체 평가 태스크셋
⚡ 빠른 체크 (목표: 30분 이내)
kobest_boolq, kobest_copa, haerae_general_knowledge, haerae_history, paws_ko
- 총 샘플 수: ~2,000개 이하
- 1B 모델 + 8×B200 → 약 10-20분 예상
- 다양성: 분류, 추론, 상식, 패러프레이즈
📊 전체 평가 (목표: 2-4시간)
kobest (5) + haerae (5) + global_mmlu_ko (전체) + paws_ko
- 총 샘플 수: ~15,000개
- 1B 모델 + 8×B200 → 약 1.5-3시간 예상
- tensor_parallel 미지원 시 단일 GPU 사용 → 더 길어질 수 있음
5. 모델 서빙 방법 결론
현황
- 체크포인트:
checkpoints/korean_1b_sft/checkpoint-0005000/ - 내용:
model.pt,config.yaml,optimizer.pt,scheduler.pt,train_state.pt - 모델 아키텍처: 커스텀 LLaMA-like (FP8, d_model=2048, n_layers=24, n_heads=16)
- lm-eval 기본 포맷: HuggingFace
AutoModelForCausalLM
✅ 추천 방법: HF 변환 후 평가
scripts/convert_to_hf.py가 이미 구현되어 있음. LlamaForCausalLM으로 변환.
# Step 1: HF 포맷으로 변환
cd /PROJECT/0325120031_A/ghong/taketimes/llm-bang
python scripts/convert_to_hf.py \
--checkpoint checkpoints/korean_1b_sft/checkpoint-0005000 \
--output outputs/hf_korean_1b_sft_5000 \
--tokenizer tokenizer/korean_sp/tokenizer.json
# Step 2: lm-eval 실행
lm_eval --model hf \
--model_args pretrained=outputs/hf_korean_1b_sft_5000 \
--tasks kobest \
--device cuda:0
주의사항:
- FP8 가중치를 float32로 변환하는 과정 포함 (convert_to_hf.py 내부 처리)
- 커스텀 어휘(vocab_size=64000) →
sentencepiece_unigram방식 - lm-eval이 tokenizer를 인식하려면
tokenizer_config.json에"model_type": "llama"필요 (스크립트에 이미 포함)
대안 방법 B: API 서빙 + local-completions
# vLLM으로 변환된 모델 서빙
python -m vllm.entrypoints.openai.api_server \
--model outputs/hf_korean_1b_sft_5000 --port 8000
# lm-eval API 평가
lm_eval --model local-completions \
--model_args model=outputs/hf_korean_1b_sft_5000,base_url=http://localhost:8000/v1,num_concurrent=8 \
--tasks kobest
❌ 방법 C: 커스텀 래퍼 (권장 안 함)
lm-eval ModelWrapper 작성 필요 → 복잡도 높음, 유지보수 어려움.
6. 설치 가이드
# 현재 환경 (Python 3.12, externally managed)
pip install lm-eval --break-system-packages
# 또는 가상환경 사용 (권장)
python3 -m venv /PROJECT/0325120031_A/ghong/taketimes/llm-bang/venv
source /PROJECT/0325120031_A/ghong/taketimes/llm-bang/venv/bin/activate
pip install lm-eval
# 추가 의존성
pip install safetensors transformers torch accelerate
7. 스크립트 위치
| 스크립트 | 용도 |
|---|---|
scripts/run_eval_quick.sh |
빠른 체크 (10-20분) |
scripts/run_eval_full.sh |
전체 평가 (1.5-3시간) |
scripts/convert_to_hf.py |
커스텀 체크포인트 → HF 변환 |
8. 참고 자료
- Open Ko-LLM Leaderboard: https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard
- lm-evaluation-harness: https://github.com/EleutherAI/lm-evaluation-harness
- KoBEST: https://huggingface.co/datasets/skt/kobest_v1
- HAE-RAE Bench: https://huggingface.co/datasets/HAERAE-HUB/HAE_RAE_BENCH_1.0
- K2-Eval: https://huggingface.co/datasets/HAERAE-HUB/K2-Eval
- KorNAT 논문: Lee et al. (2024) — KorNAT: LLM Alignment Benchmark for Korean Social Values