初始化项目，由ModelHub XC社区提供模型

Model: pathcosmos/frankenstallm Source: Original Platform
2026-07-14 04:21:16 +08:00
commit d4abdb70fa
516 changed files with 5584477 additions and 0 deletions
--- a/source/eval/data_inventory/DOWNLOAD_PRIORITY.md
+++ b/source/eval/data_inventory/DOWNLOAD_PRIORITY.md
@@ -0,0 +1,171 @@
+# 다운로드 우선순위 계획
+> 생성일: 2026-02-27 | 디스크 여유: 19TB
+
+## 즉시 다운로드 Top 5 (우선순위순)
+
+---
+
+### 🥇 Priority 1: FineWeb-Edu (Korean subset)
+- **데이터셋:** `HuggingFaceFW/fineweb-edu`
+- **왜:** 교육 품질 필터링된 웹 데이터, 고품질(A급). 한국어 서브셋만 추출 가능
+- **예상:** 5~15B tokens (한국어 부분)
+- **접근:** ✅ 무료, gated 아님
+- **임팩트:** 고품질 pretrain 토큰 대량 확보 + 교육 도메인 강화
+```bash
+# 한국어 서브셋 다운로드
+pip install datasets
+python3 -c "
+from datasets import load_dataset
+ds = load_dataset('HuggingFaceFW/fineweb-edu', 'CC-MAIN-2024-10', split='train', streaming=True)
+# language filter needed - fineweb-edu is primarily English
+# Alternative: fineweb-edu-score filtered Korean web data
+"
+```
+> ⚠️ 주의: fineweb-edu는 대부분 영어. 한국어 비중 적을 수 있음. 영어 고품질 보충용으로도 가치 있음.
+
+---
+
+### 🥈 Priority 2: Korean Preference/DPO 데이터 (다수 소스)
+- **데이터셋들:**
+  - `kuotient/orca-math-korean-preference` ✅
+  - `kuotient/orca-math-korean-dpo-pairs` ✅  
+  - `heegyu/orca-math-korean-preference-cleaned` ✅
+  - `ohsuz/dpo-v1010-korean` ✅
+  - `ChuGyouk/argilla-distilabel-math-preference-dpo-korean` ✅
+- **왜:** Preference 데이터 **0건**인 현재 상태에서 ORPO 학습 자체 불가 → 가장 시급
+- **예상:** 합계 30~60K 쌍
+- **접근:** ✅ 모두 무료
+- **임팩트:** ORPO/DPO 학습 파이프라인 활성화
+```bash
+python3 << 'PYEOF'
+from datasets import load_dataset
+import json, os
+
+out_dir = "/PROJECT/0325120031_A/ghong/taketimes/llm-bang/data/preference"
+os.makedirs(out_dir, exist_ok=True)
+
+datasets_to_dl = [
+    ("kuotient/orca-math-korean-preference", None),
+    ("kuotient/orca-math-korean-dpo-pairs", None),
+    ("heegyu/orca-math-korean-preference-cleaned", None),
+    ("ohsuz/dpo-v1010-korean", None),
+]
+
+for name, config in datasets_to_dl:
+    try:
+        ds = load_dataset(name, config, split="train")
+        safe_name = name.replace("/", "_")
+        ds.to_json(f"{out_dir}/{safe_name}.jsonl")
+        print(f"✅ {name}: {len(ds)} samples")
+    except Exception as e:
+        print(f"❌ {name}: {e}")
+PYEOF
+```
+
+---
+
+### 🥉 Priority 3: RedPajama-Data-1T (영어 고품질 서브셋)
+- **데이터셋:** `togethercomputer/RedPajama-Data-1T`
+- **왜:** 영어 데이터 극히 부족 (0.6B). 코드/ArXiv/Book/StackExchange 서브셋 선별 다운로드
+- **예상:** 선별 10~20B tokens (코드 5B + ArXiv 3B + Book 2B + SE 2B)
+- **접근:** ✅ 무료
+- **임팩트:** 코드/과학/추론 능력 + cross-lingual transfer 대폭 강화
+```bash
+python3 << 'PYEOF'
+from datasets import load_dataset
+
+# 코드 서브셋만 먼저 (github subset)
+ds = load_dataset("togethercomputer/RedPajama-Data-1T", "github", 
+                   split="train", streaming=True,
+                   cache_dir="/PROJECT/0325120031_A/ghong/taketimes/llm-bang/data/redpajama")
+# ArXiv subset
+ds_arxiv = load_dataset("togethercomputer/RedPajama-Data-1T", "arxiv",
+                         split="train", streaming=True,
+                         cache_dir="/PROJECT/0325120031_A/ghong/taketimes/llm-bang/data/redpajama")
+PYEOF
+```
+
+---
+
+### 4️⃣ Priority 4: 한국어 SFT 다양성 보강
+- **데이터셋들:**
+  - `kyujinpy/KOR-OpenOrca-Platypus-v3` ✅ (추론/수학)
+  - `maywell/ko_wikidata_QA` ✅ (지식 QA)
+  - `nlpai-lab/kullm-v2` ✅ (범용 지시)
+- **왜:** 현재 SFT 170K은 양적 충분하나 코드/수학/추론 도메인 부족
+- **예상:** +50~100K 다양한 도메인 샘플
+- **접근:** ✅ 모두 무료
+```bash
+python3 << 'PYEOF'
+from datasets import load_dataset
+import os
+
+out_dir = "/PROJECT/0325120031_A/ghong/taketimes/llm-bang/data/sft_extra"
+os.makedirs(out_dir, exist_ok=True)
+
+for name in ["kyujinpy/KOR-OpenOrca-Platypus-v3", "maywell/ko_wikidata_QA", "nlpai-lab/kullm-v2"]:
+    try:
+        ds = load_dataset(name, split="train")
+        safe = name.replace("/","_")
+        ds.to_json(f"{out_dir}/{safe}.jsonl")
+        print(f"✅ {name}: {len(ds)}")
+    except Exception as e:
+        print(f"❌ {name}: {e}")
+PYEOF
+```
+
+---
+
+### 5️⃣ Priority 5: Open-Web-Math (수학 특화)
+- **데이터셋:** `open-web-math/open-web-math`
+- **왜:** 수학 데이터 전무. 수학 능력은 LLM 벤치마크 핵심 영역
+- **예상:** ~14B tokens (영어 수학)
+- **접근:** ✅ 무료
+- **임팩트:** 수학 추론 능력 기반 확보
+```bash
+python3 -c "
+from datasets import load_dataset
+ds = load_dataset('open-web-math/open-web-math', split='train', streaming=True,
+                   cache_dir='/PROJECT/0325120031_A/ghong/taketimes/llm-bang/data/open-web-math')
+# Stream and save
+"
+```
+
+---
+
+## 다운로드 후 예상 토큰 분포
+
+| 카테고리 | 현재 | 추가 | 합계 |
+|---------|------|------|------|
+| 한국어 Pretrain | 39B | +5~10B (fineweb-edu ko) | 44~49B |
+| 영어 코드 | 0 | +5B (RedPajama github) | 5B |
+| 영어 과학/ArXiv | 0 | +3B (RedPajama arxiv) | 3B |
+| 영어 수학 | 0 | +10B (open-web-math) | 10B |
+| 영어 기타 고품질 | 0.6B | +5B (RedPajama book+SE) | 5.6B |
+| **Pretrain 합계** | **~39B** | **+28~33B** | **~67~72B** |
+| SFT | 170K | +50~100K | 220~270K |
+| Preference | 0 | +30~60K 쌍 | 30~60K 쌍 |
+
+### 목표 달성 여부
+- ✅ Chinchilla minimum (60B) 달성 가능
+- ✅ ORPO/DPO 학습 가능
+- ✅ 코드/수학/과학 도메인 커버
+- 🟡 Chinchilla optimal (210B)에는 여전히 부족 → 추후 CulturaX 전체, SlimPajama 등 추가 검토
+
+---
+
+## 데이터 믹스 권장 비율 (학습 시)
+
+```
+한국어 텍스트:  50% (~35B tokens)
+영어 코드:     15% (~10B tokens)  
+영어 수학/과학: 15% (~10B tokens)
+영어 일반:     15% (~10B tokens)
+한국어 교육:    5% (~3B tokens)
+```
+
+## 주의사항
+1. CulturaX는 gated(auto) → HuggingFace에서 동의 필요 (이미 다운받은 60GB 활용)
+2. the-stack-dedup도 gated → 승인 필요, RedPajama github로 대체
+3. 다운로드 전 `huggingface-cli login --token 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` 실행
+4. 대용량 다운로드 시 `HF_HUB_ENABLE_HF_TRANSFER=1` 환경변수 설정 권장
--- a/source/eval/data_inventory/MASTER_DATA_REPORT.md
+++ b/source/eval/data_inventory/MASTER_DATA_REPORT.md
@@ -0,0 +1,227 @@
+# 한국어 LLM 데이터 종합 리포트
+> 생성: 2026-02-27 | 5개 subagent 조사 결과 통합
+
+---
+
+## 1. 현재 보유 현황
+
+| 카테고리 | 데이터셋 | 디스크 | 추정 토큰 | 품질 |
+|---------|---------|--------|---------|------|
+| 교육 웹 | fineweb2_edu_ko | 234G | ~50B | A |
+| 웹 크롤 | culturax_ko | 60G | ~24B | B+ |
+| 수학 | open_web_math | 26G | ~10B | A |
+| 웹 크롤 | hplt_ko | 23G | ~9B | B |
+| 웹 크롤 | cc100_processed | 19G | ~7B | C+ |
+| 웹 크롤 | cc100_ko | 14G | ~5.5B | C |
+| 웹 크롤 | oscar_ko | 9.2G | ~3.5B | B |
+| 교육 | korean_textbooks | 6.4G | ~1.5B | A |
+| 웹 | korean_webtext | 4.2G | ~1B | B+ |
+| 백과 | namuwiki_2023 | 2.9G | ~1B | A- |
+| 교육 | finepdfs_edu_ko | 2.9G | ~0.7B | A- |
+| 백과 | namuwiki_extracted | 2.2G | ~0.5B | A- |
+| 백과 | wikipedia_korean | 1.7G | ~0.4B | A |
+| 백과 | wikipedia_ko_2024 | 1.4G | ~0.3B | A |
+| Instruct | kovast | 449M | ~0.1B | B |
+| Instruct | evol_instruct_ko | 144M | ~0.03B | B |
+| 대화 | korean_safe_conv | 51M | ~0.01B | B |
+| **합계** | | **~410G** | **~114B raw** | |
+
+> ⚠️ 토큰화 완료 `.bin`: korean_train.bin(17G≈8.9B), korean_c4_train(15G≈7.5B) 등 실제 학습 사용 ~39B
+
+---
+
+## 2. 부족 도메인 갭 분석
+
+### 🔴 CRITICAL (없음)
+| 도메인 | 현황 | 영향 |
+|--------|------|------|
+| **Preference/DPO** | 0건 | ORPO 학습 불가 |
+| **법률/판례** | 0 | 법률 추론 불가 |
+| **의료/의학** | 0 | 헬스케어 응답 불가 |
+| **코드 (한국어 주석)** | 0 | 코딩 지원 약함 |
+| **뉴스/언론** | 0 | 시사 맥락 약함 |
+
+### 🟡 WEAK (매우 부족)
+| 도메인 | 현황 | 영향 |
+|--------|------|------|
+| **Instruction/SFT** | ~0.6G (644MB) | 지시 따르기 약함 |
+| **금융/경제** | 0 | 금융 도메인 응답 약함 |
+| **학술논문** | 0 | 학술적 글쓰기 약함 |
+| **소설/문학** | 0 | 창작 능력 약함 |
+
+---
+
+## 3. 최고 후보군 — Pretrain 용 (부족 도메인 채우기)
+
+### 🥇 1순위: KORMo-Team/korean-web-collection
+- **크기**: ~50~80GB / ~20~30B 토큰
+- **특징**: HF에서 가장 큰 한국어 전용 웹 크롤. 현재 보유 데이터와 중복 적음
+- **라이선스**: 공개
+- **다운로드**: `huggingface-cli download KORMo-Team/korean-web-collection --repo-type dataset --local-dir ./data/korean-web-collection`
+
+### 🥈 2순위: HPLT/HPLT2.0_cleaned (ko)
+- **크기**: ~30GB / ~12B 토큰
+- **특징**: HPLT v1.2 이미 보유(23G) → v2.0은 더 크고 정제됨. 추가 순수 증가분 존재
+- **라이선스**: 공개
+- **다운로드**: `python -c "from datasets import load_dataset; ds = load_dataset('HPLT/HPLT2.0_cleaned', 'ko', split='train'); ds.save_to_disk('./data/hplt2-ko')"`
+
+### 🥉 3순위: 법률 도메인 묶음
+| 데이터셋 | 크기 | 내용 |
+|---------|------|------|
+| `joonhok-exo-ai/korean_law_open_data_precedents` | ~1-2G | 법원 판례 전문 |
+| `smhilee/korean-law-dataset` | ~1-3G | 법령/법률 텍스트 |
+| `Rootpye/korean-lawdata2` | ~0.5-1G | 법률 데이터 |
+| `Rootpye/korean-lawdata4` | ~0.5-1G | 법률 데이터 v4 |
+| `ducut91/korean-constitutional-court-decisions` | ~0.5G | 헌법재판소 결정 |
+- **합계**: ~4~8G / ~1~2B 토큰
+- **왜 중요**: 법률은 완전 공백 도메인. 정밀한 한국어 + 논리 구조 → pretrain 품질 향상
+
+### 4순위: mc4 (ko)
+- **크기**: ~50GB / ~20B 토큰
+- **특징**: CulturaX와 일부 중복이나 원본 mC4 추가 텍스트 존재
+- **라이선스**: 공개
+- **다운로드**: `python -c "from datasets import load_dataset; ds = load_dataset('mc4', 'ko', split='train'); ds.save_to_disk('./data/mc4-ko')"`
+
+### 5순위: RedPajama-Data-1T (코드+ArXiv)
+- **크기**: 선별 ~15~20GB / ~8~10B 토큰
+- **특징**: 한국어 모델이라도 코드+과학 영어 데이터 필수 (cross-lingual transfer)
+- **서브셋**: `github` (코드 5B) + `arxiv` (과학 3B) + `book` (2B)
+- **라이선스**: 공개
+
+---
+
+## 4. 최고 후보군 — SFT 용
+
+### 🥇 1: kuotient/orca-math-word-problems-193k-korean
+- **크기**: 193K 샘플
+- **내용**: 수학 문제 한국어, Orca Math 기반
+- **왜**: 수학 도메인 완전 공백 채움. 검증된 고품질
+
+### 🥈 2: dbdu/ShareGPT-74k-ko
+- **크기**: 74K 샘플
+- **내용**: ChatGPT 실사용 대화 멀티턴 한국어 번역
+- **왜**: 싱글턴 편향인 현재 데이터 보완, 다양한 도메인
+
+### 🥉 3: nayohan/Evol-Instruct-Code-80k-v1-ko
+- **크기**: 80K 샘플
+- **내용**: WizardCoder 기반 코딩 instruction 한국어
+- **왜**: 코딩 도메인 현재 ~5% → 대폭 강화
+
+### 4: nlp-with-deeplearning/Ko.WizardLM_evol_instruct_V2_196k
+- **크기**: 196K 샘플
+- **내용**: WizardLM Evol Instruct 한국어 — 복잡한 추론 포함
+
+### 5: FreedomIntelligence/alpaca-gpt4-korean
+- **크기**: 52K 샘플
+- **내용**: GPT-4 생성 Alpaca 한국어 — 고품질 응답
+
+> **SFT 추가 후 예상**: 현재 162K + 595K = **~757K** (4.7배 증가)
+
+---
+
+## 5. 최고 후보군 — Preference/ORPO 용
+
+### 🥇 1: jojo0217/korean_rlhf_dataset
+- **크기**: 100K+ 쌍
+- **내용**: 한국어 RLHF 종합 — 가장 범용적
+- **우선순위**: 즉시 다운로드
+
+### 🥈 2: maywell/ko_Ultrafeedback_binarized
+- **크기**: ~60K 쌍
+- **내용**: UltraFeedback 한국어 번역, binarized (chosen/rejected)
+- **왜**: 이미 chosen/rejected 형식으로 ORPO 바로 사용 가능
+
+### 🥉 3: nayohan/preference-collection-ko-full
+- **크기**: 100K+ 쌍
+- **내용**: 한국어 종합 preference 컬렉션
+
+### 4: kuotient/orca-math-korean-dpo-pairs
+- **크기**: 100K+ 쌍
+- **내용**: 수학 특화 DPO 쌍
+
+> **ORPO 추천 조합**: jojo0217 + maywell + nayohan = ~260K쌍 → 바로 시작 가능
+
+---
+
+## 6. 외부 소스 (신청 필요)
+
+| 소스 | 추정량 | 특징 |
+|------|--------|------|
+| AI Hub (aihub.or.kr) | ~60~100GB | 뉴스, 대화, 의료, 법률, 금융 전문 — 승인 필요, 비상업적 가능 |
+| NIKL 모두의 말뭉치 | ~35~50GB | 문어/구어 코퍼스, 비상업적 연구용 신청 |
+| 국가법령정보센터 | ~5~10GB | 크롤링 가능 (공공 데이터) |
+| KCI 학술논문 | ~3~5GB | 논문 초록, API 제공 |
+
+---
+
+## 7. 다운로드 실행 플랜 (우선순위순)
+
+```bash
+cd /PROJECT/0325120031_A/ghong/taketimes/llm-bang
+
+# === Phase 1: Preference (ORPO 즉시 활성화, 소용량) ===
+python3 -c "
+from datasets import load_dataset
+import os
+out = 'data/preference'
+os.makedirs(out, exist_ok=True)
+for name in ['jojo0217/korean_rlhf_dataset', 'maywell/ko_Ultrafeedback_binarized', 'nayohan/preference-collection-ko-full', 'kuotient/orca-math-korean-dpo-pairs']:
+    ds = load_dataset(name, split='train')
+    ds.to_json(f'{out}/{name.replace(\"/\",\"_\")}.jsonl')
+    print(f'✅ {name}: {len(ds)} samples')
+" 2>&1 | tee /tmp/preference_dl.log &
+
+# === Phase 2: SFT 보강 (대화/수학/코드) ===
+python3 -c "
+from datasets import load_dataset
+import os
+out = 'data/sft_extra'
+os.makedirs(out, exist_ok=True)
+for name in ['kuotient/orca-math-word-problems-193k-korean','dbdu/ShareGPT-74k-ko','nayohan/Evol-Instruct-Code-80k-v1-ko','nlp-with-deeplearning/Ko.WizardLM_evol_instruct_V2_196k','FreedomIntelligence/alpaca-gpt4-korean']:
+    try:
+        ds = load_dataset(name, split='train')
+        ds.to_json(f'{out}/{name.replace(\"/\",\"_\")}.jsonl')
+        print(f'✅ {name}: {len(ds)}')
+    except Exception as e:
+        print(f'❌ {name}: {e}')
+" 2>&1 | tee /tmp/sft_extra_dl.log &
+
+# === Phase 3: 법률 Pretrain 보강 ===
+python3 -c "
+from datasets import load_dataset
+import os
+out = 'data/korean_extra/korean_law'
+os.makedirs(out, exist_ok=True)
+for name in ['joonhok-exo-ai/korean_law_open_data_precedents','smhilee/korean-law-dataset','Rootpye/korean-lawdata2']:
+    try:
+        ds = load_dataset(name, split='train')
+        ds.to_json(f'{out}/{name.replace(\"/\",\"_\")}.jsonl')
+        print(f'✅ {name}: {len(ds)}')
+    except Exception as e:
+        print(f'❌ {name}: {e}')
+" 2>&1 | tee /tmp/law_dl.log &
+
+# === Phase 4: 대용량 Pretrain (백그라운드 장시간) ===
+# mc4 Korean (~50GB)
+# python3 -c "from datasets import load_dataset; ds = load_dataset('mc4', 'ko', split='train'); ds.save_to_disk('data/korean_extra/mc4_ko')"
+# KORMo Web Collection
+# huggingface-cli download KORMo-Team/korean-web-collection --repo-type dataset --local-dir data/korean_extra/korean_web_collection
+```
+
+---
+
+## 8. 추가 후 예상 데이터 구성
+
+| 카테고리 | 현재 토큰 | 추가 후 | 비고 |
+|---------|---------|---------|------|
+| 한국어 Pretrain | ~39B (토큰화) | ~60~80B | mc4+KORMo+법률 추가 시 |
+| SFT | 162K | ~757K | 5개 추가 후 |
+| Preference | 0 | ~260K쌍 | jojo+maywell+nayohan |
+| 코드/영어 | ~0.6B | ~10B | RedPajama github+arxiv |
+| 법률 | 0 | ~1~2B | 법률 묶음 |
+
+**Chinchilla minimum (60B) 달성 가능** ✅
+
+---
+
+_보고서 저장: `/PROJECT/0325120031_A/ghong/taketimes/llm-bang/eval/data_inventory/`_
--- a/source/eval/data_inventory/current_data.md
+++ b/source/eval/data_inventory/current_data.md
@@ -0,0 +1,96 @@
+# 데이터 전수 실측 조사 결과
+> 조사일: 2026-02-27 | 총 디스크 사용량: **195GB**
+
+---
+
+## 1. Pretrain 데이터 (.bin 파일) — 즉시 사용 가능
+
+| 파일 | 크기 | 추정 토큰 수 | 비고 |
+|------|------|-------------|------|
+| `korean_train.bin` | 17GB | **8.9B** | 통합 (c4+wiki+namuwiki 머지) |
+| `korean_val.bin` | 35MB | 17.9M | 통합 val |
+| `korean_c4_train.bin` | 15GB | **7.5B** | C4 한국어 |
+| `korean_c4_val.bin` | 29MB | 15.2M | |
+| `korean_namuwiki_train.bin` | 2.1GB | **1.1B** | 나무위키 |
+| `korean_namuwiki_val.bin` | 4.2MB | 2.2M | |
+| `korean_wiki_train.bin` | 500MB | **261.8M** | 한국어 위키 |
+| `korean_wiki_val.bin` | 1.1MB | 524K | |
+| `train.bin` | 1.2GB | **605M** | 영어 위키 (Shakespeare 등) |
+| `val.bin` | 5.8MB | 3.0M | |
+
+### Pretrain 토큰 합계
+- **korean_train.bin (통합)**: 8.9B tokens ← C4 + Wiki + Namuwiki 머지본
+- **개별 합산** (c4 7.5B + wiki 0.26B + namuwiki 1.1B = 8.86B) → 통합본과 일치
+- **영어 train.bin**: 605M tokens
+- ⚠️ **korean_train.bin은 개별 .bin의 머지이므로 중복 계산 주의**
+- **비중복 Pretrain 총합: ~9.5B tokens** (한국어 8.9B + 영어 0.6B)
+
+---
+
+## 2. korean_extra (HuggingFace 다운로드) — 처리 필요
+
+| 디렉토리 | 크기 | 포맷 | 추정 토큰 |
+|----------|------|------|----------|
+| `culturax_ko` | 60GB | parquet | ~15B+ |
+| `hplt_ko` | 23GB | parquet | ~6B |
+| `cc100_ko` | 14GB | parquet/txt | ~3.5B |
+| `oscar_ko` | 9.2GB | parquet | ~2.3B |
+| `korean_textbooks` | 6.4GB | parquet | ~1.6B |
+| `korean_webtext` | 4.2GB | parquet | ~1B |
+| `finepdfs_edu_ko` | 2.9GB | parquet | ~700M |
+| `namuwiki_extracted` | 2.2GB | parquet | ~550M |
+| `wikipedia_korean` | 1.7GB | parquet | ~400M |
+| `kovast` | 449MB | parquet | ~110M |
+| `evol_instruct_ko` | 144MB | parquet/json | ~35M (SFT용) |
+| `korean_safe_conv` | 51MB | parquet/json | ~12M (SFT용) |
+
+**korean_extra 총합: ~123GB, 추정 ~30B+ tokens** (토큰화 전, 원문 기준)
+
+---
+
+## 3. SFT 데이터 — 즉시 사용 가능
+
+| 파일 | 크기 | 샘플 수 |
+|------|------|---------|
+| `sft/train.jsonl` | 276MB | **161,848** |
+| `sft/val.jsonl` | 15MB | **8,518** |
+
+- **총 SFT 샘플: 170,366**
+- 포맷: instruction/output 쌍, 한국어 번역 데이터
+- 품질: 양호 (자연스러운 한국어, 다양한 주제)
+
+---
+
+## 4. Raw 텍스트 데이터 — 이미 .bin으로 변환 완료
+
+| 디렉토리 | 크기 | 파일 수 | 비고 |
+|----------|------|---------|------|
+| `raw/c4_ko/` | 30GB | 50개 txt | → korean_c4_train.bin으로 변환됨 |
+| `raw/namuwiki_ko/` | 5.7GB | 6개 txt | → korean_namuwiki_train.bin으로 변환됨 |
+| `raw/ko_wiki_*.txt` | 1.2GB | 5개 txt | → korean_wiki_train.bin으로 변환됨 |
+| `raw/en_wiki_*.txt` | 1.2GB | 3개 txt | → train.bin으로 변환됨 |
+| **raw 합계** | **38GB** | **64개** | 삭제 가능 (디스크 절약) |
+
+---
+
+## 5. 종합 요약
+
+### 즉시 사용 가능
+| 용도 | 데이터 | 규모 |
+|------|--------|------|
+| **Pretrain** | korean_train.bin + train.bin | **9.5B tokens** |
+| **SFT** | sft/train.jsonl | **161,848 샘플** |
+
+### 처리하면 추가 확보 가능
+| 소스 | 추정 규모 | 필요 작업 |
+|------|----------|----------|
+| korean_extra (전체) | **~30B+ tokens** | 토큰화 → .bin 변환 |
+| evol_instruct_ko + korean_safe_conv | **~47M tokens (SFT)** | JSONL 변환 |
+
+### 디스크 절약 가능
+- `raw/` 38GB → 이미 .bin 변환 완료, 삭제 가능
+- 개별 .bin (c4/wiki/namuwiki) → korean_train.bin 머지 후 중복, 삭제 가능 (~18GB)
+
+### 최종 잠재력
+- **Pretrain**: 현재 9.5B + korean_extra 30B+ = **~40B tokens 확보 가능**
+- **SFT**: 현재 162K + 추가 변환 = **~200K+ 샘플 가능**
--- a/source/eval/data_inventory/gap_analysis.md
+++ b/source/eval/data_inventory/gap_analysis.md
@@ -0,0 +1,137 @@
+# 데이터 갭 분석 보고서
+> 생성일: 2026-02-27 | 모델: 3B parameter LLM
+
+## 1. 현재 데이터 인벤토리
+
+### 1.1 Pretrain 데이터 (토큰화 완료 .bin)
+| 파일 | 크기 | 토큰 수 (uint16) |
+|------|------|------------------|
+| korean_train.bin | 17GB | **8.9B** |
+| korean_c4_train.bin | 15GB | 7.56B |
+| korean_namuwiki_train.bin | 2.1GB | 1.08B |
+| korean_wiki_train.bin | 500MB | 0.26B |
+| train.bin (영어) | 1.2GB | 0.60B |
+| **합계 (토큰화 완료)** | | **~18.4B tokens** |
+
+> ⚠️ `korean_train.bin`은 c4+namuwiki+wiki의 머지본일 가능성 높음 → 실제 고유 토큰은 **~9B** 수준
+
+### 1.2 미토큰화 원시 데이터 (korean_extra/)
+| 소스 | 디스크 크기 | 추정 토큰 수 | 품질 등급 |
+|------|-----------|-------------|---------|
+| CulturaX ko | 60GB | ~15B | B+ |
+| HPLT ko | 23GB | ~5B | B |
+| cc100 ko | 14GB | ~3.5B | C+ |
+| OSCAR ko | 9.2GB | ~2.3B | B |
+| korean_textbooks | 6.4GB | ~1.5B | A |
+| korean_webtext | 4.2GB | ~1B | B+ |
+| finepdfs_edu_ko | 2.9GB | ~0.7B | A- |
+| namuwiki_extracted | 2.2GB | ~0.5B | A- |
+| wikipedia_korean | 1.7GB | ~0.4B | A |
+| kovast | 449MB | ~0.1B | B |
+| **소계** | **~124GB** | **~30B** |  |
+
+### 1.3 SFT 데이터
+- train.jsonl: 161,848 샘플 (276MB)
+- val.jsonl: 8,518 샘플 (15MB)
+- 소스: evol_instruct_ko, korean_safe_conv 등
+
+### 1.4 Preference 데이터
+- **현재 보유: 0** ❌
+
+### 총합
+| 단계 | 보유량 | 
+|------|--------|
+| Pretrain (토큰화) | ~9B tokens |
+| Pretrain (미처리) | ~30B tokens |
+| **Pretrain 합계** | **~39B tokens** |
+| SFT | 170K 샘플 |
+| Preference | 0 |
+
+---
+
+## 2. 3B 모델 학습 요구량 vs 현재
+
+### 2.1 Pretrain
+| 기준 | 필요 토큰 | 현재 | 갭 | 상태 |
+|------|----------|------|-----|------|
+| Chinchilla optimal (×70) | 210B | 39B | -171B | 🔴 심각 부족 |
+| Chinchilla minimum (×20) | 60B | 39B | -21B | 🟡 부족 |
+| LLaMA-style (×33) | 100B | 39B | -61B | 🔴 부족 |
+| **실용적 목표** | **60~80B** | **39B** | **-21~41B** | 🟡 |
+
+**결론:** 최소 기준(60B)에도 **21B tokens 부족**. 현실적으로 60~80B 타겟 시 추가 21~41B 필요.
+
+### 2.2 SFT
+| 기준 | 필요량 | 현재 | 갭 | 상태 |
+|------|--------|------|-----|------|
+| 최소 고품질 | 50K | 170K | 충분 | 🟢 |
+| 업계 표준 | 100~200K | 170K | 충분 | 🟢 |
+| 도메인 다양성 | 다양한 태스크 | 제한적 | 보완 필요 | 🟡 |
+
+**결론:** 양적으로 충분하나 도메인 커버리지(수학, 코드, 추론) 보강 필요.
+
+### 2.3 Preference (ORPO/DPO)
+| 기준 | 필요량 | 현재 | 갭 | 상태 |
+|------|--------|------|-----|------|
+| 최소 | 5K 쌍 | 0 | -5K | 🔴 |
+| 적정 | 20~60K 쌍 | 0 | -60K | 🔴 |
+
+**결론:** **심각한 갭**. ORPO/DPO 학습 자체가 불가능.
+
+---
+
+## 3. 경쟁 모델 대비 포지셔닝
+
+| 모델 | 파라미터 | Pretrain 토큰 | 우리 대비 |
+|------|---------|-------------|----------|
+| Polyglot-Ko 12.8B | 12.8B | 1.2T | 30× |
+| EXAONE 3.0 | 7.8B | 8T | 200× |
+| HyperCLOVA X | 비공개 | 수백B~수T | 10~100× |
+| Phi-3 mini 3.8B | 3.8B | 3.3T | 85× |
+| StableLM 3B | 3B | 4T | 100× |
+| **우리 (목표)** | **3B** | **60~80B** | **기준** |
+
+**분석:** 
+- 우리 60~80B은 모델 크기 대비 Chinchilla minimum~적정 수준
+- 대형 모델들은 10~100× 많은 데이터 사용하지만, 모델도 2~40× 큼
+- **3B에 60B tokens은 합리적 최소치** — 학계에서 3B급은 50~100B에서 좋은 결과
+- 품질 필터링 + 커리큘럼 학습으로 효율 보완 가능
+
+---
+
+## 4. 데이터 품질 분석
+
+### 현재 품질 분포 (추정 토큰 기준)
+```
+A등급 (고품질):   ~3.0B (8%)  - wiki, textbooks, finepdfs_edu
+B등급 (양호):    ~24B  (61%)  - CulturaX, OSCAR, HPLT, webtext
+C등급 (노이즈):   ~12B (31%)  - cc100, 기타 웹 크롤링
+```
+
+**문제점:**
+- 고품질(A급) 비중이 **8%로 매우 낮음**
+- 코드/수학/과학 데이터 **전무**
+- 영어 데이터 비중 극히 적음 (0.6B) — 다국어 능력 부족
+
+---
+
+## 5. 핵심 결론
+
+### 현재 데이터로 3B 학습 충분한가?
+## **No** — 다음 이유로 불충분:
+
+1. **Pretrain 토큰 부족** (39B vs 최소 60B, 21B 갭)
+2. **Preference 데이터 부재** (ORPO 학습 불가)
+3. **코드/수학 데이터 전무** (범용 능력 제한)
+4. **고품질 비율 낮음** (8%) 
+5. **영어 데이터 부족** (cross-lingual transfer 제한)
+
+### 부족한 데이터 유형 요약
+| 유형 | 심각도 | 필요 조치 |
+|------|--------|----------|
+| Pretrain 토큰 | 🟡 중간 | +21~41B 토큰 확보 |
+| 코드 데이터 | 🔴 심각 | 코드 코퍼스 추가 (5~10B) |
+| 수학/과학 | 🔴 심각 | 전문 코퍼스 추가 (2~5B) |
+| 영어 데이터 | 🟡 중간 | 고품질 영어 10~20B 추가 |
+| Preference | 🔴 심각 | 20K+ 쌍 확보 |
+| SFT 다양성 | 🟡 중간 | 코드/수학/추론 SFT 추가 |
--- a/source/eval/data_inventory/preference_benchmark_datasets.md
+++ b/source/eval/data_inventory/preference_benchmark_datasets.md
@@ -0,0 +1,115 @@
+# Preference/RLHF + Benchmark 데이터 전수 조사
+
+> 조사일: 2026-02-27
+
+---
+
+## Part 1: 한국어 Preference/DPO 데이터
+
+| 데이터셋 | 규모 | 다운로드 | 비고 |
+|----------|------|----------|------|
+| `kuotient/orca-math-korean-dpo-pairs` | 100K~1M | 111 | 한국어 수학 DPO. 대규모 |
+| `nayohan/preference-collection-ko-full` | 100K~1M | 30 | 한국어 종합 preference |
+| `jojo0217/korean_rlhf_dataset` | 100K~1M | 54 | 한국어 RLHF |
+| `maywell/ko_Ultrafeedback_binarized` | 10K~100K | 108 | UltraFeedback 한국어 번역 |
+| `ChuGyouk/argilla-distilabel-math-preference-dpo-korean` | 1K~10K | 10 | 수학 DPO 한국어 |
+| `ohsuz/dpo-v1010-korean` | 10K~100K | 3 | 한국어 DPO |
+| `ohsuz/dpo-v1010-korean-without-finance` | 10K~100K | 3 | 금융 제외 버전 |
+| `tellang/yeji-preference-ko-v1` | 10K~100K | 13 | 한국어 preference |
+| `AnonymousLLMer/Safety_preference-ko-cleaned` | 1K~10K | 4 | 안전성 preference |
+| `mncai/distilabel-math-preference-dpo-ko` | 1K~10K | 4 | 수학 DPO 한국어 |
+| `vaiv/ko-rag-preference` | <1K | 2 | RAG preference (소규모) |
+
+### ❌ 접근 불가 (404)
+- `Bongseok/ko-DPO-v0.1` — 삭제됨
+- `HAERAE-HUB/KoRA` — 삭제됨
+- `maywell/ko_Ultrafeedback` — 삭제됨 (binarized 버전만 존재)
+
+---
+
+## Part 2: 영어 Preference 데이터 (번역 가치 순위)
+
+| 데이터셋 | 규모 | 다운로드 | 번역 가치 |
+|----------|------|----------|-----------|
+| `HuggingFaceH4/ultrafeedback_binarized` | 100K~1M (~62K쌍) | 5,158 | ⭐⭐⭐ 최고. 이미 ko 번역판 존재(maywell) |
+| `Anthropic/hh-rlhf` | 100K~1M | 17,609 | ⭐⭐⭐ 인간 선호도. 대화형 |
+| `nvidia/HelpSteer2` | 10K~100K | 15,448 | ⭐⭐⭐ 고품질 세밀 점수 |
+| `openbmb/UltraFeedback` | 10K~100K | 2,317 | ⭐⭐ 원본 (binarized 버전 더 유용) |
+| `argilla/distilabel-math-preference-dpo` | 1K~10K | 328 | ⭐⭐ 수학 특화 (이미 ko 번역판 존재) |
+| `snorkelai/Snorkel-Mistral-PairRM-DPO-Dataset` | 10K~100K | 71 | ⭐ 자동 생성 |
+| `HuggingFaceH4/stack-exchange-preferences` | 10M~100M | 3,873 | ⭐ 너무 대규모, 코드 편향 |
+| `allenai/preference-test-sets` | 10K~100K | 2,777 | 평가용 (학습 부적합) |
+
+---
+
+## Part 3: 벤치마크/평가 데이터
+
+| 데이터셋 | 규모 | 다운로드 | 용도 |
+|----------|------|----------|------|
+| **`HAERAE-HUB/KMMLU`** | 100K~1M | 10,537 | 한국어 MMLU. 핵심 벤치마크 |
+| `skt/kobest_v1` | 10K~100K | 3,194 | KoBEST 5개 태스크 (BoolQ, COPA, WiC, HellaSwag, SentiNeg) |
+| `HAERAE-HUB/HAE_RAE_BENCH_1.0` | 1K~10K | 457 | 해래 벤치 |
+| `HAERAE-HUB/K2-Eval` | <1K | 76 | K2 평가 |
+| `openai/gsm8k` | 10K~100K | 465,032 | 수학 추론 (영어) |
+| `HuggingFaceH4/MATH-500` | <1K | 94,894 | 수학 벤치마크 (영어) |
+| `Rowan/hellaswag` | 10K~100K | 213,419 | 상식추론 (영어) |
+| `google/IFEval` | <1K | 60,319 | 지시 따르기 평가 (영어) |
+
+### ❌ 접근 불가 (404)
+- `coastalcph/mimir`, `kuotient/korean-gsm8k`, `HAERAE-HUB/KorNAT-CV`, `HAERAE-HUB/KorNAT-NL2SQL`, `snunlp/korean-hate-speech`
+
+---
+
+## Part 4: 자체 Preference 데이터 생성 가능성
+
+**SFT v2 모델 (반복률 18%) 기반 Self-Play 방식:**
+
+### 방법
+1. SFT 데이터의 프롬프트 풀에서 각 프롬프트당 N=4~8회 샘플링 (temperature 0.7~1.0)
+2. 자동 품질 판단으로 chosen/rejected 선별
+
+### 자동 품질 판단 기준
+- **반복 탐지**: n-gram 반복률 > 20% → rejected
+- **길이 필터**: 너무 짧거나(<50자) 너무 긴(>2000자) → rejected
+- **Perplexity 기반**: 외부 judge 모델 (GPT-4 또는 더 큰 모델)로 점수 부여
+- **Self-consistency**: 동일 프롬프트 응답 간 reward model 점수 비교
+
+### 예상 생성량
+- SFT 프롬프트 10K개 × 4회 샘플링 = 40K 응답
+- chosen/rejected 쌍: ~10K~20K쌍 (상위 25% vs 하위 25%)
+- **주의**: 반복률 18%인 모델로 생성 시 rejected 품질이 너무 낮을 수 있음 → 유의미한 학습 신호 약화 가능
+
+### 권장
+- 자체 생성보다 **기존 한국어 데이터 활용 우선** (아래 추천 참조)
+- 자체 생성은 ORPO 1차 학습 후, 개선된 모델로 2차 Self-Play 시 더 효과적
+
+---
+
+## 🎯 ORPO 즉시 시작 가능한 데이터 조합 추천
+
+### Tier 1: 즉시 사용 (한국어, 변환 최소)
+| 데이터 | 예상 쌍수 | 우선순위 |
+|--------|-----------|----------|
+| `jojo0217/korean_rlhf_dataset` | ~100K+ | 🥇 가장 범용적 |
+| `maywell/ko_Ultrafeedback_binarized` | ~60K | 🥇 UltraFeedback 한국어, 고품질 |
+| `nayohan/preference-collection-ko-full` | ~100K+ | 🥇 종합 preference |
+| `kuotient/orca-math-korean-dpo-pairs` | ~100K+ | 🥈 수학 특화 |
+
+### Tier 2: 보충용
+| 데이터 | 예상 쌍수 | 용도 |
+|--------|-----------|------|
+| `ohsuz/dpo-v1010-korean` | ~10K+ | 추가 다양성 |
+| `tellang/yeji-preference-ko-v1` | ~10K+ | 추가 다양성 |
+| `ChuGyouk/argilla-distilabel-math-preference-dpo-korean` | ~5K | 수학 보충 |
+
+### 추천 조합
+```
+총 ~200K~300K쌍 확보 가능
+1차: jojo0217 + maywell + nayohan 합산 → ~260K쌍 (예상)
+2차: kuotient 수학 추가 → 수학 능력 강화
+```
+
+### 벤치마크 평가 파이프라인
+- **KMMLU** (한국어 지식) + **KoBEST** (한국어 NLU) 필수
+- **GSM8K** (수학) + **IFEval** (지시 따르기) 보조
+- **HAE_RAE_BENCH** 한국어 종합 평가
--- a/source/eval/data_inventory/pretrain_datasets.md
+++ b/source/eval/data_inventory/pretrain_datasets.md
@@ -0,0 +1,183 @@
+# 한국어 공개 Pretrain 데이터셋 전수 조사
+
+> 조사일: 2026-02-27
+> HuggingFace API 실접근 확인 완료
+
+---
+
+## 1. 이미 보유 데이터셋
+
+| 데이터셋 | 보유 크기 | 한국어 토큰 수 (추정) | 비고 |
+|---|---|---|---|
+| `uonlp/CulturaX` (ko) | 60GB | ~24.8B | mC4+OSCAR 정제본, GATED |
+| `cc100` (ko) | 14GB | ~5.5B | Common Crawl 100 |
+| `oscar-corpus/mOSCAR` (ko) | 9.2GB | ~3.5B | OSCAR multilingual |
+| `HPLT/hplt_monolingual_v1_2` (ko) | 23GB | ~9B | Internet Archive 기반 |
+| `HAERAE-HUB/KOREAN-WEBTEXT` | 보유 | ~1.5B | 고품질 한국어 웹텍스트 |
+| `maywell/korean_textbooks` | 보유 | ~0.2B | 교과서 스타일 합성 데이터 |
+
+**보유 합계: ~106GB+ / ~44.5B 토큰**
+
+---
+
+## 2. HuggingFace 접근 가능 - 추가 다운로드 필요
+
+### 2-1. 대형 웹 코퍼스 (한국어 부분)
+
+| 데이터셋 | 한국어 크기 (추정) | 토큰 수 (추정) | 접근성 | 우선도 |
+|---|---|---|---|---|
+| `mc4` (ko) | ~50GB | ~20B | ✅ 공개 | ⭐⭐⭐ |
+| `allenai/c4` (ko multilingual) | ~15GB | ~6B | ✅ 공개 | ⭐⭐ |
+| `HPLT/HPLT2.0_cleaned` (ko) | ~30GB | ~12B | ✅ 공개 | ⭐⭐⭐ |
+| `PleIAs/common_corpus` (ko) | ~10-20GB | ~5-8B | ✅ 공개 | ⭐⭐⭐ |
+| `minpeter/fineweb-2-edu-korean-raw` | ~20-30GB | ~8-12B | ✅ 공개 | ⭐⭐⭐⭐ |
+| `minpeter/fineweb-2-edu-korean` | ~5-10GB | ~2-4B | ✅ 공개 (edu 필터링) | ⭐⭐⭐⭐ |
+| `Viet-Mistral/CulturaY` (ko) | ~5GB | ~2B | ✅ 공개 | ⭐⭐ |
+| `allenai/dolma` (ko 부분) | ~3-5GB | ~1-2B | ✅ 공개 | ⭐⭐ |
+
+### 2-2. 한국어 전용 데이터셋
+
+| 데이터셋 | 크기 (추정) | 토큰 수 (추정) | 접근성 | 비고 |
+|---|---|---|---|---|
+| `KORMo-Team/korean-web-collection` | ~50-80GB | ~20-30B | ✅ 공개, dl=2.7k | 한국어 웹 크롤, 가장 큰 한국어 전용 |
+| `KORMo-Team/korean-public-corpus` | ~10-20GB | ~4-8B | ✅ 공개 | 공공 데이터 기반 |
+| `eliceai/korean-webtext-edu` | ~2-5GB | ~1-2B | ✅ 공개 | 교육 품질 필터링 |
+| `CocoRoF/cc-100-korean-processing` | ~14GB | ~5.5B | ✅ 공개 | cc100 한국어 처리본 |
+| `MyeongHo0621/korean-quality-cleaned` | ~5-10GB | ~2-4B | ✅ 공개 | 품질 정제 |
+| `opendatalab/WanJuan-Korean` | ~3-5GB | ~1-2B | ✅ 공개 | 중국 AI 연구소 제공 |
+
+### 2-3. 위키/나무위키/백과
+
+| 데이터셋 | 크기 | 토큰 수 (추정) | 접근성 |
+|---|---|---|---|
+| `wikimedia/wikipedia` (ko) | ~2GB | ~0.8B | ✅ 공개 |
+| `lcw99/wikipedia-korean-20240501` | ~1.5GB | ~0.6B | ✅ 공개 |
+| `heegyu/namuwiki-extracted` | ~5-8GB | ~2-3B | ✅ 공개 |
+| `heegyu/namuwiki` | ~5-8GB | ~2-3B | ✅ 공개 |
+| `seyoungsong/Open-Korean-Historical-Corpus` | ~1-2GB | ~0.3-0.5B | ✅ 공개 |
+
+### 2-4. 법률/금융/도메인 특화
+
+| 데이터셋 | 크기 | 토큰 수 (추정) | 접근성 |
+|---|---|---|---|
+| `smhilee/korean-law-dataset` | ~1-3GB | ~0.3-1B | ✅ 공개 |
+| `joonhok-exo-ai/korean_law_open_data_precedents` | ~1-2GB | ~0.3-0.5B | ✅ 공개 |
+| `Rootpye/korean-lawdata2` | ~0.5-1GB | ~0.2-0.3B | ✅ 공개 |
+| `Rootpye/korean-lawdata4` | ~0.5-1GB | ~0.2-0.3B | ✅ 공개 |
+| `ducut91/korean-constitutional-court-decisions` | ~0.5GB | ~0.1-0.2B | ✅ 공개 |
+
+### 2-5. 코드 데이터 (다국어)
+
+| 데이터셋 | 전체 크기 | 한국어 관련성 | 접근성 |
+|---|---|---|---|
+| `codeparrot/github-code` | ~1TB+ | 코드 자체 (언어 무관) | ✅ 공개 |
+| `bigcode/the-stack-v2` | ~3TB+ | 코드 (한국어 주석 포함) | ✅ 공개 |
+
+---
+
+## 3. AI Hub / 국립국어원 / 정부 데이터 (HF 외부)
+
+### 3-1. AI Hub (aihub.or.kr) - 회원가입+승인 필요
+
+| 데이터셋 | 규모 (추정) | 비고 |
+|---|---|---|
+| 한국어 대화 데이터 | ~10-20GB | 일상대화, 목적대화 등 |
+| 한국어 뉴스 기사 | ~30-50GB | 수백만 건 |
+| 한국어 문서 요약 | ~5-10GB | 뉴스/문서 요약 쌍 |
+| 한국어 기계독해 | ~3-5GB | QA 데이터 |
+| 전문분야 한국어 | ~5-10GB | 의료/법률/금융/과학 |
+| 한국어 SNS 데이터 | ~5-10GB | 소셜미디어 텍스트 |
+| **AI Hub 합계** | **~60-100GB** | **승인 후 다운로드, 상업적 이용 제한 확인 필요** |
+
+### 3-2. 국립국어원 모두의 말뭉치 (corpus.korean.go.kr)
+
+| 데이터셋 | 규모 (추정) | 비고 |
+|---|---|---|
+| 문어 말뭉치 (신문, 잡지, 책) | ~15-20GB | 2020년대 기준 |
+| 구어 말뭉치 (대화, 강연) | ~5-10GB | 전사 데이터 |
+| 웹 말뭉치 | ~10-15GB | 웹 수집 텍스트 |
+| 메신저 말뭉치 | ~1-2GB | 카카오톡 등 |
+| 전문분야 말뭉치 | ~3-5GB | 법률/의학/과학 |
+| **NIKL 합계** | **~35-50GB** | **비상업적 연구용, 신청 필요** |
+
+### 3-3. 기타 정부/공공 데이터
+
+| 소스 | 규모 | 비고 |
+|---|---|---|
+| 국가법령정보센터 (law.go.kr) | ~5-10GB | 법령/판례 전문 크롤 가능 |
+| 한국학술지인용색인 (KCI) | ~3-5GB | 논문 초록 |
+| 국회 회의록 | ~2-3GB | 공개 |
+| 특허 데이터 (KIPRIS) | ~5-10GB | 한국어 특허 |
+
+---
+
+## 4. 접근 불가 / 확인 불가
+
+| 데이터셋 | 상태 | 비고 |
+|---|---|---|
+| `snunlp/korean-hate-speech` | ❌ 404 | 삭제됨 |
+| `Bingsu/KoCC` | ❌ 404 | 삭제됨 |
+| `nindanaoto/ko-books` | ❌ 404 | 삭제됨 |
+| `snunlp/KR-FinPen` | ❌ 404 | 삭제됨 |
+| `bigscience/roots_ko_*` | ❌ 404 | BigScience 프로젝트 종료 |
+| `open-llm-leaderboard/korean-fineweb` | ❌ 미확인 | 존재 여부 불명 |
+
+---
+
+## 5. 총 가용 토큰 수 추정
+
+| 카테고리 | 토큰 수 (추정) |
+|---|---|
+| 이미 보유 | ~44.5B |
+| HF 추가 다운로드 가능 (대형 웹) | ~55-75B |
+| HF 추가 다운로드 가능 (한국어 전용) | ~30-50B |
+| HF 추가 (위키/나무위키) | ~5-7B |
+| HF 추가 (법률/도메인) | ~1-2B |
+| AI Hub + NIKL (신청 필요) | ~35-55B |
+| 기타 공공 데이터 (크롤 필요) | ~5-10B |
+| **총 가용** | **~175-240B 토큰** |
+
+> ⚠️ 중복 주의: CulturaX, mc4, HPLT, cc100 등은 Common Crawl 기반으로 상당 부분 중복됨.
+> 중복 제거 후 유니크 토큰은 **~80-120B** 수준으로 추정.
+
+---
+
+## 6. 즉시 다운로드 권장 Top 5
+
+| 순위 | 데이터셋 | 이유 |
+|---|---|---|
+| 🥇 1 | `KORMo-Team/korean-web-collection` | 한국어 전용 최대 규모, 기존 보유 데이터와 중복 적음 |
+| 🥈 2 | `minpeter/fineweb-2-edu-korean-raw` | FineWeb2 기반 한국어 교육 품질, 최신 고품질 |
+| 🥉 3 | `HPLT/HPLT2.0_cleaned` (ko) | v1.2 이미 보유, v2.0은 더 크고 정제됨 |
+| 4 | `mc4` (ko) | CulturaX와 일부 중복이나 mC4 원본으로 추가 데이터 확보 가능 |
+| 5 | `heegyu/namuwiki-extracted` + `wikimedia/wikipedia` (ko) | 백과사전 품질, 사실 정보 풍부 |
+
+### 다운로드 명령 예시
+
+```bash
+# 1. KORMo korean-web-collection
+huggingface-cli download KORMo-Team/korean-web-collection --repo-type dataset --local-dir ./data/korean-web-collection
+
+# 2. FineWeb2 Korean
+huggingface-cli download minpeter/fineweb-2-edu-korean-raw --repo-type dataset --local-dir ./data/fineweb2-korean
+
+# 3. HPLT 2.0 Korean only
+# (config 지정 필요 - ko subset)
+python -c "from datasets import load_dataset; ds = load_dataset('HPLT/HPLT2.0_cleaned', 'ko', split='train'); ds.save_to_disk('./data/hplt2-ko')"
+
+# 4. mC4 Korean
+python -c "from datasets import load_dataset; ds = load_dataset('mc4', 'ko', split='train'); ds.save_to_disk('./data/mc4-ko')"
+
+# 5. 나무위키 + 위키피디아
+huggingface-cli download heegyu/namuwiki-extracted --repo-type dataset --local-dir ./data/namuwiki
+python -c "from datasets import load_dataset; ds = load_dataset('wikimedia/wikipedia', '20231101.ko', split='train'); ds.save_to_disk('./data/wiki-ko')"
+```
+
+---
+
+## 7. 참고사항
+
+- **중복 처리 필수**: 대부분의 대형 웹 코퍼스(CulturaX, mc4, cc100, OSCAR, HPLT)는 Common Crawl이 원천이므로 MinHash 등으로 dedup 필요
+- **품질 필터링**: FineWeb2-edu-korean은 교육 품질 스코어로 필터링되어 있어 pretrain 품질이 높음
+- **라이선스 확인**: AI Hub/NIKL 데이터는 상업적 이용 제한이 있을 수 있음. 사전 확인 필요
+- **코드 데이터**: 한국어 LLM이라도 코드 능력을 위해 `the-stack-v2` 또는 `github-code`에서 Python/JS/etc 포함 권장 (별도 50-100B 토큰)
--- a/source/eval/data_inventory/sft_datasets.md
+++ b/source/eval/data_inventory/sft_datasets.md
@@ -0,0 +1,170 @@
+# 한국어 SFT/Instruction 데이터셋 전수 조사
+
+**조사일**: 2026-02-27
+**조사 범위**: HuggingFace Hub 한국어 SFT/Instruction 데이터셋
+
+---
+
+## 1. 현재 SFT 데이터 현황
+
+| 항목 | 값 |
+|------|-----|
+| 파일 | `/PROJECT/.../data/sft/train.jsonl` |
+| 총 건수 | **161,848** |
+| 포맷 | `instruction` / `input` / `output` (Alpaca 형식) |
+| 소스 필드 | ❌ 없음 (`source` 키 미존재) |
+
+> ⚠️ 소스 추적이 불가능하여 중복/출처 검증이 어려움. 향후 데이터 추가 시 `source` 필드 필수 권장.
+
+---
+
+## 2. HuggingFace 한국어 SFT 데이터셋 목록
+
+### Tier 1 — 최고품질 (인간 작성 / 강력 필터링 / GPT-4 생성+검증)
+
+| 데이터셋 | 크기 | 언어 | 설명 | DL |
+|----------|------|------|------|-----|
+| `nlpai-lab/kullm-v2` | 10K~100K | 🇰🇷 | GPT-4 기반 한국어 instruction, 커뮤니티 검증 | 730 |
+| `FreedomIntelligence/alpaca-gpt4-korean` | ~52K | 🇰🇷 | GPT-4로 생성한 한국어 Alpaca | 158 |
+| `dbdu/ShareGPT-74k-ko` | 10K~100K | 🇰🇷 | ShareGPT 한국어 번역, 멀티턴 대화 | 169 |
+| `squarelike/sharegpt_deepl_ko_translation` | ~50K+ | 🇰🇷 | ShareGPT DeepL 번역, 고품질 번역체 | 41 |
+| `kuotient/orca-math-word-problems-193k-korean` | 100K~1M | 🇰🇷 | 수학 문제 한국어 번역, 대규모 | 396 |
+| `HuggingFaceH4/no_robots` | ~10K | 🇬🇧 | 인간 작성 고품질 (영어, 번역 가치 높음) | 5,211 |
+| `allenai/tulu-3-sft-mixture` | 100K~1M | 다국어 | Allen AI 최신 SFT 믹스, 고품질 큐레이션 | 22,453 |
+| `HAERAE-HUB/K2-Feedback` | ~수천 | 🇰🇷 | 한국어 평가/피드백 데이터 | 54 |
+
+### Tier 2 — 중간 품질 (GPT-3.5/4 생성, 부분 검증)
+
+| 데이터셋 | 크기 | 언어 | 설명 | DL |
+|----------|------|------|------|-----|
+| `beomi/KoAlpaca-v1.1a` | ~52K | 🇰🇷 | 한국어 Alpaca, 널리 사용 | 3,096 |
+| `kyujinpy/KOR-OpenOrca-Platypus-v3` | 10K~50K | 🇰🇷 | OpenOrca+Platypus 한국어 병합 | 612 |
+| `kyujinpy/OpenOrca-KO` | 10K~50K | 🇰🇷 | OpenOrca 한국어 번역 | 139 |
+| `squarelike/OpenOrca-gugugo-ko` | **10M~100M** | 🇰🇷 | 초대규모 OpenOrca 한국어 번역 | 82 |
+| `nlp-with-deeplearning/Ko.WizardLM_evol_instruct_V2_196k` | ~196K | 🇰🇷 | WizardLM Evol Instruct 한국어 | 20 |
+| `heegyu/open-korean-instructions` | 다양 | 🇰🇷 | 여러 한국어 instruction 통합 | 214 |
+| `nayohan/instruction_en_ko_translation_1.4m` | **1.4M** | 🇰🇷 | 대규모 영→한 instruction 번역 | 11 |
+| `nayohan/Evol-Instruct-Code-80k-v1-ko` | ~80K | 🇰🇷 | 코드 instruction 한국어 | 23 |
+| `changpt/ko-lima-vicuna` | <1K | 🇰🇷 | LIMA+Vicuna 한국어 (소량 고품질) | 43 |
+| `OpenLab-NLP/tiny-instruct-ko` | ~수만 | 🇰🇷 | 한국어 instruction 소규모 | 127 |
+| `nlpai-lab/openassistant-guanaco-ko` | 1K~10K | 🇰🇷 | OpenAssistant Guanaco 한국어 | 48 |
+| `HuggingFaceH4/ultrachat_200k` | 100K~1M | 🇬🇧 | 고품질 대화 (영어, 번역 가치) | 33,729 |
+| `kyujinpy/KOpen-platypus` | ~25K | 🇰🇷🇬🇧 | Platypus 한국어 | 306 |
+
+### Tier 3 — 참고용 (노이즈 가능성, 추가 필터링 필요)
+
+| 데이터셋 | 크기 | 언어 | 설명 | DL |
+|----------|------|------|------|-----|
+| `CarrotAI/ko-instruction-dataset` | 1K~10K | 🇰🇷 | 소규모 | 71 |
+| `CarrotAI/ko-code-alpaca-QA` | 소규모 | 🇰🇷 | 코드 QA | 71 |
+| `causal-lm/instructions-ko` | 불명 | 🇰🇷 | | 21 |
+| `junelee/sharegpt_deepl_ko` | ~수만 | 🇰🇷 | DeepL 번역 | 86 |
+| `neuralfoundry-coder/aihub-korean-education-instruct-sample` | 샘플 | 🇰🇷 | 교육 도메인 | 32 |
+| `neuralfoundry-coder/korean-legal-instruction-sample` | 샘플 | 🇰🇷 | 법률 도메인 | 30 |
+
+### 영어 대규모 (번역 파이프라인으로 활용 가능)
+
+| 데이터셋 | 크기 | 설명 | DL |
+|----------|------|------|-----|
+| `Open-Orca/OpenOrca` | ~4M | FLAN 기반 대규모 | - |
+| `teknium/OpenHermes-2.5` | ~1M | 고품질 혼합 | - |
+| `WizardLM/WizardLM_evol_instruct_V2_196k` | 196K | Evol Instruct | - |
+| `stingning/ultrachat` | 1M~10M | 대화형 | 2,838 |
+| `iamtarun/python_code_instructions_18k_alpaca` | 18K | 코드 | 6,499 |
+| `sahil2801/CodeAlpaca-20k` | 20K | 코드 | 12,060 |
+
+---
+
+## 3. 도메인 커버리지 분석
+
+### 현재 데이터 (161K) 추정 도메인 분포
+
+데이터에 `source` 필드가 없어 정확한 분석 불가. 데이터 내용 샘플링 기반 추정:
+
+| 도메인 | 추정 비율 | 상태 |
+|--------|----------|------|
+| 일반 지식/QA | ~40% | ✅ 충분 |
+| 번역체 대화 | ~25% | ✅ 충분 |
+| 창작/글쓰기 | ~15% | ⚠️ 보통 |
+| 코딩 | ~5% | ❌ **부족** |
+| 수학/과학 | ~5% | ❌ **부족** |
+| 한국어 특화 (문화/역사/법률) | ~5% | ❌ **부족** |
+| 롤플레이/페르소나 | ~5% | ⚠️ 보통 |
+
+### 도메인 갭 (부족한 영역)
+
+1. **수학/논리 추론** — 현재 거의 없음. `kuotient/orca-math-word-problems-193k-korean` (193K)로 즉시 보완 가능
+2. **코딩** — 한국어 코드 instruction 극소. `nayohan/Evol-Instruct-Code-80k-v1-ko` (80K) 활용 필요
+3. **한국어 특화 지식** — 한국 문화, 역사, 법률, 수능 등 도메인 특화 데이터 부족
+4. **멀티턴 대화** — 싱글턴 QA 위주. `dbdu/ShareGPT-74k-ko`, `ultrachat_200k` 번역으로 보완
+5. **Safety/거절 응답** — 유해 요청 거절 학습 데이터 부재
+
+---
+
+## 4. 즉시 다운로드 권장 Top 5
+
+### 🥇 1. `kuotient/orca-math-word-problems-193k-korean`
+- **크기**: ~193K
+- **이유**: 수학 도메인 완전 보완. 한국어 네이티브 번역. 대규모.
+- **품질**: Tier 1-2 (Orca Math 기반, 검증됨)
+- **우선도**: ★★★★★
+
+### 🥈 2. `dbdu/ShareGPT-74k-ko`
+- **크기**: ~74K
+- **이유**: 실제 ChatGPT 대화 기반 멀티턴. 다양한 도메인. 번역 품질 양호.
+- **품질**: Tier 1 (실사용자 대화 기반)
+- **우선도**: ★★★★★
+
+### 🥉 3. `nayohan/Evol-Instruct-Code-80k-v1-ko`
+- **크기**: ~80K
+- **이유**: 코딩 도메인 유일한 대규모 한국어 데이터. WizardCoder 기반.
+- **품질**: Tier 2
+- **우선도**: ★★★★☆
+
+### 4️⃣ 4. `nlp-with-deeplearning/Ko.WizardLM_evol_instruct_V2_196k`
+- **크기**: ~196K
+- **이유**: Evol Instruct로 난이도 다양. 복잡한 instruction 포함. 대규모.
+- **품질**: Tier 2
+- **우선도**: ★★★★☆
+
+### 5️⃣ 5. `FreedomIntelligence/alpaca-gpt4-korean`
+- **크기**: ~52K
+- **이유**: GPT-4 생성으로 응답 품질 높음. 기존 Alpaca 데이터와 상보적.
+- **품질**: Tier 1
+- **우선도**: ★★★☆☆
+
+---
+
+## 5. 추가 권장 사항
+
+### 즉시 조치
+1. 현재 `train.jsonl`에 `source` 필드 추가 (역추적 or 향후 데이터부터)
+2. Top 5 데이터셋 다운로드 → 중복 제거 → `source` 태깅 후 병합
+3. 예상 추가 데이터: **~595K** (193K + 74K + 80K + 196K + 52K)
+4. 병합 후 총 규모: **~757K** (현재 162K + 595K)
+
+### 중기 계획
+- `nayohan/instruction_en_ko_translation_1.4m` — 1.4M 대규모이나 품질 검증 필요
+- `squarelike/OpenOrca-gugugo-ko` — 초대규모(10M+)이나 노이즈 필터링 필수
+- `allenai/tulu-3-sft-mixture` — 다국어 포함, 한국어 부분 추출 가치
+- Safety 데이터 자체 구축 (유해 요청 거절 시나리오)
+
+### 도메인 특화 보강
+- **법률**: `neuralfoundry-coder/korean-legal-instruction-sample` (샘플만 공개, AI Hub 원본 확인 필요)
+- **교육**: `neuralfoundry-coder/aihub-korean-education-instruct-sample`
+- **의료**: `squarelike/ko_medical_chat` (25 DL, 소규모)
+
+---
+
+## 6. 404 (삭제/비공개) 데이터셋
+
+다음 데이터셋은 현재 접근 불가:
+- `Bingsu/ko-alpaca-cleaned` ❌
+- `naver-clova-ix/koco-v1-5` (별도 확인 필요)
+- `kuotient/korean-conversation-dataset` (별도 확인 필요)
+- `HAERAE-HUB/K2-Bench-Instruction` ❌
+- `nayohan/llama3-instruct-ko` ❌
+- `Bongseok/Kor-Platypus2` ❌
+- `kuotient/orca-math-word-problems-korean` ❌ (→ `orca-math-word-problems-193k-korean`이 정확한 이름)
+- `kyujinpy/Kor-Platypus2-T70k` ❌
+- `HAERAE-HUB/qarv-instruct-100k` ❌