frankenstallm/source/eval/data_inventory/DOWNLOAD_PRIORITY.md

# 다운로드 우선순위 계획
> 생성일: 2026-02-27 | 디스크 여유: 19TB

## 즉시 다운로드 Top 5 (우선순위순)

---

### 🥇 Priority 1: FineWeb-Edu (Korean subset)
- **데이터셋:** `HuggingFaceFW/fineweb-edu`
- **왜:** 교육 품질 필터링된 웹 데이터, 고품질(A급). 한국어 서브셋만 추출 가능
- **예상:** 5~15B tokens (한국어 부분)
- **접근:** ✅ 무료, gated 아님
- **임팩트:** 고품질 pretrain 토큰 대량 확보 + 교육 도메인 강화
```bash
# 한국어 서브셋 다운로드
pip install datasets
python3 -c "
from datasets import load_dataset
ds = load_dataset('HuggingFaceFW/fineweb-edu', 'CC-MAIN-2024-10', split='train', streaming=True)
# language filter needed - fineweb-edu is primarily English
# Alternative: fineweb-edu-score filtered Korean web data
"
```
> ⚠️ 주의: fineweb-edu는 대부분 영어. 한국어 비중 적을 수 있음. 영어 고품질 보충용으로도 가치 있음.

---

### 🥈 Priority 2: Korean Preference/DPO 데이터 (다수 소스)
- **데이터셋들:**
  - `kuotient/orca-math-korean-preference` ✅
  - `kuotient/orca-math-korean-dpo-pairs` ✅  
  - `heegyu/orca-math-korean-preference-cleaned` ✅
  - `ohsuz/dpo-v1010-korean` ✅
  - `ChuGyouk/argilla-distilabel-math-preference-dpo-korean` ✅
- **왜:** Preference 데이터 **0건**인 현재 상태에서 ORPO 학습 자체 불가 → 가장 시급
- **예상:** 합계 30~60K 쌍
- **접근:** ✅ 모두 무료
- **임팩트:** ORPO/DPO 학습 파이프라인 활성화
```bash
python3 << 'PYEOF'
from datasets import load_dataset
import json, os

out_dir = "/PROJECT/0325120031_A/ghong/taketimes/llm-bang/data/preference"
os.makedirs(out_dir, exist_ok=True)

datasets_to_dl = [
    ("kuotient/orca-math-korean-preference", None),
    ("kuotient/orca-math-korean-dpo-pairs", None),
    ("heegyu/orca-math-korean-preference-cleaned", None),
    ("ohsuz/dpo-v1010-korean", None),
]

for name, config in datasets_to_dl:
    try:
        ds = load_dataset(name, config, split="train")
        safe_name = name.replace("/", "_")
        ds.to_json(f"{out_dir}/{safe_name}.jsonl")
        print(f"✅ {name}: {len(ds)} samples")
    except Exception as e:
        print(f"❌ {name}: {e}")
PYEOF
```

---

### 🥉 Priority 3: RedPajama-Data-1T (영어 고품질 서브셋)
- **데이터셋:** `togethercomputer/RedPajama-Data-1T`
- **왜:** 영어 데이터 극히 부족 (0.6B). 코드/ArXiv/Book/StackExchange 서브셋 선별 다운로드
- **예상:** 선별 10~20B tokens (코드 5B + ArXiv 3B + Book 2B + SE 2B)
- **접근:** ✅ 무료
- **임팩트:** 코드/과학/추론 능력 + cross-lingual transfer 대폭 강화
```bash
python3 << 'PYEOF'
from datasets import load_dataset

# 코드 서브셋만 먼저 (github subset)
ds = load_dataset("togethercomputer/RedPajama-Data-1T", "github", 
                   split="train", streaming=True,
                   cache_dir="/PROJECT/0325120031_A/ghong/taketimes/llm-bang/data/redpajama")
# ArXiv subset
ds_arxiv = load_dataset("togethercomputer/RedPajama-Data-1T", "arxiv",
                         split="train", streaming=True,
                         cache_dir="/PROJECT/0325120031_A/ghong/taketimes/llm-bang/data/redpajama")
PYEOF
```

---

### 4️⃣ Priority 4: 한국어 SFT 다양성 보강
- **데이터셋들:**
  - `kyujinpy/KOR-OpenOrca-Platypus-v3` ✅ (추론/수학)
  - `maywell/ko_wikidata_QA` ✅ (지식 QA)
  - `nlpai-lab/kullm-v2` ✅ (범용 지시)
- **왜:** 현재 SFT 170K은 양적 충분하나 코드/수학/추론 도메인 부족
- **예상:** +50~100K 다양한 도메인 샘플
- **접근:** ✅ 모두 무료
```bash
python3 << 'PYEOF'
from datasets import load_dataset
import os

out_dir = "/PROJECT/0325120031_A/ghong/taketimes/llm-bang/data/sft_extra"
os.makedirs(out_dir, exist_ok=True)

for name in ["kyujinpy/KOR-OpenOrca-Platypus-v3", "maywell/ko_wikidata_QA", "nlpai-lab/kullm-v2"]:
    try:
        ds = load_dataset(name, split="train")
        safe = name.replace("/","_")
        ds.to_json(f"{out_dir}/{safe}.jsonl")
        print(f"✅ {name}: {len(ds)}")
    except Exception as e:
        print(f"❌ {name}: {e}")
PYEOF
```

---

### 5️⃣ Priority 5: Open-Web-Math (수학 특화)
- **데이터셋:** `open-web-math/open-web-math`
- **왜:** 수학 데이터 전무. 수학 능력은 LLM 벤치마크 핵심 영역
- **예상:** ~14B tokens (영어 수학)
- **접근:** ✅ 무료
- **임팩트:** 수학 추론 능력 기반 확보
```bash
python3 -c "
from datasets import load_dataset
ds = load_dataset('open-web-math/open-web-math', split='train', streaming=True,
                   cache_dir='/PROJECT/0325120031_A/ghong/taketimes/llm-bang/data/open-web-math')
# Stream and save
"
```

---

## 다운로드 후 예상 토큰 분포

| 카테고리 | 현재 | 추가 | 합계 |
|---------|------|------|------|
| 한국어 Pretrain | 39B | +5~10B (fineweb-edu ko) | 44~49B |
| 영어 코드 | 0 | +5B (RedPajama github) | 5B |
| 영어 과학/ArXiv | 0 | +3B (RedPajama arxiv) | 3B |
| 영어 수학 | 0 | +10B (open-web-math) | 10B |
| 영어 기타 고품질 | 0.6B | +5B (RedPajama book+SE) | 5.6B |
| **Pretrain 합계** | **~39B** | **+28~33B** | **~67~72B** |
| SFT | 170K | +50~100K | 220~270K |
| Preference | 0 | +30~60K 쌍 | 30~60K 쌍 |

### 목표 달성 여부
- ✅ Chinchilla minimum (60B) 달성 가능
- ✅ ORPO/DPO 학습 가능
- ✅ 코드/수학/과학 도메인 커버
- 🟡 Chinchilla optimal (210B)에는 여전히 부족 → 추후 CulturaX 전체, SlimPajama 등 추가 검토

---

## 데이터 믹스 권장 비율 (학습 시)

```
한국어 텍스트:  50% (~35B tokens)
영어 코드:     15% (~10B tokens)  
영어 수학/과학: 15% (~10B tokens)
영어 일반:     15% (~10B tokens)
한국어 교육:    5% (~3B tokens)
```

## 주의사항
1. CulturaX는 gated(auto) → HuggingFace에서 동의 필요 (이미 다운받은 60GB 활용)
2. the-stack-dedup도 gated → 승인 필요, RedPajama github로 대체
3. 다운로드 전 `huggingface-cli login --token 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` 실행
4. 대용량 다운로드 시 `HF_HUB_ENABLE_HF_TRANSFER=1` 환경변수 설정 권장