初始化项目，由ModelHub XC社区提供模型

Model: pathcosmos/frankenstallm Source: Original Platform
2026-07-14 04:21:16 +08:00
commit d4abdb70fa
516 changed files with 5584477 additions and 0 deletions
--- a/source/eval/domain_survey/code_math.md
+++ b/source/eval/domain_survey/code_math.md
@@ -0,0 +1,467 @@
+# 코드 / 수학 / 과학 데이터셋 전수 조사
+
+> **목적**: 한국어 LLM 3B 모델 학습용 코딩·수학·과학 데이터셋 전수 조사  
+> **작성일**: 2026-02-27  
+> **조사 범위**: HuggingFace Hub, bigcode, AI-Hub 등
+
+---
+
+## 1. 코드 데이터셋
+
+### 1.1 전체 목록 테이블
+
+| # | 데이터셋 | 규모 | 언어 | 한국어 주석 | 라이선스 | 형태 | 추천도 |
+|---|---------|------|------|------------|---------|------|--------|
+| 1 | **bigcode/the-stack-v2-dedup** | 32.1TB / ~900B tok | 600+ 언어 | 일부 포함 (필터 필요) | 혼합 (permissive only) | raw code | ★★★★★ |
+| 2 | **bigcode/starcoderdata** | 783GB / ~250B tok | 86 언어 | 일부 포함 | 혼합 (permissive) | clean code+docs | ★★★★☆ |
+| 3 | **nayohan/Evol-Instruct-Code-80k-v1-ko** | 78.3k samples | 한국어+코드 | ✅ 한국어 질문 | 미상 (GPT-4 번역) | instruction-output | ★★★★☆ |
+| 4 | **nickrosh/Evol-Instruct-Code-80k-v1** | 78.3k samples | 영어+코드 | ❌ | MIT | instruction-output | ★★★☆☆ |
+| 5 | **CodeResearch/Code-Evol-Instruct-OSS** | 4.31k samples | 영어+코드 | ❌ | 오픈소스 | instruction-output | ★★☆☆☆ |
+| 6 | **bigcode/the-stack-v2** | 67.5TB full | 600+ 언어 | 일부 포함 | 혼합 | raw code (SWHID) | ★★★★☆ |
+
+---
+
+### 1.2 Top 3 상세 분석
+
+---
+
+#### 🥇 1위: `bigcode/the-stack-v2-dedup`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/bigcode/the-stack-v2-dedup |
+| **전체 크기** | Full: 67.5TB / **Dedup: 32.1TB** / Train tokens: ~900B |
+| **파일 수** | 3.28B unique files, 104.2M GitHub repositories |
+| **언어 수** | 658개 프로그래밍/마크업 언어 |
+| **수집 기간** | GitHub 2023-09-06 기준 |
+| **근중 언어** | Python, JavaScript, TypeScript, Java, C++, C#, Go, Rust 등 |
+| **한국어 주석 비율** | 직접 측정 없음. GitHub 한국어 레포 기준 추정 ~1-3% |
+| **라이선스 구조** | permissive 라이선스만 포함 (MIT, Apache-2.0, BSD 등), 파일별 provenance 제공 |
+| **접근 방법** | SoftwareHeritage+INRIA 동의 필요 (AWS S3 bulk download) |
+| **전처리 수준** | Near-dedup 완료, PII 제거 필요, 언어별 필터링 가능 |
+| **주요 메타데이터** | repo_name, detected_licenses, star/fork count, language, is_vendor, length_bytes |
+| **특이사항** | 실제 파일 콘텐츠는 SWH S3에서 별도 다운로드 필요 |
+
+**추천 이유**:  
+- 최대 규모의 오픈소스 코드 데이터셋  
+- permissive 라이선스만 포함해 법적 리스크 낮음  
+- 언어별 서브셋 로드 가능 (`load_dataset("bigcode/the-stack-v2-dedup", "Python")`)  
+- StarCoder2 학습 베이스 데이터
+
+**한국어 LLM 활용 전략**:  
+```python
+# Python 서브셋만 로드
+ds = load_dataset("bigcode/the-stack-v2-dedup", "Python", split="train")
+# 한국어 주석 포함 파일 필터링 (heuristic)
+korean_ds = ds.filter(lambda x: any(ord(c) > 0xAC00 for c in x.get("content", "")))
+```
+
+---
+
+#### 🥈 2위: `bigcode/starcoderdata`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/bigcode/starcoderdata |
+| **전체 크기** | **783GB / ~250B tokens** |
+| **언어 수** | 86개 프로그래밍 언어 |
+| **추가 데이터** | GitHub Issues (54GB), Jupyter Notebooks (13GB), GitHub Commits (32GB) |
+| **한국어 주석 비율** | 직접 통계 없음. GitHub 한국 개발자 레포 포함 |
+| **라이선스** | 원본 레포 라이선스 준수, Terms 동의 필요 |
+| **전처리 수준** | **이미 dedup + clean + PII 제거 완료** |
+| **Downloads** | 15,556/월 (인기 데이터셋) |
+| **사용 모델** | StarCoder, StarCoderBase 학습 데이터 |
+
+**추천 이유**:  
+- The Stack v2보다 작지만 **이미 정제된 상태** (바로 학습 가능)  
+- GitHub Issues/Jupyter/Commits 포함으로 다양한 코드 컨텍스트  
+- StarCoder 논문에서 검증된 품질
+
+**활용법**:  
+```python
+# Python만 로드
+ds = load_dataset("bigcode/starcoderdata", data_dir="python", split="train")
+# jupyter notebooks
+ds = load_dataset("bigcode/starcoderdata", data_dir="jupyter-scripts-dedup-filtered")
+```
+
+---
+
+#### 🥉 3위: `nayohan/Evol-Instruct-Code-80k-v1-ko`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/nayohan/Evol-Instruct-Code-80k-v1-ko |
+| **샘플 수** | **78,326개** |
+| **형태** | instruction-output 페어 (SFT용) |
+| **한국어** | ✅ 질문(instruction)이 한국어로 번역됨 |
+| **코드 언어** | Python 중심, 알고리즘/자료구조/코딩문제 |
+| **원본** | nickrosh/Evol-Instruct-Code-80k-v1 (GPT-4 번역) |
+| **라이선스** | 미명시 (GPT-4 output 포함 주의) |
+| **Downloads** | 23/월 |
+| **전처리** | 번역 품질 일부 이슈 (기계번역 오류 존재) |
+
+**추천 이유**:  
+- **즉시 SFT에 활용 가능한 한국어 코딩 instruction 데이터**  
+- 78k 규모로 파인튜닝용으로 충분  
+- instruction이 한국어로 됨 → 한국어 질문에 코드 응답하는 능력 학습
+
+**주의사항**:  
+- GPT-4 번역 기반 → 라이선스 불명확 (상업 사용 주의)  
+- 번역 품질 검토 후 필터링 권장  
+- 일부 instruction이 어색한 한국어
+
+---
+
+### 1.3 코드 데이터 수집 전략 요약
+
+```
+Pretrain용:
+  우선순위 1: bigcode/starcoderdata (Python, JavaScript, etc.) → 즉시 사용 가능
+  우선순위 2: bigcode/the-stack-v2-dedup (필요 언어 서브셋) → 규모 확대 시
+
+SFT용:
+  우선순위 1: nayohan/Evol-Instruct-Code-80k-v1-ko → 한국어 코딩 Q&A
+  우선순위 2: nickrosh/Evol-Instruct-Code-80k-v1 (영어) → 번역 또는 직접 사용
+
+한국어 주석 코드 추출:
+  the-stack-v2-dedup에서 한글 포함 파일 필터링 (regex: [\uAC00-\uD7A3])
+  → 한국 개발자가 작성한 코드 추출 가능
+```
+
+---
+
+## 2. 수학 데이터셋
+
+### 2.1 전체 목록 테이블
+
+| # | 데이터셋 | 규모 | 언어 | 난이도 | 풀이과정 | 라이선스 | 추천도 |
+|---|---------|------|------|--------|---------|---------|--------|
+| 1 | **kuotient/orca-math-word-problems-193k-korean** | 193k | 한국어+영어 | 초등~중학 | ✅ | 미상 | ★★★★★ |
+| 2 | **re2panda/grade_school_math_korean** | 7.47k | 한국어 | 초등~중학 | ✅ | MIT | ★★★★☆ |
+| 3 | **openai/gsm8k** | 8.5k | 영어 | 초등~중학 | ✅ (CoT) | MIT | ★★★★☆ |
+| 4 | **open-web-math/open-web-math** | 6.3B tok | 영어 | 전 난이도 | ❌ (raw) | ODC-By | ★★★☆☆ |
+| 5 | **hendrycks/math** | 12.5k | 영어 | 고등~대학 | ✅ | MIT | ★★★☆☆ |
+| 6 | **Quadyun/Korean_SAT_MATH** | 120 | 한국어 | 수능 수준 | 일부 | 미상 | ★★☆☆☆ |
+| 7 | **kuotient/orca-math-korean-dpo-pairs** | 193k | 한국어 | 초등~중학 | ✅ (DPO) | 미상 | ★★★★☆ |
+
+---
+
+### 2.2 Top 3 상세 분석
+
+---
+
+#### 🥇 1위: `kuotient/orca-math-word-problems-193k-korean`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/kuotient/orca-math-word-problems-193k-korean |
+| **샘플 수** | **193,264개** |
+| **언어** | 한국어 + 영어 (이중 언어) |
+| **난이도** | 초등~중학교 수준 수학 문장제 |
+| **문제 유형** | 수 계산, 비율, 나이 문제, 기하, 확률, 방정식 등 |
+| **풀이 과정** | ✅ 상세 단계별 풀이 포함 |
+| **형태** | 문제(한국어) + 풀이(한국어) + 문제(영어) + 풀이(영어) |
+| **원본** | Microsoft Orca-Math (Synthetic data) |
+| **Downloads** | 396/월 |
+
+**데이터 예시**:  
+```
+문제: 정국이 5위입니다. 정국보다 결승선을 먼저 통과한 사람의 수를 찾아보세요.
+풀이: 정국이 5위라면 4명이 정국보다 먼저 결승선을 통과한 셈입니다.
+
+문제: 숫자를 10으로 나눈 값은 6입니다. 윤기는 특정 숫자로부터 15를 빼서 결과를 얻었습니다.
+풀이: x / 10 = 6 → x = 60 → 결과 = 60 - 15 = 45
+```
+
+**추천 이유**:  
+- **가장 큰 한국어 수학 데이터셋** (193k)  
+- 이중언어로 한국어-영어 수학 추론 능력 동시 학습  
+- 단계별 풀이로 Chain-of-Thought 학습에 최적  
+- BTS 멤버 이름 사용 (한국 문화 맥락 자연스럽게 포함)
+
+---
+
+#### 🥈 2위: `kuotient/orca-math-korean-dpo-pairs`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/kuotient/orca-math-korean-dpo-pairs |
+| **샘플 수** | 193k DPO pairs |
+| **언어** | 한국어 |
+| **형태** | chosen / rejected 쌍 (DPO 학습용) |
+| **활용** | RLHF/DPO 단계에서 수학 추론 품질 향상 |
+
+**추천 이유**:  
+- 위 193k와 세트로 사용 가능  
+- DPO 방식으로 수학 답변 품질 향상
+
+---
+
+#### 🥉 3위: `openai/gsm8k`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/openai/gsm8k |
+| **샘플 수** | **8,500개** (train: 7,473 / test: 1,319) |
+| **언어** | 영어 |
+| **난이도** | 초등~중학교 (8.5세~12세 수준) |
+| **문제 유형** | 수학 문장제 (1~8단계 추론) |
+| **풀이 과정** | ✅ CoT 단계별 풀이 + 최종 답 |
+| **라이선스** | MIT |
+| **Downloads** | 매우 높음 (표준 벤치마크) |
+
+**특징**:  
+- `main` split: 자연어 CoT 풀이  
+- `socratic` split: 서브문제 분해 방식  
+- 표준 LLM 수학 벤치마크로 re2panda/grade_school_math_korean이 이를 한국어로 번역
+
+---
+
+### 2.3 수학 데이터 추가 후보
+
+| 데이터셋 | 규모 | 특징 |
+|---------|------|------|
+| `Quadyun/Korean_SAT_MATH` | 120문제 | 한국 수능 수학, 소규모지만 고품질 |
+| `open-web-math/open-web-math` | 6.3B tok | 웹 수학 raw 텍스트, 영어, pretrain용 |
+| `hendrycks/math` (MATH) | 12.5k | 경시대회 수준 수학, 영어, 고난이도 |
+
+---
+
+## 3. 과학 데이터셋
+
+### 3.1 전체 목록 테이블
+
+| # | 데이터셋 | 규모 | 언어 | 분야 | 난이도 | 라이선스 | 추천도 |
+|---|---------|------|------|------|--------|---------|--------|
+| 1 | **amphora/korean_science_papers** | 17k papers | 한국어 | 생명/화학/의학/식품 | 대학원 | 공개 (학술지) | ★★★★★ |
+| 2 | **hiteshpatel945/korean-stem** | 316k | 한국어 | STEM 전반 | 다양 | 미상 | ★★★☆☆ |
+| 3 | **minpeter/arxiv-abstracts-korean** | 50 | 한국어 | CS/물리/수학 | 대학원 | 미상 | ★☆☆☆☆ |
+| 4 | **minpeter/arxiv-papers-korean-nllb-600M** | 10 | 한국어 | 전반 | 대학원 | 미상 | ★☆☆☆☆ |
+
+---
+
+### 3.2 Top 3 상세 분석
+
+---
+
+#### 🥇 1위: `amphora/korean_science_papers`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/amphora/korean_science_papers |
+| **샘플 수** | **17,000+ 논문** |
+| **언어** | 한국어 (일부 영어 키워드/단위 혼재) |
+| **분야** | 생명과학, 식품과학, 의학, 화학, 환경 등 |
+| **난이도** | 학술 대학원 수준 |
+| **형태** | 논문 전문 (서론, 재료/방법, 결과/고찰, 결론) |
+| **특이사항** | LaTeX 수식 포함, category 필드 있음 (생명, 화학 등) |
+| **접근성** | 공개 (별도 동의 없음) |
+| **Downloads** | 17k (최신) |
+
+**데이터 구조**:
+```json
+{
+  "title": "논문 제목",
+  "context": "논문 전문 (섹션 포함)",
+  "category": "생명"  // 생명, 화학, 의학 등
+}
+```
+
+**예시 데이터**:  
+```
+[생명과학 논문]
+지방세포로의 분화 초기단계에서 contact inhibition에 의해 증식이 정지되어 있던 
+세포는 지방세포 유도 복합체에 의해 다시 세포 증식을 시작하는데...
+C/EBPβ 발현이 RLE에 의해 저해됨을 확인하였기에...
+
+[식품과학 논문]
+쌀은 동남북아시아 국가에서 주식으로 사용되는 주요 곡물로서 전 세계적으로 
+5,670만톤이 생산되며... 단백질 농축물을 제조하였으며...
+```
+
+**추천 이유**:  
+- **유일한 대규모 한국어 과학 논문 데이터셋**  
+- 과학적 전문 용어, 실험 방법, LaTeX 수식 포함  
+- 카테고리별 필터링 가능  
+- 한국 과학 어휘 및 표현 학습에 최적
+
+---
+
+#### 🥈 2위: `hiteshpatel945/korean-stem`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/hiteshpatel945/korean-stem |
+| **샘플 수** | **316k** |
+| **언어** | 한국어 |
+| **분야** | STEM 전반 |
+| **업데이트** | 2025년 (최신) |
+| **접근성** | 공개 |
+| **Downloads** | 2/월 (신규 데이터셋) |
+| **주의** | 데이터 품질 및 출처 미상, 검증 필요 |
+
+**추천 이유**:  
+- 대규모 한국어 STEM 데이터  
+- 교과서 수준 과학 지식 포함 가능성
+
+**주의사항**:  
+- 다운로드 수 낮아 품질 검증 필요  
+- 출처 및 라이선스 확인 필수
+
+---
+
+#### 🥉 3위: `minpeter/arxiv-abstracts-korean`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/minpeter/arxiv-abstracts-korean |
+| **샘플 수** | 50 (매우 소규모) |
+| **언어** | 한국어 |
+| **분야** | CS, 물리, 수학 (arXiv) |
+| **형태** | arXiv 논문 초록 번역 |
+
+**한계**: 50개 샘플로 실용적 학습 불가. 참고용에 그침.
+
+---
+
+### 3.3 과학 데이터 보완 전략
+
+현재 한국어 과학 데이터는 극히 부족한 상황. 보완 방법:
+
+```
+1. AI-Hub 코딩/IT 카테고리 데이터 (계정 신청 필요)
+   - URL: https://aihub.or.kr/
+   - 한국 정부 지원 고품질 데이터
+   - IT/과학 교육 콘텐츠 포함
+
+2. 웹 크롤링 (한국 과학 사이트)
+   - 네이버 학술 (scholar.naver.com)
+   - RISS (riss.kr) 학위논문
+   - KISS (kiss.kstudy.com) 학술지
+   - 한국과학기술정보연구원 (KISTI)
+
+3. 한국 교과서 데이터
+   - 국가교육과정정보센터 디지털 교과서
+   - 중/고등학교 과학 교과서 OCR
+
+4. Wikipedia 한국어판 과학 문서
+   - 이미 많은 한국어 LLM 학습에 포함
+   - 물리, 화학, 생물, 지구과학 문서
+```
+
+---
+
+## 4. 종합 추천 및 우선순위
+
+### 4.1 즉시 사용 가능 (High Priority)
+
+| 우선순위 | 데이터셋 | 도메인 | 토큰 수 추정 | 이유 |
+|---------|---------|--------|------------|------|
+| 🔴 P1 | bigcode/starcoderdata (Python subset) | 코드 | ~50B | 즉시 pretrain 가능, 검증됨 |
+| 🔴 P1 | kuotient/orca-math-word-problems-193k-korean | 수학 | ~200M | 최대 한국어 수학, SFT/pretrain |
+| 🔴 P1 | amphora/korean_science_papers | 과학 | ~150M | 유일한 한국어 과학 논문 |
+| 🟡 P2 | nayohan/Evol-Instruct-Code-80k-v1-ko | 코드 | ~80M | 한국어 코딩 SFT |
+| 🟡 P2 | re2panda/grade_school_math_korean | 수학 | ~15M | 한국어 GSM8K SFT |
+| 🟡 P2 | openai/gsm8k | 수학 | ~10M | 영어 CoT, 번역 or 직접 사용 |
+
+### 4.2 조사 중 미확인 / 추가 조사 필요
+
+| 데이터셋 | 현황 | 비고 |
+|---------|------|------|
+| AI-Hub 코딩/IT | 계정 신청 필요 | 고품질 한국어 IT 데이터 기대 |
+| hiteshpatel945/korean-stem | 품질 미검증 | 316k, 신규 데이터셋 |
+| GitHub 한국어 레포 직접 수집 | 별도 작업 필요 | 한국 개발자 공개 레포 크롤링 |
+| 수능/내신 수학 문제집 OCR | 별도 수집 필요 | 고품질 한국 수학 |
+
+### 4.3 라이선스 위험도 정리
+
+| 위험도 | 데이터셋 | 이유 |
+|--------|---------|------|
+| 🟢 안전 | bigcode/the-stack-v2, starcoderdata | permissive 라이선스만, provenance 제공 |
+| 🟢 안전 | openai/gsm8k, hendrycks/math | MIT |
+| 🟢 안전 | re2panda/grade_school_math_korean | MIT |
+| 🟡 주의 | nayohan/Evol-Instruct-Code-80k-v1-ko | GPT-4 output 포함 (OpenAI ToS 이슈) |
+| 🟡 주의 | amphora/korean_science_papers | 학술지 저작권 (연구 목적은 fair use 가능성) |
+| 🔴 불명확 | hiteshpatel945/korean-stem | 출처 미상 |
+
+---
+
+## 5. 한국어 코드 주석 추출 방법
+
+The Stack v2에서 한국어 주석이 포함된 코드 추출:
+
+```python
+from datasets import load_dataset
+import re
+
+def has_korean_text(text, min_korean_chars=10):
+    """한글 10글자 이상 포함 여부 확인"""
+    korean_chars = re.findall(r'[\uAC00-\uD7A3]', text)
+    return len(korean_chars) >= min_korean_chars
+
+def extract_korean_code(examples):
+    """한국어 주석 포함 코드 필터링"""
+    content = examples.get("content", "")
+    return has_korean_text(content)
+
+# Python 서브셋 로드 (streaming 권장)
+ds = load_dataset(
+    "bigcode/the-stack-v2-dedup", 
+    "Python",
+    split="train",
+    streaming=True
+)
+
+# 한국어 포함 파일만 필터
+korean_code_ds = ds.filter(extract_korean_code)
+```
+
+**예상 비율**: Python의 경우 한국어 주석 포함 파일 ~0.5-2% (GitHub 한국 사용자 비율 기반 추정)
+
+---
+
+## 6. 데이터 조합 추천 (3B 모델 학습 기준)
+
+### Pretrain 믹스 (코드+수학+과학)
+
+```yaml
+pretrain_mix:
+  code:
+    - source: bigcode/starcoderdata
+      languages: [python, javascript, java, cpp, typescript]
+      sampling_weight: 0.35
+      tokens: ~50B
+    - source: bigcode/the-stack-v2-dedup (한국어 주석 필터)
+      sampling_weight: 0.05
+      tokens: ~5B
+  
+  math:
+    - source: open-web-math/open-web-math
+      sampling_weight: 0.10
+      tokens: ~10B
+    - source: kuotient/orca-math-word-problems-193k-korean
+      sampling_weight: 0.05
+      tokens: ~200M
+
+  science:
+    - source: amphora/korean_science_papers
+      sampling_weight: 0.03
+      tokens: ~150M
+
+# 나머지는 일반 한국어/영어 텍스트로 채움
+```
+
+### SFT 믹스 (코드+수학)
+
+```yaml
+sft_mix:
+  code_ko: nayohan/Evol-Instruct-Code-80k-v1-ko  # 78k
+  code_en: nickrosh/Evol-Instruct-Code-80k-v1    # 78k (선택)
+  math_ko: kuotient/orca-math-word-problems-193k-korean  # 193k
+  math_ko_gsm: re2panda/grade_school_math_korean  # 7.5k
+```
+
+---
+
+*조사일: 2026-02-27 | 조사자: survey-code-math subagent*