初始化项目，由ModelHub XC社区提供模型

Model: pathcosmos/frankenstallm Source: Original Platform
2026-07-14 04:21:16 +08:00
commit d4abdb70fa
516 changed files with 5584477 additions and 0 deletions
--- a/source/eval/domain_survey/academic.md
+++ b/source/eval/domain_survey/academic.md
@@ -0,0 +1,201 @@
+# 한국어 학술논문/연구보고서 도메인 데이터 전수 조사
+
+**조사일**: 2026-02-27  
+**목적**: 한국어 LLM 3B 모델 학습용 학술논문/연구보고서/학위논문 데이터 공개 현황 파악
+
+---
+
+## 1. 전체 데이터셋 목록
+
+| # | 데이터셋 | 출처 | 크기 | 라이선스 | 내용 | 분야 | 다운로드 | 우선순위 |
+|---|---------|------|------|----------|------|------|----------|--------|
+| 1 | [amphora/korean_science_papers](https://huggingface.co/datasets/amphora/korean_science_papers) | HF | 17k행, 147MB | 미명시 | **전문(full text)** | 이공계(생물·화학 위주) | HF 직접 ✅ | **9** |
+| 2 | [ddokbaro/KCI_data](https://huggingface.co/datasets/ddokbaro/KCI_data) | HF/KCI | 2.34M행 | 미명시 | 초록(영문 포함) | 전분야 (의학 포함) | HF 직접 ✅ | **8** |
+| 3 | [minpeter/arxiv-abstracts-korean](https://huggingface.co/datasets/minpeter/arxiv-abstracts-korean) | HF/arXiv | 50행 | 미명시 | 영문 초록 + 한국어 번역 | 이공계 | HF 직접 ✅ | **3** |
+| 4 | [AI-Hub: 필수의료 의학지식 데이터](https://www.aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71875) | AI-Hub | ~101M 토큰(원문), 19,201 QA쌍 | AI-Hub 이용약관 | 학술논문+가이드라인+교과서 (원문+QA) | 의학(내과·산부인과·소아과·응급) | 신청 후 다운로드 🔐 | **8** |
+| 5 | [KCI Open API](https://www.kci.go.kr/) | KCI | ~500만 논문 메타+초록 | KCI 이용약관 | 메타데이터 + 초록 | 전분야(KCI 등재지) | API Key 신청 🔐 | **7** |
+| 6 | [KISTI ScienceON API](https://scienceon.kisti.re.kr/) | KISTI | 수백만 논문 | KISTI 이용약관 | 메타데이터 + 일부 전문 | 이공계(SCIE/SCOPUS 포함) | API Key 신청 🔐 | **7** |
+| 7 | [RISS Open API](https://www.riss.kr/) | RISS | 수천만 학위논문/학술지 | RISS 이용약관 | 메타+초록+일부 전문(OA) | 전분야(학위논문 포함) | API Key 신청 🔐 | **6** |
+| 8 | [NDSL (ScienceON 통합)](https://scienceon.kisti.re.kr/) | KISTI/NDSL | 수백만 건 | KISTI 이용약관 | 메타데이터 + 초록 | 이공계/기술 | API Key 신청 🔐 | **5** |
+| 9 | [DBpia 학술논문](https://www.dbpia.co.kr/) | DBpia | 약 400만 논문 | 유료/계약 기반 | 전문(PDF) | 인문·사회·이공 전분야 | **계약 필요** ❌ | **2** |
+| 10 | [AI-Hub: 한-영 과학기술 번역 코퍼스](https://www.aihub.or.kr/) | AI-Hub | ~170만 문장쌍 | AI-Hub 이용약관 | 과학기술 논문 번역문 | 이공계 | 신청 후 다운로드 🔐 | **6** |
+
+---
+
+## 2. Top 3 상세 분석
+
+### 🥇 #1: `amphora/korean_science_papers`
+**평가 점수: 9/10**
+
+| 항목 | 내용 |
+|------|------|
+| **URL** | https://huggingface.co/datasets/amphora/korean_science_papers |
+| **크기** | 17,000행, 147MB (압축) |
+| **라이선스** | 미명시 (README 없음, 출처 확인 필요) |
+| **내용** | 한국어 과학 논문 **전문(full text)** — 한자/LaTeX 수식 포함 |
+| **분야** | 이공계 중심 (생물학, 화학, 의생명) |
+| **업데이트** | 2025-07-02 |
+| **다운로드** | HuggingFace 직접 (`datasets.load_dataset("amphora/korean_science_papers")`) |
+| **특이사항** | LaTeX 수식 포함, OCR 기반 PDF 변환 추정, 분야 태그 없음 |
+
+**샘플 데이터 형식**:
+```json
+{
+  "text": "한국어 과학논문 전문 텍스트 (수식, 표, 참고문헌 포함)..."
+}
+```
+
+**장점**: 한국어 학술 전문 텍스트 rare source, 즉시 다운로드 가능  
+**단점**: 라이선스 불분명, 메타데이터(분야, 연도, 학술지) 없음, 규모 소규모(17k)
+
+---
+
+### 🥈 #2: `ddokbaro/KCI_data`
+**평가 점수: 8/10**
+
+| 항목 | 내용 |
+|------|------|
+| **URL** | https://huggingface.co/datasets/ddokbaro/KCI_data |
+| **크기** | 2,340,000행 (~2.34M) |
+| **라이선스** | 미명시 (KCI 원데이터 기반) |
+| **내용** | KCI 논문 초록 + 메타데이터 (한영 혼재) |
+| **분야** | 전분야 (의학·의생명 비중 높음) |
+| **업데이트** | 2025-01-24 |
+| **다운로드** | HuggingFace 직접 (`datasets.load_dataset("ddokbaro/KCI_data")`) |
+| **특이사항** | 영문 초록 포함, 일부 한국어 초록. KCI API로 수집한 데이터로 추정 |
+
+**샘플 데이터 형식** (Viewer 기준):
+```json
+{
+  "abstracts": {"abstract1": "...", "abstract2": "..."},
+  "metadata": { ... }
+}
+```
+
+**장점**: 대규모(2.34M), 즉시 다운로드 가능, 학술 도메인 어휘 풍부  
+**단점**: 영문 비중 불명확, 초록 수준(전문 없음), 라이선스 불분명  
+
+---
+
+### 🥉 #3: `AI-Hub 필수의료 의학지식 데이터`
+**평가 점수: 8/10**
+
+| 항목 | 내용 |
+|------|------|
+| **URL** | https://www.aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71875 |
+| **크기** | 원문 약 1억 토큰(국문+영문), QA 19,201쌍 |
+| **라이선스** | AI-Hub 이용약관 (비상업적 학술 연구 허용) |
+| **내용** | 학술논문/저널 원문, 학회 가이드라인, 의학 교과서 + QA 데이터셋 |
+| **분야** | 의학 (내과, 산부인과, 소아청소년과, 응급의학) |
+| **업데이트** | 2025-06-30 |
+| **다운로드** | AI-Hub 회원가입 → 신청 → 승인 후 다운로드 (내국인 한정) |
+| **특이사항** | Big5 병원 4곳 참여, 전문 + QA 동시 제공, JSON 포맷 |
+
+**국문 원천데이터 상세**:
+| 출처 | 토큰 수 |
+|------|---------|
+| 학술 논문 및 저널 | 15,928,056 |
+| 학회 가이드라인 | 7,709,412 |
+| 의학 교과서 | 647,538 |
+| 기타(동의서 등) | 39,799,317 |
+
+**장점**: 고품질 QA 포함, 의학 도메인 전문 어휘, JSON 정형화  
+**단점**: 의학 단일 분야, 내국인 신청 필요, 기타(동의서) 비중이 높아 정제 필요
+
+---
+
+## 3. API 신청 방법 정리
+
+### KCI (한국학술지인용색인) Open API
+- **URL**: https://www.kci.go.kr/
+- **제공 데이터**: 논문 메타데이터, 초록, 인용 정보
+- **신청 방법**:
+  1. https://www.kci.go.kr 회원가입
+  2. 상단 메뉴 → 오픈API 신청
+  3. 활용목적 기재 후 API Key 발급 (심사 없이 즉시 발급 가능)
+- **제약**: 초록만 제공, 전문은 제공 안 함
+- **API 예시**: `GET https://www.kci.go.kr/kciportal/po/openapi/openApiSerList.kci?apiCode=...&apiKey=<KEY>`
+- **비용**: 무료
+
+### KISTI ScienceON (NDSL 통합) API
+- **URL**: https://scienceon.kisti.re.kr/
+- **제공 데이터**: 국내외 논문 메타+초록 (KCI, SCOPUS, PubMed 등 통합)
+- **신청 방법**:
+  1. ScienceON 회원가입
+  2. 오픈API 메뉴 → API Key 신청
+  3. 활용목적 제출 → 심사 후 발급 (1~3일)
+- **제약**: 전문(full text)은 원칙적으로 제공 안 함, 초록 위주
+- **비용**: 무료 (상업적 이용 제한)
+
+### RISS Open API
+- **URL**: https://www.riss.kr/ (OpenAPI 메뉴)
+- **제공 데이터**: 학위논문/학술지/단행본 메타+일부 초록. **OA 논문 전문 링크** 포함
+- **신청 방법**:
+  1. RISS 회원가입
+  2. 마이페이지 → Open API 신청
+  3. 목적 기재 → 즉시 또는 1~2일 내 발급
+- **특징**: 학위논문(석사/박사) 메타데이터 강점. OA 논문은 PDF 링크 제공
+- **비용**: 무료
+
+### AI-Hub 데이터 신청
+- **URL**: https://www.aihub.or.kr/
+- **신청 방법**:
+  1. AI-Hub 회원가입 (내국인 실명인증 필요)
+  2. 원하는 데이터셋 페이지 → "다운로드" 버튼
+  3. 활용목적 기재 → 자동 승인 (대부분 즉시) 또는 1~3일
+  4. 데이터 다운로드 (PC에서만 가능)
+- **비용**: 무료 (비상업적 연구 목적)
+- **주의**: 데이터 재배포 금지, 논문/결과물 발표 시 AI-Hub 출처 명기
+
+### DBpia (참고 - 권장하지 않음)
+- **URL**: https://www.dbpia.co.kr/
+- 기관 구독 또는 개인 유료 결제 필요
+- 대량 다운로드/API 제공 없음 → **LLM 학습용으로 사용 불가**
+
+---
+
+## 4. 추가 탐색 권장 소스
+
+| 소스 | URL | 내용 | 비고 |
+|------|-----|------|------|
+| arXiv Korean subset | https://arxiv.org/search/?query=korean&searchtype=all | arXiv 한국어 포함 논문 | Python으로 bulk 수집 가능 |
+| PubMed Open Access | https://www.ncbi.nlm.nih.gov/pmc/tools/openftlist/ | 의학 OA 전문 | 한국 저자 한국어 초록 포함 |
+| DOAJ Korea | https://doaj.org/search/journals?query=korea | OA 학술지 | 학술지 전문 무료 |
+| 국회전자도서관 | https://dl.nanet.go.kr/ | 연구보고서 원문 | OA 많음 |
+| 한국교육학술정보원(KERIS) | https://www.riss.kr/ | RISS와 동일 | - |
+
+---
+
+## 5. 요약 및 권장 전략
+
+### 즉시 사용 가능 (HuggingFace 직접 다운로드)
+1. `amphora/korean_science_papers` — 147MB, 한국어 과학논문 전문. **라이선스 확인 후 즉시 사용 가능**
+2. `ddokbaro/KCI_data` — 2.34M행, KCI 초록 대규모. **즉시 사용 가능**
+3. `minpeter/arxiv-abstracts-korean` — 소규모(50개), arXiv 초록 한영. 보조 자료 수준
+
+### 신청 후 확보 가능 (1주 이내)
+4. AI-Hub 필수의료 의학지식 데이터 — 의학 전문, 고품질 QA 포함
+5. KCI Open API — 초록 대규모 수집 가능 (스크래핑 필요)
+6. RISS Open API — 학위논문 메타/초록 + OA 전문 링크
+
+### 권장 우선순위 실행 계획
+```
+1단계 (즉시): HF 직접 다운로드
+   - amphora/korean_science_papers (전문 확보)
+   - ddokbaro/KCI_data (초록 대규모)
+
+2단계 (1주): AI-Hub 신청
+   - 필수의료 의학지식 데이터 (의학 도메인 강화)
+
+3단계 (2-4주): API 신청 후 수집
+   - KCI API → 논문 메타+초록 대규모 수집
+   - RISS API → 학위논문 초록 + OA 전문
+   
+4단계 (장기): OA 전문 수집
+   - RISS OA 링크 통해 학위논문 전문 PDF → 텍스트 변환
+   - PubMed Central OA 한국 저자 논문 수집
+```
+
+---
+
+*조사 방법: HuggingFace Hub 키워드 검색(korean academic/science/thesis/KCI/RISS), AI-Hub 웹 크롤링, KCI/RISS/KISTI 공식 홈페이지 직접 확인*
--- a/source/eval/domain_survey/code_math.md
+++ b/source/eval/domain_survey/code_math.md
@@ -0,0 +1,467 @@
+# 코드 / 수학 / 과학 데이터셋 전수 조사
+
+> **목적**: 한국어 LLM 3B 모델 학습용 코딩·수학·과학 데이터셋 전수 조사  
+> **작성일**: 2026-02-27  
+> **조사 범위**: HuggingFace Hub, bigcode, AI-Hub 등
+
+---
+
+## 1. 코드 데이터셋
+
+### 1.1 전체 목록 테이블
+
+| # | 데이터셋 | 규모 | 언어 | 한국어 주석 | 라이선스 | 형태 | 추천도 |
+|---|---------|------|------|------------|---------|------|--------|
+| 1 | **bigcode/the-stack-v2-dedup** | 32.1TB / ~900B tok | 600+ 언어 | 일부 포함 (필터 필요) | 혼합 (permissive only) | raw code | ★★★★★ |
+| 2 | **bigcode/starcoderdata** | 783GB / ~250B tok | 86 언어 | 일부 포함 | 혼합 (permissive) | clean code+docs | ★★★★☆ |
+| 3 | **nayohan/Evol-Instruct-Code-80k-v1-ko** | 78.3k samples | 한국어+코드 | ✅ 한국어 질문 | 미상 (GPT-4 번역) | instruction-output | ★★★★☆ |
+| 4 | **nickrosh/Evol-Instruct-Code-80k-v1** | 78.3k samples | 영어+코드 | ❌ | MIT | instruction-output | ★★★☆☆ |
+| 5 | **CodeResearch/Code-Evol-Instruct-OSS** | 4.31k samples | 영어+코드 | ❌ | 오픈소스 | instruction-output | ★★☆☆☆ |
+| 6 | **bigcode/the-stack-v2** | 67.5TB full | 600+ 언어 | 일부 포함 | 혼합 | raw code (SWHID) | ★★★★☆ |
+
+---
+
+### 1.2 Top 3 상세 분석
+
+---
+
+#### 🥇 1위: `bigcode/the-stack-v2-dedup`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/bigcode/the-stack-v2-dedup |
+| **전체 크기** | Full: 67.5TB / **Dedup: 32.1TB** / Train tokens: ~900B |
+| **파일 수** | 3.28B unique files, 104.2M GitHub repositories |
+| **언어 수** | 658개 프로그래밍/마크업 언어 |
+| **수집 기간** | GitHub 2023-09-06 기준 |
+| **근중 언어** | Python, JavaScript, TypeScript, Java, C++, C#, Go, Rust 등 |
+| **한국어 주석 비율** | 직접 측정 없음. GitHub 한국어 레포 기준 추정 ~1-3% |
+| **라이선스 구조** | permissive 라이선스만 포함 (MIT, Apache-2.0, BSD 등), 파일별 provenance 제공 |
+| **접근 방법** | SoftwareHeritage+INRIA 동의 필요 (AWS S3 bulk download) |
+| **전처리 수준** | Near-dedup 완료, PII 제거 필요, 언어별 필터링 가능 |
+| **주요 메타데이터** | repo_name, detected_licenses, star/fork count, language, is_vendor, length_bytes |
+| **특이사항** | 실제 파일 콘텐츠는 SWH S3에서 별도 다운로드 필요 |
+
+**추천 이유**:  
+- 최대 규모의 오픈소스 코드 데이터셋  
+- permissive 라이선스만 포함해 법적 리스크 낮음  
+- 언어별 서브셋 로드 가능 (`load_dataset("bigcode/the-stack-v2-dedup", "Python")`)  
+- StarCoder2 학습 베이스 데이터
+
+**한국어 LLM 활용 전략**:  
+```python
+# Python 서브셋만 로드
+ds = load_dataset("bigcode/the-stack-v2-dedup", "Python", split="train")
+# 한국어 주석 포함 파일 필터링 (heuristic)
+korean_ds = ds.filter(lambda x: any(ord(c) > 0xAC00 for c in x.get("content", "")))
+```
+
+---
+
+#### 🥈 2위: `bigcode/starcoderdata`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/bigcode/starcoderdata |
+| **전체 크기** | **783GB / ~250B tokens** |
+| **언어 수** | 86개 프로그래밍 언어 |
+| **추가 데이터** | GitHub Issues (54GB), Jupyter Notebooks (13GB), GitHub Commits (32GB) |
+| **한국어 주석 비율** | 직접 통계 없음. GitHub 한국 개발자 레포 포함 |
+| **라이선스** | 원본 레포 라이선스 준수, Terms 동의 필요 |
+| **전처리 수준** | **이미 dedup + clean + PII 제거 완료** |
+| **Downloads** | 15,556/월 (인기 데이터셋) |
+| **사용 모델** | StarCoder, StarCoderBase 학습 데이터 |
+
+**추천 이유**:  
+- The Stack v2보다 작지만 **이미 정제된 상태** (바로 학습 가능)  
+- GitHub Issues/Jupyter/Commits 포함으로 다양한 코드 컨텍스트  
+- StarCoder 논문에서 검증된 품질
+
+**활용법**:  
+```python
+# Python만 로드
+ds = load_dataset("bigcode/starcoderdata", data_dir="python", split="train")
+# jupyter notebooks
+ds = load_dataset("bigcode/starcoderdata", data_dir="jupyter-scripts-dedup-filtered")
+```
+
+---
+
+#### 🥉 3위: `nayohan/Evol-Instruct-Code-80k-v1-ko`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/nayohan/Evol-Instruct-Code-80k-v1-ko |
+| **샘플 수** | **78,326개** |
+| **형태** | instruction-output 페어 (SFT용) |
+| **한국어** | ✅ 질문(instruction)이 한국어로 번역됨 |
+| **코드 언어** | Python 중심, 알고리즘/자료구조/코딩문제 |
+| **원본** | nickrosh/Evol-Instruct-Code-80k-v1 (GPT-4 번역) |
+| **라이선스** | 미명시 (GPT-4 output 포함 주의) |
+| **Downloads** | 23/월 |
+| **전처리** | 번역 품질 일부 이슈 (기계번역 오류 존재) |
+
+**추천 이유**:  
+- **즉시 SFT에 활용 가능한 한국어 코딩 instruction 데이터**  
+- 78k 규모로 파인튜닝용으로 충분  
+- instruction이 한국어로 됨 → 한국어 질문에 코드 응답하는 능력 학습
+
+**주의사항**:  
+- GPT-4 번역 기반 → 라이선스 불명확 (상업 사용 주의)  
+- 번역 품질 검토 후 필터링 권장  
+- 일부 instruction이 어색한 한국어
+
+---
+
+### 1.3 코드 데이터 수집 전략 요약
+
+```
+Pretrain용:
+  우선순위 1: bigcode/starcoderdata (Python, JavaScript, etc.) → 즉시 사용 가능
+  우선순위 2: bigcode/the-stack-v2-dedup (필요 언어 서브셋) → 규모 확대 시
+
+SFT용:
+  우선순위 1: nayohan/Evol-Instruct-Code-80k-v1-ko → 한국어 코딩 Q&A
+  우선순위 2: nickrosh/Evol-Instruct-Code-80k-v1 (영어) → 번역 또는 직접 사용
+
+한국어 주석 코드 추출:
+  the-stack-v2-dedup에서 한글 포함 파일 필터링 (regex: [\uAC00-\uD7A3])
+  → 한국 개발자가 작성한 코드 추출 가능
+```
+
+---
+
+## 2. 수학 데이터셋
+
+### 2.1 전체 목록 테이블
+
+| # | 데이터셋 | 규모 | 언어 | 난이도 | 풀이과정 | 라이선스 | 추천도 |
+|---|---------|------|------|--------|---------|---------|--------|
+| 1 | **kuotient/orca-math-word-problems-193k-korean** | 193k | 한국어+영어 | 초등~중학 | ✅ | 미상 | ★★★★★ |
+| 2 | **re2panda/grade_school_math_korean** | 7.47k | 한국어 | 초등~중학 | ✅ | MIT | ★★★★☆ |
+| 3 | **openai/gsm8k** | 8.5k | 영어 | 초등~중학 | ✅ (CoT) | MIT | ★★★★☆ |
+| 4 | **open-web-math/open-web-math** | 6.3B tok | 영어 | 전 난이도 | ❌ (raw) | ODC-By | ★★★☆☆ |
+| 5 | **hendrycks/math** | 12.5k | 영어 | 고등~대학 | ✅ | MIT | ★★★☆☆ |
+| 6 | **Quadyun/Korean_SAT_MATH** | 120 | 한국어 | 수능 수준 | 일부 | 미상 | ★★☆☆☆ |
+| 7 | **kuotient/orca-math-korean-dpo-pairs** | 193k | 한국어 | 초등~중학 | ✅ (DPO) | 미상 | ★★★★☆ |
+
+---
+
+### 2.2 Top 3 상세 분석
+
+---
+
+#### 🥇 1위: `kuotient/orca-math-word-problems-193k-korean`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/kuotient/orca-math-word-problems-193k-korean |
+| **샘플 수** | **193,264개** |
+| **언어** | 한국어 + 영어 (이중 언어) |
+| **난이도** | 초등~중학교 수준 수학 문장제 |
+| **문제 유형** | 수 계산, 비율, 나이 문제, 기하, 확률, 방정식 등 |
+| **풀이 과정** | ✅ 상세 단계별 풀이 포함 |
+| **형태** | 문제(한국어) + 풀이(한국어) + 문제(영어) + 풀이(영어) |
+| **원본** | Microsoft Orca-Math (Synthetic data) |
+| **Downloads** | 396/월 |
+
+**데이터 예시**:  
+```
+문제: 정국이 5위입니다. 정국보다 결승선을 먼저 통과한 사람의 수를 찾아보세요.
+풀이: 정국이 5위라면 4명이 정국보다 먼저 결승선을 통과한 셈입니다.
+
+문제: 숫자를 10으로 나눈 값은 6입니다. 윤기는 특정 숫자로부터 15를 빼서 결과를 얻었습니다.
+풀이: x / 10 = 6 → x = 60 → 결과 = 60 - 15 = 45
+```
+
+**추천 이유**:  
+- **가장 큰 한국어 수학 데이터셋** (193k)  
+- 이중언어로 한국어-영어 수학 추론 능력 동시 학습  
+- 단계별 풀이로 Chain-of-Thought 학습에 최적  
+- BTS 멤버 이름 사용 (한국 문화 맥락 자연스럽게 포함)
+
+---
+
+#### 🥈 2위: `kuotient/orca-math-korean-dpo-pairs`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/kuotient/orca-math-korean-dpo-pairs |
+| **샘플 수** | 193k DPO pairs |
+| **언어** | 한국어 |
+| **형태** | chosen / rejected 쌍 (DPO 학습용) |
+| **활용** | RLHF/DPO 단계에서 수학 추론 품질 향상 |
+
+**추천 이유**:  
+- 위 193k와 세트로 사용 가능  
+- DPO 방식으로 수학 답변 품질 향상
+
+---
+
+#### 🥉 3위: `openai/gsm8k`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/openai/gsm8k |
+| **샘플 수** | **8,500개** (train: 7,473 / test: 1,319) |
+| **언어** | 영어 |
+| **난이도** | 초등~중학교 (8.5세~12세 수준) |
+| **문제 유형** | 수학 문장제 (1~8단계 추론) |
+| **풀이 과정** | ✅ CoT 단계별 풀이 + 최종 답 |
+| **라이선스** | MIT |
+| **Downloads** | 매우 높음 (표준 벤치마크) |
+
+**특징**:  
+- `main` split: 자연어 CoT 풀이  
+- `socratic` split: 서브문제 분해 방식  
+- 표준 LLM 수학 벤치마크로 re2panda/grade_school_math_korean이 이를 한국어로 번역
+
+---
+
+### 2.3 수학 데이터 추가 후보
+
+| 데이터셋 | 규모 | 특징 |
+|---------|------|------|
+| `Quadyun/Korean_SAT_MATH` | 120문제 | 한국 수능 수학, 소규모지만 고품질 |
+| `open-web-math/open-web-math` | 6.3B tok | 웹 수학 raw 텍스트, 영어, pretrain용 |
+| `hendrycks/math` (MATH) | 12.5k | 경시대회 수준 수학, 영어, 고난이도 |
+
+---
+
+## 3. 과학 데이터셋
+
+### 3.1 전체 목록 테이블
+
+| # | 데이터셋 | 규모 | 언어 | 분야 | 난이도 | 라이선스 | 추천도 |
+|---|---------|------|------|------|--------|---------|--------|
+| 1 | **amphora/korean_science_papers** | 17k papers | 한국어 | 생명/화학/의학/식품 | 대학원 | 공개 (학술지) | ★★★★★ |
+| 2 | **hiteshpatel945/korean-stem** | 316k | 한국어 | STEM 전반 | 다양 | 미상 | ★★★☆☆ |
+| 3 | **minpeter/arxiv-abstracts-korean** | 50 | 한국어 | CS/물리/수학 | 대학원 | 미상 | ★☆☆☆☆ |
+| 4 | **minpeter/arxiv-papers-korean-nllb-600M** | 10 | 한국어 | 전반 | 대학원 | 미상 | ★☆☆☆☆ |
+
+---
+
+### 3.2 Top 3 상세 분석
+
+---
+
+#### 🥇 1위: `amphora/korean_science_papers`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/amphora/korean_science_papers |
+| **샘플 수** | **17,000+ 논문** |
+| **언어** | 한국어 (일부 영어 키워드/단위 혼재) |
+| **분야** | 생명과학, 식품과학, 의학, 화학, 환경 등 |
+| **난이도** | 학술 대학원 수준 |
+| **형태** | 논문 전문 (서론, 재료/방법, 결과/고찰, 결론) |
+| **특이사항** | LaTeX 수식 포함, category 필드 있음 (생명, 화학 등) |
+| **접근성** | 공개 (별도 동의 없음) |
+| **Downloads** | 17k (최신) |
+
+**데이터 구조**:
+```json
+{
+  "title": "논문 제목",
+  "context": "논문 전문 (섹션 포함)",
+  "category": "생명"  // 생명, 화학, 의학 등
+}
+```
+
+**예시 데이터**:  
+```
+[생명과학 논문]
+지방세포로의 분화 초기단계에서 contact inhibition에 의해 증식이 정지되어 있던 
+세포는 지방세포 유도 복합체에 의해 다시 세포 증식을 시작하는데...
+C/EBPβ 발현이 RLE에 의해 저해됨을 확인하였기에...
+
+[식품과학 논문]
+쌀은 동남북아시아 국가에서 주식으로 사용되는 주요 곡물로서 전 세계적으로 
+5,670만톤이 생산되며... 단백질 농축물을 제조하였으며...
+```
+
+**추천 이유**:  
+- **유일한 대규모 한국어 과학 논문 데이터셋**  
+- 과학적 전문 용어, 실험 방법, LaTeX 수식 포함  
+- 카테고리별 필터링 가능  
+- 한국 과학 어휘 및 표현 학습에 최적
+
+---
+
+#### 🥈 2위: `hiteshpatel945/korean-stem`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/hiteshpatel945/korean-stem |
+| **샘플 수** | **316k** |
+| **언어** | 한국어 |
+| **분야** | STEM 전반 |
+| **업데이트** | 2025년 (최신) |
+| **접근성** | 공개 |
+| **Downloads** | 2/월 (신규 데이터셋) |
+| **주의** | 데이터 품질 및 출처 미상, 검증 필요 |
+
+**추천 이유**:  
+- 대규모 한국어 STEM 데이터  
+- 교과서 수준 과학 지식 포함 가능성
+
+**주의사항**:  
+- 다운로드 수 낮아 품질 검증 필요  
+- 출처 및 라이선스 확인 필수
+
+---
+
+#### 🥉 3위: `minpeter/arxiv-abstracts-korean`
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace URL** | https://huggingface.co/datasets/minpeter/arxiv-abstracts-korean |
+| **샘플 수** | 50 (매우 소규모) |
+| **언어** | 한국어 |
+| **분야** | CS, 물리, 수학 (arXiv) |
+| **형태** | arXiv 논문 초록 번역 |
+
+**한계**: 50개 샘플로 실용적 학습 불가. 참고용에 그침.
+
+---
+
+### 3.3 과학 데이터 보완 전략
+
+현재 한국어 과학 데이터는 극히 부족한 상황. 보완 방법:
+
+```
+1. AI-Hub 코딩/IT 카테고리 데이터 (계정 신청 필요)
+   - URL: https://aihub.or.kr/
+   - 한국 정부 지원 고품질 데이터
+   - IT/과학 교육 콘텐츠 포함
+
+2. 웹 크롤링 (한국 과학 사이트)
+   - 네이버 학술 (scholar.naver.com)
+   - RISS (riss.kr) 학위논문
+   - KISS (kiss.kstudy.com) 학술지
+   - 한국과학기술정보연구원 (KISTI)
+
+3. 한국 교과서 데이터
+   - 국가교육과정정보센터 디지털 교과서
+   - 중/고등학교 과학 교과서 OCR
+
+4. Wikipedia 한국어판 과학 문서
+   - 이미 많은 한국어 LLM 학습에 포함
+   - 물리, 화학, 생물, 지구과학 문서
+```
+
+---
+
+## 4. 종합 추천 및 우선순위
+
+### 4.1 즉시 사용 가능 (High Priority)
+
+| 우선순위 | 데이터셋 | 도메인 | 토큰 수 추정 | 이유 |
+|---------|---------|--------|------------|------|
+| 🔴 P1 | bigcode/starcoderdata (Python subset) | 코드 | ~50B | 즉시 pretrain 가능, 검증됨 |
+| 🔴 P1 | kuotient/orca-math-word-problems-193k-korean | 수학 | ~200M | 최대 한국어 수학, SFT/pretrain |
+| 🔴 P1 | amphora/korean_science_papers | 과학 | ~150M | 유일한 한국어 과학 논문 |
+| 🟡 P2 | nayohan/Evol-Instruct-Code-80k-v1-ko | 코드 | ~80M | 한국어 코딩 SFT |
+| 🟡 P2 | re2panda/grade_school_math_korean | 수학 | ~15M | 한국어 GSM8K SFT |
+| 🟡 P2 | openai/gsm8k | 수학 | ~10M | 영어 CoT, 번역 or 직접 사용 |
+
+### 4.2 조사 중 미확인 / 추가 조사 필요
+
+| 데이터셋 | 현황 | 비고 |
+|---------|------|------|
+| AI-Hub 코딩/IT | 계정 신청 필요 | 고품질 한국어 IT 데이터 기대 |
+| hiteshpatel945/korean-stem | 품질 미검증 | 316k, 신규 데이터셋 |
+| GitHub 한국어 레포 직접 수집 | 별도 작업 필요 | 한국 개발자 공개 레포 크롤링 |
+| 수능/내신 수학 문제집 OCR | 별도 수집 필요 | 고품질 한국 수학 |
+
+### 4.3 라이선스 위험도 정리
+
+| 위험도 | 데이터셋 | 이유 |
+|--------|---------|------|
+| 🟢 안전 | bigcode/the-stack-v2, starcoderdata | permissive 라이선스만, provenance 제공 |
+| 🟢 안전 | openai/gsm8k, hendrycks/math | MIT |
+| 🟢 안전 | re2panda/grade_school_math_korean | MIT |
+| 🟡 주의 | nayohan/Evol-Instruct-Code-80k-v1-ko | GPT-4 output 포함 (OpenAI ToS 이슈) |
+| 🟡 주의 | amphora/korean_science_papers | 학술지 저작권 (연구 목적은 fair use 가능성) |
+| 🔴 불명확 | hiteshpatel945/korean-stem | 출처 미상 |
+
+---
+
+## 5. 한국어 코드 주석 추출 방법
+
+The Stack v2에서 한국어 주석이 포함된 코드 추출:
+
+```python
+from datasets import load_dataset
+import re
+
+def has_korean_text(text, min_korean_chars=10):
+    """한글 10글자 이상 포함 여부 확인"""
+    korean_chars = re.findall(r'[\uAC00-\uD7A3]', text)
+    return len(korean_chars) >= min_korean_chars
+
+def extract_korean_code(examples):
+    """한국어 주석 포함 코드 필터링"""
+    content = examples.get("content", "")
+    return has_korean_text(content)
+
+# Python 서브셋 로드 (streaming 권장)
+ds = load_dataset(
+    "bigcode/the-stack-v2-dedup", 
+    "Python",
+    split="train",
+    streaming=True
+)
+
+# 한국어 포함 파일만 필터
+korean_code_ds = ds.filter(extract_korean_code)
+```
+
+**예상 비율**: Python의 경우 한국어 주석 포함 파일 ~0.5-2% (GitHub 한국 사용자 비율 기반 추정)
+
+---
+
+## 6. 데이터 조합 추천 (3B 모델 학습 기준)
+
+### Pretrain 믹스 (코드+수학+과학)
+
+```yaml
+pretrain_mix:
+  code:
+    - source: bigcode/starcoderdata
+      languages: [python, javascript, java, cpp, typescript]
+      sampling_weight: 0.35
+      tokens: ~50B
+    - source: bigcode/the-stack-v2-dedup (한국어 주석 필터)
+      sampling_weight: 0.05
+      tokens: ~5B
+  
+  math:
+    - source: open-web-math/open-web-math
+      sampling_weight: 0.10
+      tokens: ~10B
+    - source: kuotient/orca-math-word-problems-193k-korean
+      sampling_weight: 0.05
+      tokens: ~200M
+
+  science:
+    - source: amphora/korean_science_papers
+      sampling_weight: 0.03
+      tokens: ~150M
+
+# 나머지는 일반 한국어/영어 텍스트로 채움
+```
+
+### SFT 믹스 (코드+수학)
+
+```yaml
+sft_mix:
+  code_ko: nayohan/Evol-Instruct-Code-80k-v1-ko  # 78k
+  code_en: nickrosh/Evol-Instruct-Code-80k-v1    # 78k (선택)
+  math_ko: kuotient/orca-math-word-problems-193k-korean  # 193k
+  math_ko_gsm: re2panda/grade_school_math_korean  # 7.5k
+```
+
+---
+
+*조사일: 2026-02-27 | 조사자: survey-code-math subagent*
--- a/source/eval/domain_survey/finance.md
+++ b/source/eval/domain_survey/finance.md
@@ -0,0 +1,202 @@
+# 한국어 금융/경제/비즈니스 도메인 데이터셋 전수 조사
+
+> **목적**: 한국어 LLM 3B 모델 학습용 금융·경제·주식·비즈니스 도메인 데이터 발굴  
+> **조사일**: 2026-02-26  
+> **조사 방법**: HuggingFace Hub 전수 검색 (web_fetch), 공공 데이터 포털 확인  
+> **검색 키워드**: korean finance, korean financial, korean stock, korean economy, dart korea, korean business
+
+---
+
+## 전체 데이터셋 목록
+
+| # | Repo ID | 샘플수 | 크기 | 라이선스 | 내용 | 태스크 | 상업적 이용 | 우선순위 |
+|---|---------|--------|------|----------|------|--------|-------------|----------|
+| 1 | [nmixx-fin/opensource_korean_finance_datasets](https://huggingface.co/datasets/nmixx-fin/opensource_korean_finance_datasets) | 502,831 | ~532MB | 오픈소스(혼합) | 한국어 금융 텍스트 다종 합본 (뉴스·리포트·사전·공시 등) | 다목적 (사전학습·SFT) | ⚠️ 출처별 확인 필요 | **10** |
+| 2 | [nayohan/Sujet-Finance-Instruct-177k-ko](https://huggingface.co/datasets/nayohan/Sujet-Finance-Instruct-177k-ko) | 177,000 | ~수백MB | Apache 2.0 추정 | Finnish 금융뉴스 기반 한국어 번역 감성분석 instruction | 감성분석·SFT | ✅ 가능 | **9** |
+| 3 | [nmixx-fin/twice_kr_finance_news_summ](https://huggingface.co/datasets/nmixx-fin/twice_kr_finance_news_summ) | 54,700 | ~중간 | 오픈소스 | 한국 금융뉴스 요약 (article + summary + quality label 0/1) | 요약·SFT | ⚠️ 확인 필요 | **9** |
+| 4 | [imTak/korean-audio-text-economy](https://huggingface.co/datasets/imTak/korean-audio-text-economy) | 43,200 | ~대용량 | 미확인 | 한국어 경제 오디오+텍스트 (음성 전사) | ASR·텍스트추출 | ⚠️ 확인 필요 | **5** |
+| 5 | [nmixx-fin/synthetic_financial_report_korean](https://huggingface.co/datasets/nmixx-fin/synthetic_financial_report_korean) | 20,800 | ~소형 | 오픈소스 | 합성 시황 데이터 (category 7종: 시황 등, source=synthetic) | 텍스트생성·SFT | ✅ 가능 (합성) | **7** |
+| 6 | [nmixx-fin/NMIXX_train](https://huggingface.co/datasets/nmixx-fin/NMIXX_train) | 18,800 | ~소형 | 오픈소스 | 한국어-영어 금융뉴스 병렬 코퍼스 (KOSPI·KOSDAQ·글로벌 시황) | 번역·사전학습 | ⚠️ 확인 필요 | **6** |
+| 7 | [nmixx-fin/twice_kr_finance_reranking](https://huggingface.co/datasets/nmixx-fin/twice_kr_finance_reranking) | 30,500 | ~소형 | 오픈소스 | 한국 금융 문서 리랭킹 (쿼리-문서 쌍) | 검색·랭킹·RAG | ⚠️ 확인 필요 | **6** |
+| 8 | [kgmyh/korean_stock_ticker_qa_data](https://huggingface.co/datasets/kgmyh/korean_stock_ticker_qa_data) | 13,800 | ~소형 | 미확인 | 한국 주식 종목코드 QA (종목명→코드 매핑) | QA·도메인지식 | ⚠️ 확인 필요 | **5** |
+| 9 | [nmixx-fin/synthetic_dart_report_korean](https://huggingface.co/datasets/nmixx-fin/synthetic_dart_report_korean) | 5,080 | ~소형 | 오픈소스 | DART 사업보고서 기반 합성 요약 (한화리츠 등 실제 상장법인) | 요약·SFT | ✅ 가능 (합성) | **8** |
+| 10 | [nmixx-fin/twice_bok_dict_retrieval](https://huggingface.co/datasets/nmixx-fin/twice_bok_dict_retrieval) | 3,000 | ~소형 | 오픈소스 | 한국은행 경제금융용어 사전 검색 | 검색·RAG | ✅ 가능 | **7** |
+| 11 | [nmixx-fin/twice_fss_dict_retrieval](https://huggingface.co/datasets/nmixx-fin/twice_fss_dict_retrieval) | 3,000 | ~소형 | 오픈소스 | 금융감독원 금융용어 사전 검색 | 검색·RAG | ✅ 가능 | **7** |
+| 12 | [nmixx-fin/twice_kr_market_report_retrieval](https://huggingface.co/datasets/nmixx-fin/twice_kr_market_report_retrieval) | 3,000 | ~소형 | 오픈소스 | 한국 시장 리포트 검색 (쿼리-문서 쌍) | 검색·RAG | ⚠️ 확인 필요 | **6** |
+| 13 | [nmixx-fin/twice_kr_news_retrieval](https://huggingface.co/datasets/nmixx-fin/twice_kr_news_retrieval) | 3,000 | ~소형 | 오픈소스 | 한국 금융뉴스 검색 (쿼리-문서 쌍) | 검색·RAG | ⚠️ 확인 필요 | **6** |
+| 14 | [nmixx-fin/korfinSTS](https://huggingface.co/datasets/nmixx-fin/korfinSTS) | 1,990 | ~소형 | 오픈소스 | 한국 금융보고서 STS (KOSPI·채권·글로벌 매크로 문장 쌍, label=1) | STS·임베딩 | ⚠️ 확인 필요 | **6** |
+| 15 | [Nexdata/215_Hours_Korean_Financial_Entities_Speech_Data](https://huggingface.co/datasets/Nexdata/215_Hours_Korean_Financial_Entities_Speech_Data) | 215시간 | ~대용량 | 상업적(유료 가능성) | 한국 금융 엔티티 음성 데이터 (NER 태깅) | ASR·NER | ❌ 유료/제한 | **3** |
+
+---
+
+## 소스별 보완 정보
+
+### 🔴 HuggingFace 외 공개 소스 (직접 접근 필요)
+
+| 소스 | URL | 내용 | 접근 방법 | 비고 |
+|------|-----|------|-----------|------|
+| DART 전자공시 API | https://dart.fscr.or.kr | 상장법인 사업보고서·분기보고서·공시문서 | API Key 발급 후 REST API | ✅ 무료, 대량 수집 가능 |
+| 한국은행 ECOS | https://ecos.bok.or.kr | 경제통계 수치 데이터 | API Key 발급 후 REST API | ✅ 무료, 시계열 수치 중심 |
+| 한국거래소 KRX | http://data.krx.co.kr | 주식·ETF·채권 시장 데이터 | 웹 다운로드 (CSV) | ✅ 무료, 수치 데이터 중심 |
+| AI-Hub 금융 카테고리 | https://aihub.or.kr | 금융 도메인 음성·텍스트 | 회원가입 후 신청 | ⚠️ 비상업적 연구용 |
+| 법제처 금융법령 | https://law.go.kr | 금융 관련 법령 전문 | 웹 크롤링 (공공저작물) | ✅ 공공저작물 |
+
+---
+
+## Top 3 상세 분석
+
+---
+
+### 🥇 #1. `nmixx-fin/opensource_korean_finance_datasets`
+
+**우선순위: 10/10**
+
+#### 개요
+- **HuggingFace**: https://huggingface.co/datasets/nmixx-fin/opensource_korean_finance_datasets
+- **샘플수**: 502,831행
+- **파일 크기**: ~532MB (Parquet)
+- **라이선스**: 혼합 (출처별 상이)
+- **업데이트**: 2024–2025년 활발 유지
+
+#### 내용 구성
+한국어 금융 특화 텍스트를 다종 병합한 메가 데이터셋. 내부 구성:
+- 한국 금융뉴스 (경제·시황·기업·주식)
+- 금융보고서·리서치 리포트
+- 한국은행·금융감독원 사전 텍스트
+- DART 공시 관련 문서
+- 합성 금융 텍스트
+
+#### 컬럼 구조
+```
+text, category, source, token_count (추정)
+```
+
+#### 다운로드 방법
+```python
+from datasets import load_dataset
+ds = load_dataset("nmixx-fin/opensource_korean_finance_datasets")
+```
+또는
+```bash
+huggingface-cli download nmixx-fin/opensource_korean_finance_datasets --repo-type dataset
+```
+
+#### 활용 방안
+- **사전학습(Continual Pretraining)**: 502k 규모 금융 도메인 텍스트로 도메인 적응
+- **SFT 데이터 소스**: 텍스트에서 instruction 쌍 자동 생성 가능
+- **RAG 인덱싱**: 금융 문서 검색 시스템 구축용
+
+#### 주의사항
+- 혼합 라이선스이므로 상업적 이용 전 출처별 라이선스 검토 필수
+- 합성 데이터 포함 여부 확인 후 학습 파이프라인 분리 권장
+
+---
+
+### 🥈 #2. `nmixx-fin/twice_kr_finance_news_summ`
+
+**우선순위: 9/10**
+
+#### 개요
+- **HuggingFace**: https://huggingface.co/datasets/nmixx-fin/twice_kr_finance_news_summ
+- **샘플수**: ~54,700행
+- **라이선스**: 오픈소스
+- **업데이트**: 2025년 1월
+
+#### 내용 구성
+한국 금융뉴스 기사 → 한 문장 요약 쌍. 품질 레이블 포함:
+- `article`: 전문 금융기사 (항만공사·POSCO·지자체 경제뉴스 등)
+- `summary`: 한 문장 요약
+- `label`: 품질 지표 (0=저품질, 1=고품질)
+
+#### 다운로드 방법
+```python
+from datasets import load_dataset
+ds = load_dataset("nmixx-fin/twice_kr_finance_news_summ")
+# label=1만 필터링 권장
+ds_clean = ds.filter(lambda x: x['label'] == 1)
+```
+
+#### 활용 방안
+- **요약 SFT**: 금융뉴스 요약 능력 특화 파인튜닝
+- **instruction 변환**: "다음 금융기사를 한 문장으로 요약하시오" 포맷으로 변환
+- **품질 필터**: `label=1` 기준으로 고품질 서브셋 추출 (~수만 샘플)
+
+#### 주의사항
+- 뉴스 원문의 저작권 확인 필요 (언론사별 상이)
+- `label=0` 데이터는 학습 전 제거 권장
+
+---
+
+### 🥉 #3. `nayohan/Sujet-Finance-Instruct-177k-ko`
+
+**우선순위: 9/10**
+
+#### 개요
+- **HuggingFace**: https://huggingface.co/datasets/nayohan/Sujet-Finance-Instruct-177k-ko
+- **샘플수**: 177,000행
+- **라이선스**: Apache 2.0 추정 (원본 Sujet-Finance-Instruct 기반)
+- **업데이트**: 2024년
+
+#### 내용 구성
+Finnish 금융뉴스 코퍼스(PhinsAFN)를 한국어로 번역·변환한 감성분석 instruction 데이터:
+- `instruction`: 한국어 금융뉴스 문장
+- `output`: 감성 레이블 (0=부정, 1=중립, 2=긍정, 3=강한긍정 추정)
+- `source`: 뉴스 출처
+
+#### 컬럼 예시
+```
+{"instruction": "애플 주가가 폭락하면서 나스닥이 하락했다.", "output": "부정", "label": 0}
+```
+
+#### 다운로드 방법
+```python
+from datasets import load_dataset
+ds = load_dataset("nayohan/Sujet-Finance-Instruct-177k-ko")
+```
+
+#### 활용 방안
+- **감성분석 SFT**: 금융텍스트 감성분류 특화 파인튜닝
+- **instruction 다양화**: 감성분석 외 다른 태스크로 재포맷 가능
+- **대규모 SFT 베이스**: 177k 규모로 instruction-following 능력 강화
+
+#### 주의사항
+- 번역 품질 불균일 가능 (자동번역 포함)
+- Finnish 금융 뉴스 기반이므로 한국 금융 특화 표현보다는 글로벌 금융 뉴스 중심
+- 원본 라이선스(Apache 2.0) 확인 권장
+
+---
+
+## 추가 권장 수집 액션
+
+### 즉시 실행 가능
+1. **DART API 크롤링**: `dart.fscr.or.kr` API Key 발급 → 최근 5년 사업보고서 전문 수집 (수십만 문서)
+2. **한국은행 통화정책 보고서**: BOK 웹사이트에서 PDF 다운로드 → 텍스트 추출
+3. **법제처 금융법령**: 공공저작물로 자유 이용 가능
+
+### 중기 수집 권장
+4. **AI-Hub 금융 데이터**: 회원가입 후 신청 (비상업용 연구 라이선스)
+5. **증권사 리서치 리포트**: 네이버 증권·한국IR협의회 등에서 공개 PDF 수집
+6. **한국경제·매일경제 뉴스**: RSS 또는 공개 아카이브 크롤링
+
+---
+
+## 요약 및 학습 전략 제안
+
+### 우선순위별 활용 로드맵
+
+| 단계 | 데이터셋 | 목적 |
+|------|---------|------|
+| 1단계 (사전학습) | `nmixx-fin/opensource_korean_finance_datasets` (502k) | 금융 도메인 언어 패턴 학습 |
+| 2단계 (SFT-요약) | `nmixx-fin/twice_kr_finance_news_summ` (54k, label=1) | 뉴스 요약 능력 |
+| 2단계 (SFT-감성) | `nayohan/Sujet-Finance-Instruct-177k-ko` (177k) | 감성분석·instruction-following |
+| 3단계 (SFT-공시) | `nmixx-fin/synthetic_dart_report_korean` (5k) | 공시 문서 이해·요약 |
+| 3단계 (RAG준비) | `nmixx-fin/twice_bok_dict_retrieval` + `twice_fss_dict_retrieval` | 금융 용어 검색 |
+| 보완 | DART API 직접 수집 | 대규모 실제 공시 문서 |
+
+### 총 예상 학습 데이터 규모
+- **즉시 활용 가능**: 약 **800k 샘플** (HuggingFace 공개 데이터 합산)
+- **추가 수집 시**: DART 공시 수십만 문서 추가 가능
+
+---
+
+*조사자: survey-finance 서브에이전트 | 모델: claude-sonnet-4-6 | 조사일: 2026-02-26*
--- a/source/eval/domain_survey/government.md
+++ b/source/eval/domain_survey/government.md
@@ -0,0 +1,399 @@
+# 한국어 정부/공공/행정/특허 도메인 데이터 전수 조사
+
+> 작성일: 2026-02-27  
+> 목적: 한국어 LLM 3B 모델 사전학습/파인튜닝용 공공·정부·법률·특허 도메인 데이터셋 조사
+
+---
+
+## 1. 전체 목록 테이블
+
+### 1-1. AI-Hub (aihub.or.kr) 데이터셋
+
+| # | 데이터셋 명 | DataSetSn | 크기/규모 | 라이선스 | 내용 유형 | 다운로드 방법 | 한국어% | 우선순위 |
+|---|------------|-----------|----------|----------|-----------|--------------|---------|---------|
+| 1 | 국가기록물 대상 초거대 AI 학습 말뭉치 데이터 | 71788 | **원천 4억 토큰** / QA 50,000건 / 유해질의 10,560건 | 공공누리 (NIA) | 정부간행물, 백서, 연감, 사업보고서, 연구보고서 등 | API 다운로드 (승인 후) | ~100% | **10** |
+| 2 | 국회 회의록 기반 지식 검색 데이터 | 71795 | 회의록 11,827건 / QA쌍 44,033건 | 공공누리 (NIA) | 국회 본회의·상임위·소위·국감 회의록 (15~21대) | API 다운로드 (승인 후) | ~100% | **9** |
+| 3 | 국가중점기술 대응 특허 데이터 | 71739 | **619,844건** (특허명세서+분류 라벨) | 공공누리 (NIA) | 특허 명칭/요약/청구항 + 기술분류 레이블 | API 다운로드 (승인 후) | ~95% | **9** |
+| 4 | 법률/규정 텍스트 분석 (판례 고도화) | 71723 | 원문 25만건 / 라벨링 66,511건 + QA 20,160건 | 공공누리 (NIA) | 대법원·하급심·심결례 판결문, QA, 요약, 키워드 | API 다운로드 (승인 후) | ~100% | **9** |
+| 5 | 공공 민원 상담 LLM 사전학습·IT 데이터 | 71852 | 원천 10,182건 / 가공 124,717건 | 공공누리 (NIA) | 중앙/지방행정기관 민원 상담 (분류·요약·QA) | API 다운로드 (승인 후) | ~100% | **8** |
+| 6 | 민간 민원 상담 LLM 사전학습·IT 데이터 | 71844 | 원천 ~10K건 / 가공 ~120K건 | 공공누리 (NIA) | 민간 민원 상담 (분류·요약·QA) | API 다운로드 (승인 후) | ~100% | **7** |
+| 7 | 법률안 검토 보고서 요약 데이터 | 71794 | 다운로드 675건 (조회 22K) | 공공누리 (NIA) | 국회 법률안 검토보고서 요약 | API 다운로드 (승인 후) | ~100% | **7** |
+| 8 | 지식재산권법 LLM 사전학습·IT 데이터 | 71843 | ~720MB | 공공누리 (NIA) | 지식재산권법 조문, QA, 요약 | API 다운로드 (승인 후) | ~100% | **7** |
+| 9 | 민사법 LLM 사전학습·IT 데이터 | 71841 | ~785MB | 공공누리 (NIA) | 민사법 조문, QA, 요약 | API 다운로드 (승인 후) | ~100% | **7** |
+| 10 | 컴플라이언스 데이터 | 71807 | ~1.7GB | 공공누리 (NIA) | 기업 규정·컴플라이언스 텍스트 | API 다운로드 (승인 후) | ~95% | **6** |
+
+### 1-2. HuggingFace Hub 데이터셋
+
+| # | Repo ID | 크기/규모 | 라이선스 | 내용 유형 | 다운로드 방법 | 한국어% | 우선순위 |
+|---|---------|----------|----------|-----------|--------------|---------|---------|
+| 11 | `smhilee/korean-law-dataset` | 중규모 (CSV+JSONL) | 미표기 | 법령 조문 전체 (법령명/공포일/시행일/소관부처/조문내용/항/호) | `datasets` 라이브러리 | 100% | **8** |
+| 12 | `joonhok-exo-ai/korean_law_open_data_precedents` | 10K~100K건 | OpenRAIL | 법제처 판례 (2023년 기준 전체) | `datasets` 라이브러리 | 100% | **8** |
+| 13 | `ducut91/korean-court-judgments` | **163,546건** | MIT | 국가법령정보공동활용서비스 법원 판결문 (GPT-4o-mini 요약 포함) | `datasets` 라이브러리 | 100% | **8** |
+| 14 | `ducut91/korean-constitutional-court-decisions` | **35,007건** | MIT | 헌법재판소 결정문 (15개 컬럼 구조화) | `datasets` 라이브러리 | 100% | **7** |
+| 15 | `Rootpye/korean-lawdata1~4` | 4개 시리즈 (zip) | Apache-2.0 | 한국 법령 데이터 (상세 불명) | HF 직접 다운로드 | 100% | **6** |
+| 16 | `mosshoon/korean-laws` | 1K~10K건 | CC-BY-4.0 | 2025.08 기준 law.go.kr 법령 수집 | `datasets` 라이브러리 | 100% | **6** |
+| 17 | `DistressedModel/korean_law` | 100K~1M건 | 미표기 | 한국 법률 텍스트 (상세 불명) | `datasets` 라이브러리 | 100% | **5** |
+| 18 | `wisenut-nlp-team/law_korean` | 100K~1M건 | 미표기 | 한국 법률 (상세 불명) | `datasets` 라이브러리 | 100% | **5** |
+| 19 | `xaikorea0/taxia-korean-tax-laws` | 소규모 | Apache-2.0 | 한국 세법 조문 | `datasets` 라이브러리 | 100% | **4** |
+| 20 | `Jsoo/korean-fair-trade-law-paragraphs-org-v1` | 1K~10K건 | 미표기 | 공정거래법 조항 | `datasets` 라이브러리 | 100% | **4** |
+| 21 | `91veMe4Plus-Project/korean_local_government_ordinances` | 소규모 | MIT | 지방자치단체 조례 | `datasets` 라이브러리 | 100% | **5** |
+
+### 1-3. 국가 공식 포털 (직접 수집 필요)
+
+| # | 소스 | URL | 크기 추정 | 라이선스 | 내용 유형 | 다운로드 방법 | 우선순위 |
+|---|------|-----|----------|----------|-----------|--------------|---------|
+| 22 | 법제처 국가법령정보센터 (Open API) | https://open.law.go.kr | 현행법령 5,000+ / 판례 수십만건 | 공공누리 1유형 | 법령 조문, 판례, 행정규칙 | REST API (인증키 필요) | **9** |
+| 23 | 국회 의안정보시스템 회의록 | https://likms.assembly.go.kr | 수십만 건 | 공공누리 | 국회 의사록 (PDF/HWP) | 웹 크롤링 / Open API | **8** |
+| 24 | KIPRIS 특허 공개 데이터 | https://www.kipris.or.kr | 수백만 건 | 공공누리 1유형 | 한국 특허·실용신안 명세서 | KIPRIS Plus API / 대용량 다운로드 | **9** |
+| 25 | 공공데이터포털 법령·행정 텍스트 | https://www.data.go.kr | 다양 | 공공누리 | 행정처분, 고시, 공고 등 | API / 파일 다운로드 | **7** |
+| 26 | 감사원 감사보고서 | https://www.bai.go.kr | ~수천건 | 공공누리 | 감사결과보고서, 처분요구 | 웹 크롤링 / PDF | **5** |
+| 27 | 통계청 통계보고서 | https://kostat.go.kr | 다양 | 공공누리 | 각종 통계조사 보고서 | 웹 크롤링 / API | **4** |
+| 28 | e-나라지표 | https://www.index.go.kr | 다양 | 공공누리 | 국가 주요 지표 해설 텍스트 | 웹 크롤링 | **3** |
+| 29 | 식품의약품안전처 공개 데이터 | https://www.mfds.go.kr | 중규모 | 공공누리 | 식품·의약품 허가심사보고서 | API / 파일 다운로드 | **4** |
+
+---
+
+## 2. Top 3 상세 분석
+
+### 🥇 #1: 국가기록물 대상 초거대 AI 학습 말뭉치 데이터
+**[AI-Hub DataSetSn: 71788]**  
+URL: https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71788
+
+#### 개요
+| 항목 | 내용 |
+|------|------|
+| 구축연도 | 2023 (최종개방: 2024-10) |
+| 원천규모 | 원시데이터 **4억 토큰** (약 3억 토큰 말뭉치 정제) |
+| 라벨링규모 | QA 50,000건 (의문사형 30K + Yes/No 20K) + 유해질의 10,560건 |
+| 라이선스 | 공공누리 (과기정통부/NIA) |
+| 형식 | JSON |
+| 출처 | 국가기록원 정부간행물 (연감·백서·법규집·연구조사보고서·기관지 등) |
+
+#### 데이터 구성
+- **문서 유형별**: 연구조사보고서(12,600건), 기관지(8,367건), 사업보고서(7,397건), 교육자료(1,633건), 연감·백서(1,305건), 회의자료(592건), 법규집(271건), 사료·연혁집(9건) 등
+- **주제별**: 행정(7,079건), 경제(4,659건), 정치(2,742건), 사회(2,141건), 기타(15,593건)
+
+#### LLM 학습 활용 포인트
+- **사전학습용 말뭉치**: 정부 문서 3억 토큰 — 공공/행정 도메인 지식 주입에 최적
+- **Instruction Tuning용**: 의문사형·Yes/No 질의응답 50,000건
+- 필드: `source_id`, `title`, `publisher_company`, `category_main`, `category_middle`, `collection_name`, `issue_date`, `corpus`
+
+#### 다운로드 방법
+```bash
+# 1. AI-Hub 회원가입 + 내국인 인증
+# 2. 데이터 신청 페이지에서 "다운로드" 클릭 → 승인 대기 (보통 즉시~수일)
+# 3. 승인 후 API 다운로드:
+aihubshell -mode d -datasetkey 71788
+
+# 분할 압축 병합:
+find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
+unzip 파일명.zip
+```
+
+#### 품질 평가
+- 한국어 순도: ~100% (정부 공식 문서)
+- 도메인 다양성: 행정·정치·경제·사회·교육 포함
+- LLM 학습 적합성: ★★★★★ (사전학습 + SFT 모두 가능)
+
+---
+
+### 🥈 #2: 국가중점기술 대응 특허 데이터
+**[AI-Hub DataSetSn: 71739]**  
+URL: https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71739
+
+#### 개요
+| 항목 | 내용 |
+|------|------|
+| 구축연도 | 2023 (최종개방: 2024-10) |
+| 규모 | **619,844건** (특허명세서 + 기술분류 라벨) |
+| 라이선스 | 공공누리 (과기정통부/NIA) |
+| 형식 | JSON |
+| 출처 | KIPRIS 특허 DB |
+
+#### 데이터 구성
+- **특허 필드**: 출원번호, 발명명칭, 요약, 청구항, IPC 분류, 출원인, 발명자, 등록일
+- **분류 필드**: 국가중점기술 대·중·소분류 (생명/보건, ICT/SW, 에너지, 건설, 환경, 기계, 농수산, 우주, 소재 등 10개 대분류)
+- 619,844건 전체에 기술분류 라벨 부여 — 분류 학습 + 사전학습 텍스트 동시 활용 가능
+
+#### LLM 학습 활용 포인트
+- **특허 명세서 텍스트** (요약 + 청구항): 한국어 기술 도메인 전문 어휘 학습
+- **기술분류 태스크**: 분류 파인튜닝, 특허 분류 QA 생성 가능
+- 예시: `발명명칭: 차량의 회생 제동 장치 및 그 방법 / 요약: [기술 설명] / 청구항: [청구 내용]`
+
+#### 데이터 포맷
+```json
+{
+  "updateDate": "2023-...",
+  "documentId": "KR20120011990b1",
+  "country_code": "KR",
+  "application_number": "KR 2012-0011990",
+  "document_type": "등록",
+  "invention_title": "차량의 회생 제동 장치 및 그 방법",
+  "abstract": "본 명세서는 차량의 물리 브레이크 사용을 최소화...",
+  "claims": "차량의 속도를 검출하는 속도 검출부와...",
+  "Lno": "F", "Ltext": "기계_제조",
+  "Mno": "FC", "Mtext": "자동차",
+  "Sno": "FCA", "Stext": "스마트자동차기술"
+}
+```
+
+---
+
+### 🥉 #3: 법률/규정 텍스트 분석 데이터 (판례 고도화)
+**[AI-Hub DataSetSn: 71723]**  
+URL: https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71723
+
+#### 개요
+| 항목 | 내용 |
+|------|------|
+| 구축연도 | 2023 (최종개방: 2024-12) |
+| 규모 | 원문 약 25만건 → 라벨링 **66,511건** + QA 20,160건 |
+| 라이선스 | 공공누리 (과기정통부/NIA) |
+| 형식 | TXT(원문) + JSON(라벨) |
+| 출처 | 대법원, 국회, 법제처 법률정보서비스 |
+
+#### 데이터 구성
+- **상황별 판례**: 민사(17K), 행정(21K), 형사(13K), 근로자(3K), 특허/저작권(3K), 금융조세(3K) 등
+- **심판 유형**: 대법원 판례(40K) + 하급심(10K) + 심결례(16K)
+- **라벨링 내용**: 추출요약, Q&A(판시사항 기반), 키워드, 참조법령, 참조판례, 카테고리
+- **QA 데이터셋**: 법률 전문가 작성 20,160건 (질문+답변+해설+참조법령)
+
+#### LLM 학습 활용 포인트
+- 판결문 요약 (BART fine-tuning) / 판결 예측 (BERT fine-tuning) 모두 지원
+- 청탁금지법, 공직자윤리법 등 행정 도메인 QA 포함
+- 실제 법원 텍스트 — 법률 한국어 어휘 학습에 최적
+
+---
+
+## 3. 공공데이터 다운로드 가이드
+
+### 3-1. AI-Hub (aihub.or.kr) — 가장 핵심 소스
+
+```
+URL: https://aihub.or.kr
+회원가입 조건: 내국인만 신청 가능 (실명인증)
+```
+
+#### 다운로드 절차
+```
+1. 회원가입 → 로그인
+2. 데이터 찾기 → 원하는 데이터셋 검색
+3. 데이터셋 페이지에서 "다운로드" 버튼 클릭
+4. 신청서 작성 (활용목적, 소속기관 등)
+5. 승인 완료 후 API 키 발급
+6. aihubshell CLI로 다운로드
+```
+
+#### aihubshell CLI 사용법
+```bash
+# 설치
+pip install aihubshell
+
+# 로그인
+aihubshell -mode login -usr [아이디] -pwd [비밀번호]
+
+# 데이터셋 다운로드 (datasetkey = DataSetSn)
+aihubshell -mode d -datasetkey 71788   # 국가기록물 말뭉치
+aihubshell -mode d -datasetkey 71795   # 국회 회의록
+aihubshell -mode d -datasetkey 71739   # 특허 데이터
+aihubshell -mode d -datasetkey 71723   # 판례 데이터
+aihubshell -mode d -datasetkey 71852   # 공공 민원 상담
+
+# 분할 압축 병합 (리눅스 필수)
+find "다운로드폴더" -name "*.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > output.zip
+unzip output.zip
+```
+
+---
+
+### 3-2. 법제처 국가법령정보 Open API
+
+```
+URL: https://open.law.go.kr
+인증키: 무료 발급 (open.law.go.kr 회원가입)
+라이선스: 공공누리 1유형 (자유 이용, 출처 표시)
+```
+
+#### 주요 API 엔드포인트
+```bash
+BASE_URL="https://www.law.go.kr/DRF"
+
+# 현행 법령 목록
+curl "${BASE_URL}/lawSearch.do?OC=your_key&target=law&type=JSON&query=행정"
+
+# 특정 법령 조문 전문
+curl "${BASE_URL}/lawService.do?OC=your_key&target=law&ID=법령일련번호&type=JSON"
+
+# 판례 검색
+curl "${BASE_URL}/lawSearch.do?OC=your_key&target=prec&type=JSON&query=행정처분"
+
+# 판례 전문 조회
+curl "${BASE_URL}/lawService.do?OC=your_key&target=prec&ID=판례일련번호&type=JSON"
+
+# 행정규칙 검색
+curl "${BASE_URL}/lawSearch.do?OC=your_key&target=admrul&type=JSON"
+```
+
+#### Python 예시
+```python
+import requests
+import json
+
+API_KEY = "your_api_key"
+BASE = "https://www.law.go.kr/DRF"
+
+def get_law_full_text(law_id):
+    url = f"{BASE}/lawService.do"
+    params = {"OC": API_KEY, "target": "law", "ID": law_id, "type": "JSON"}
+    resp = requests.get(url, params=params)
+    return resp.json()
+
+def get_precedents(query, page=1):
+    url = f"{BASE}/lawSearch.do"
+    params = {"OC": API_KEY, "target": "prec", "type": "JSON",
+              "query": query, "page": page, "display": 20}
+    resp = requests.get(url, params=params)
+    return resp.json()
+```
+
+---
+
+### 3-3. KIPRIS 특허 데이터
+
+```
+URL: https://www.kipris.or.kr
+API: https://plus.kipris.or.kr (KIPRIS Plus)
+라이선스: 공공누리 1유형
+```
+
+#### KIPRIS Plus API 사용법
+```bash
+# 특허 검색 (출원인: 삼성)
+curl "http://plus.kipris.or.kr/openapi/rest/patUtiModInfoSearchSevice/applicantNameSearch" \
+  -G -d "applicantName=삼성전자" \
+  -d "ServiceKey=your_key" \
+  -d "pageNo=1" \
+  -d "numOfRows=100" \
+  -d "AbstractEng=true" \
+  -d "AbstractKor=true"
+
+# 특허 전문 (출원번호로 조회)
+curl "http://plus.kipris.or.kr/openapi/rest/patUtiModInfoSearchSevice/applicationNumberSearchInfo" \
+  -G -d "applicationNumber=1020120011990" \
+  -d "ServiceKey=your_key" \
+  -d "claimInfo=true" \   # 청구항
+  -d "drawingInfo=true"
+```
+
+#### 대용량 수집 전략
+```python
+# 연도·기술분류별 전체 수집
+# IPC 대분류: A(생활필수품) B(처리조작) C(화학) D(섬유) E(건설) F(기계) G(물리) H(전기)
+
+import time
+import requests
+
+def collect_patents_by_ipc(ipc_code, start_year=2000, end_year=2024):
+    """IPC 코드별 특허 수집"""
+    all_patents = []
+    for year in range(start_year, end_year + 1):
+        page = 1
+        while True:
+            # KIPRIS Plus API 호출
+            resp = requests.get(
+                "http://plus.kipris.or.kr/openapi/rest/patUtiModInfoSearchSevice/ipcCpcSearchInfo",
+                params={
+                    "ipcNumber": ipc_code,
+                    "startDate": f"{year}0101",
+                    "endDate": f"{year}1231",
+                    "pageNo": page,
+                    "numOfRows": 100,
+                    "ServiceKey": API_KEY,
+                    "AbstractKor": "true",
+                    "claimInfo": "true"
+                }
+            )
+            data = resp.json()
+            patents = data.get("response", {}).get("body", {}).get("items", [])
+            if not patents:
+                break
+            all_patents.extend(patents)
+            page += 1
+            time.sleep(0.5)  # Rate limiting
+    return all_patents
+```
+
+---
+
+### 3-4. 국회 의안정보시스템 회의록
+
+```
+URL: https://likms.assembly.go.kr
+Open API: https://open.assembly.go.kr
+라이선스: 공공누리
+```
+
+#### Open API 사용법
+```python
+import requests
+
+def get_assembly_minutes(era, committee, page=1):
+    """국회 회의록 검색"""
+    url = "https://open.assembly.go.kr/portal/openapi/NPRLAPASTABMEETX"
+    params = {
+        "KEY": "your_api_key",
+        "Type": "json",
+        "pIndex": page,
+        "pSize": 100,
+        "DAESU": era,        # 대 (21, 22 등)
+        "CMTEE_NM": committee # 위원회 명
+    }
+    return requests.get(url, params=params).json()
+
+# 전체 회의록 URL 패턴
+# http://likms.assembly.go.kr/record/mhs-60-010.do?conferNum=XXXXX
+```
+
+---
+
+## 4. 전략적 수집 권고사항
+
+### 우선순위 Matrix
+
+| 우선순위 | 데이터셋 | 이유 |
+|---------|---------|------|
+| 🔴 즉시 (Priority 9-10) | AI-Hub 71788 (국가기록물 4억 토큰) | 최대 규모 공공 텍스트, 즉시 사전학습 가능 |
+| 🔴 즉시 (Priority 9-10) | AI-Hub 71739 (특허 62만건) | 기술 도메인 전문어 학습, 대규모 |
+| 🔴 즉시 (Priority 9-10) | 법제처 Open API (법령+판례) | 무료 무제한, 즉시 수집 가능 |
+| 🟡 단기 (Priority 7-8) | AI-Hub 71723 (판례 고도화) | 법률 QA/요약 데이터 최우선 |
+| 🟡 단기 (Priority 7-8) | AI-Hub 71795 (국회 회의록) | 입법 도메인, 정치 어휘 |
+| 🟡 단기 (Priority 7-8) | HF `ducut91/korean-court-judgments` (163K) | 즉시 다운로드, 추가 라벨 없이 사용 |
+| 🟡 단기 (Priority 7-8) | HF `smhilee/korean-law-dataset` | 법령 전체 조문 구조화, 즉시 사용 |
+| 🟢 중기 (Priority 4-6) | KIPRIS Plus API 자체 수집 | 대용량이나 크롤링 필요 |
+| 🟢 중기 (Priority 4-6) | 국회 회의록 Open API 자체 수집 | AI-Hub 외 원문 보완 |
+
+### 추정 총 수집 가능 규모
+
+| 소스 | 추정 크기 |
+|------|---------|
+| AI-Hub 공공 데이터 (4개 주요셋) | ~5억 토큰 (원천 기준) |
+| 법제처 API (법령+판례 전체) | ~2억 토큰 |
+| KIPRIS 특허 명세서 (AI-Hub 포함) | ~5억 토큰 |
+| HuggingFace 법률 데이터셋 | ~1억 토큰 |
+| **합계** | **~13억 토큰** |
+
+---
+
+## 5. 주의사항 및 제약
+
+1. **AI-Hub 내국인 제한**: 외국 IP 또는 외국 법인은 신청 불가. VPN 우회도 규약 위반.
+2. **공공누리 라이선스**: 출처 표시 의무. 상업적 이용 가능 (1유형). 연구 목적 자유.
+3. **개인정보**: 민원 데이터 등 일부에 마스킹 처리 포함.
+4. **KIPRIS API 요청 제한**: 일 호출 횟수 제한 있음 (계정당 ~50,000 건/일). 대용량 수집 시 비즈니스 계정 필요.
+5. **AI-Hub 데이터 분할 압축**: 리눅스 환경에서 병합 필수. `aihubshell` CLI 사용 권장.
+6. **국회 Open API 인증키**: open.assembly.go.kr 에서 무료 발급.
+7. **법제처 API**: `OC` 파라미터에 영문 이메일 ID 사용 (별도 발급 불필요, 이메일로 바로 사용).
+
+---
+
+*조사 완료: 2026-02-27 | 데이터 소스: AI-Hub, HuggingFace Hub, 법제처, KIPRIS, 국회 Open API*
--- a/source/eval/domain_survey/legal.md
+++ b/source/eval/domain_survey/legal.md
@@ -0,0 +1,245 @@
+# 한국어 법률/판례/법령 도메인 데이터 전수 조사
+
+> 작성일: 2026-02-27  
+> 목적: 한국어 LLM 3B 모델 학습용 법률 도메인 데이터 확보 전략 수립  
+> 조사 범위: HuggingFace Hub, AI-Hub, law.go.kr, 대법원, GitHub
+
+---
+
+## 1. 전체 목록 테이블
+
+### 1-A. HuggingFace Hub 데이터셋
+
+| # | Repo ID | 다운로드수(월) | 크기/샘플수 | 라이선스 | 내용 | 상업적이용 | 우선순위 |
+|---|---------|--------------|------------|---------|------|-----------|---------|
+| 1 | `joonhok-exo-ai/korean_law_open_data_precedents` | 115 | 85,830건 (판결문 전문) | 공공저작물 | 대법원 판례 전문 (사건명, 선고일, 판결요지, 전문텍스트) | ✅ 가능 | **10** |
+| 2 | `DistressedModel/korean_law` | 15 | 475,000+ rows | Unknown | 법령 전문 (국가법령정보센터 기반, 지방자치단체 규칙 포함) | ❓ 확인필요 | **9** |
+| 3 | `LuminaMotionAI/korean-legal-dataset` | 69 | 160,000건 | Unknown | 헌법재판소 결정례 QA (질문+답변 쌍) | ❓ 확인필요 | **9** |
+| 4 | `smhilee/korean-law-dataset` | 7 | ~182건(샘플) | Unknown | 법령 전문 (조문 단위, 식품의약품안전처 등) | ❓ 확인필요 | **6** |
+| 5 | `mosshoon/korean-laws` | 21 | 5,500건 (법령 전체) | Unknown | 법령 전문 (국가법령정보센터 출처 명시, 조문 통합본) | ✅ 공공저작물 | **8** |
+| 6 | `wisenut-nlp-team/law_korean` | 4 | 233,000건 | Unknown | 계약서 전문 (비밀유지계약, 임대차 등 다양한 계약 유형) | ❓ 확인필요 | **8** |
+| 7 | `ohsuz/korean_law_edu` | 5 | 224,000건 | 요청필요 | 법률교육 데이터 (접근동의 필요) | ❓ gated | **5** |
+| 8 | `psyche/korean-law` | 4 | 5,410건 | Unknown | 법령 조문 단위 데이터 | ❓ 확인필요 | **5** |
+| 9 | `JusWis/korean-legal-terminology` | 25 | 17,500건 | Unknown | 법률 용어사전 (한자+한글+정의) | ❓ 확인필요 | **7** |
+| 10 | `paperw8/korean_legal_terminology` | 18 | 6,180건 | Unknown | 법률 용어 설명 데이터 | ❓ 확인필요 | **6** |
+| 11 | `paperw8/korean_legal_terminology_sharegpt` | 3 | 18,500건 | Unknown | 법률 용어 ShareGPT 포맷 변환본 | ❓ 확인필요 | **6** |
+| 12 | `neuralfoundry-coder/korean-legal-instruction-sample` | 30 | 5,470건 | Unknown | 법률 QA instruction (민사법, 형사법, 노동법 등 AI-Hub 기반) | ❓ 확인필요 | **7** |
+| 13 | `joonhok-exo-ai/korean_law_case_codes` | 6 | 199건 | 공공저작물 | 판례 사건코드 매핑 | ✅ 가능 | **3** |
+| 14 | `Rootpye/korean-lawdata1~4` | ~100 each | 미상 | Unknown | 법률 데이터 (4개 분할) | ❓ 확인필요 | **4** |
+| 15 | `xaikorea0/taxia-korean-tax-laws` | 15 | 미상 | Unknown | 세법 전문 | ❓ 확인필요 | **5** |
+| 16 | `MisileLab/korean-law-dataset` | 2 | 550건 | Unknown | 법률 데이터셋 | ❓ 확인필요 | **3** |
+| 17 | `abraham-diress/korean_land_mgmt_law_exams` | 3 | 766건 | Unknown | 토지관리법 시험문제 | ❓ 확인필요 | **2** |
+| 18 | `Jsoo/korean-fair-trade-law-paragraphs-org-v1` | 4 | 1,130건 | Unknown | 공정거래법 단락 단위 | ❓ 확인필요 | **3** |
+
+---
+
+### 1-B. AI-Hub 법률 카테고리 (11건, 회원가입 + 내국인 신청 필요)
+
+| # | 데이터명 | 데이터셋 번호 | 크기 | 내용 | 라이선스 | 상업적이용 | 우선순위 |
+|---|---------|------------|------|------|---------|-----------|---------|
+| 1 | **민사법 LLM 사전학습 및 Instruction Tuning 데이터** | 71841 | 100,130건 (판결문 91k, 법령, 심결례, 유권해석) | QA + 요약 태스크, JSON | AI-Hub 이용약관 | ❌ 비상업 | **10** |
+| 2 | **형사법 LLM 사전학습 및 Instruction Tuning 데이터** | 71848 | 원천 305만문장, 라벨링 100,000건 | QA + 요약, 판결문 83%, 법령 11%, 해석례 6% | AI-Hub 이용약관 | ❌ 비상업 | **10** |
+| 3 | **행정법 LLM 사전학습 및 Instruction Tuning 데이터** | 71847 | 256MB 수준 (라벨링 ~100k 추정) | 행정법 판결문, 법령, 심결례 | AI-Hub 이용약관 | ❌ 비상업 | **9** |
+| 4 | **지식재산권법 LLM 사전학습 및 Instruction Tuning 데이터** | 71843 | 720MB 수준 | 지식재산권 법령, 심결례 QA | AI-Hub 이용약관 | ❌ 비상업 | **8** |
+| 5 | **계약 외 법률 문서 서식 데이터** | 71835 | 10,299건 (라벨링 284,445건) | 소장, 고소장, 신청서, 준비서면 등 서식 | AI-Hub 이용약관 | ❌ 비상업 | **9** |
+| 6 | **계약 법률 문서 서식 데이터** | (목록에서 확인됨) | 미상 | 계약서 서식 (약 9,652건 추정) | AI-Hub 이용약관 | ❌ 비상업 | **9** |
+| 7-11 | 기타 법률 데이터 5건 | 미상 | 미상 | 법률 관련 추가 데이터셋 | AI-Hub 이용약관 | ❌ 비상업 | **6~8** |
+
+---
+
+### 1-C. 국가법령정보센터 (law.go.kr) 공개 API
+
+| 소스 | URL | 크기 | 내용 | 라이선스 | 상업적이용 | 우선순위 |
+|------|-----|------|------|---------|-----------|---------|
+| 법령정보 API | `https://open.law.go.kr/LSO/openApi.do` | 현행법령 5,000+개 | 법령 전문, 조문 단위 API | 공공저작물 자유이용허락 | ✅ 가능 | **10** |
+| 판례 검색 API | `https://open.law.go.kr` | 대법원·헌법재판소 판례 수십만건 | 판례 원문, 판시사항, 판결요지 | 공공저작물 | ✅ 가능 | **10** |
+| 행정규칙 | 동일 API | 수만건 | 훈령, 예규, 고시 등 | 공공저작물 | ✅ 가능 | **8** |
+
+> **특이사항**: law.go.kr API는 **API키 발급 필요** (무료, 회원가입). `joonhok-exo-ai/korean_law_open_data_precedents`는 이 API의 판례 데이터를 HuggingFace에 미러링한 것으로 추정.
+
+---
+
+### 1-D. 대법원 판례 공개 데이터
+
+| 소스 | URL | 크기 | 내용 | 라이선스 | 상업적이용 | 우선순위 |
+|------|-----|------|------|---------|-----------|---------|
+| 대법원 판례검색 | `https://www.law.go.kr/precSc.do` | 수십만건+ | 대법원, 하급심 판결문 | 공공저작물 | ✅ 가능 | **9** |
+| 종합법률정보 | `https://glaw.scourt.go.kr` | 대법원 판결 전문 | 민사·형사·행정 판결 | 공공저작물 | ✅ 가능 | **9** |
+
+---
+
+### 1-E. GitHub NLP 법률 데이터
+
+| 소스 | URL | 내용 | 우선순위 |
+|------|-----|------|---------|
+| joonhok-exo-ai 관련 repo | GitHub 검색 | 법률 데이터 수집 스크립트 | **5** |
+| duck3244/llama_finetune_project | GitHub | 한국 부동산 법률 QA | **3** |
+| AI-Hub 활용 NLP 연구들 | 다수 | 법률 NLP 벤치마크 및 파인튜닝 | **4** |
+
+---
+
+## 2. Top 3 데이터셋 상세
+
+---
+
+### 🥇 Top 1: AI-Hub 형사법 LLM 사전학습 및 Instruction Tuning 데이터
+
+| 항목 | 내용 |
+|------|------|
+| **Repo/URL** | https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71848 |
+| **크기** | 원천 3,050,000 문장 / 라벨링 100,000건 |
+| **용량** | ~235MB (라벨링 기준) |
+| **라이선스** | AI-Hub 이용약관 (비상업적 연구 허용) |
+| **내용** | 법령(11%), 판결문(83%), 해석례(6%), 결정례(0.03%). QA 59%, 요약 41% |
+| **데이터 출처** | 법제처 국가법령정보센터, 대한민국 법원, 국세청 직접 수집 |
+| **다운로드 방법** | AI-Hub 회원가입 → 데이터 신청(승인 1~3일) → CLI 다운로드 (내국인만 가능) |
+| **상업적 이용** | ❌ 불가 (연구·비상업 목적만) |
+| **포맷** | JSON (instruction/input/output 구조) |
+| **특이사항** | 원천 데이터(305만 문장)가 사전학습에도 활용 가능. Llama-3-Open-Ko-8B로 검증됨. |
+| **우선순위** | **10/10** |
+
+**샘플 데이터 구조:**
+```json
+{
+  "DocuType": "02",
+  "doc_id": "서울남부지방법원-2017고단2381",
+  "announce_date": "2017-10-19",
+  "casenames": "자동차관리법위반...",
+  "normalized_court": "서울남부지방법원",
+  "casetype": "criminal",
+  "taskType": "01(QA)",
+  "instruction": "...",
+  "input": "...",
+  "output": "..."
+}
+```
+
+---
+
+### 🥈 Top 2: joonhok-exo-ai/korean_law_open_data_precedents (HuggingFace)
+
+| 항목 | 내용 |
+|------|------|
+| **Repo ID** | `joonhok-exo-ai/korean_law_open_data_precedents` |
+| **URL** | https://huggingface.co/datasets/joonhok-exo-ai/korean_law_open_data_precedents |
+| **크기** | 85,830건 (train split 1개) |
+| **라이선스** | 공공저작물 자유이용허락 (대한민국 법원 공개 데이터) |
+| **내용** | 대법원 판례 전문. 필드: 판례정보일련번호, 사건명, 사건번호, 선고일자, 법원명, 사건종류(민사/형사/행정 등), 판결유형, 판시사항, 판결요지, 참조조문, 참조판례, **전문(최대 864k자)** |
+| **다운로드 방법** | `datasets.load_dataset("joonhok-exo-ai/korean_law_open_data_precedents")` |
+| **상업적 이용** | ✅ 가능 (공공저작물) |
+| **포맷** | Parquet (HF datasets) |
+| **특이사항** | 즉시 다운로드 가능. 판결 전문 포함으로 사전학습 코퍼스로 바로 활용 가능. 가장 오래된 판례는 1947년까지 거슬러 올라감. |
+| **우선순위** | **10/10** |
+
+**컬럼 목록:**
+```
+판례정보일련번호, 사건명, 사건번호, 선고일자, 선고, 법원명,
+사건종류명, 판결유형, 판시사항, 판결요지, 참조조문, 참조판례, 전문
+```
+
+---
+
+### 🥉 Top 3: law.go.kr 공개 API (법령 + 판례)
+
+| 항목 | 내용 |
+|------|------|
+| **URL** | https://open.law.go.kr/LSO/openApi.do |
+| **크기** | 현행법령 5,000+종 / 판례 수십만건 (지속 업데이트) |
+| **라이선스** | **공공저작물 자유이용허락** (공유·변형·상업적이용 모두 가능) |
+| **내용** | ① 법령API: 법령명, 조문번호, 조문제목, 조문내용, 별표/서식; ② 판례API: 사건번호, 선고일, 법원명, 판시사항, 판결요지, 전문 |
+| **다운로드 방법** | API키 신청 → REST API 호출 (XML/JSON 응답). 예: `https://www.law.go.kr/DRF/lawSearch.do?OC={API키}&target=prec&type=JSON` |
+| **상업적 이용** | ✅ 가능 |
+| **포맷** | JSON 또는 XML |
+| **특이사항** | **가장 공식적이고 완전한 소스**. 최신 법령 반영. `mosshoon/korean-laws`, `smhilee/korean-law-dataset`, `DistressedModel/korean_law` 등 HF 데이터셋 다수가 이 API 기반. API 일일 호출 제한 있음 (보통 1,000건/회 배치). |
+| **우선순위** | **10/10** |
+
+**활용 방법:**
+```python
+import requests
+url = "https://www.law.go.kr/DRF/lawSearch.do"
+params = {
+    "OC": "{발급받은_API키}",
+    "target": "prec",      # 판례
+    "type": "JSON",
+    "query": "",
+    "page": 1,
+    "display": 100
+}
+resp = requests.get(url, params=params)
+```
+
+---
+
+## 3. 추가 발굴 데이터셋
+
+### LuminaMotionAI/korean-legal-dataset (HF)
+- 160,000건의 헌법재판소 결정례 기반 QA
+- 질문-답변 쌍으로 Instruction Tuning에 최적
+- 라이선스 불명확하나 헌재 공개데이터 기반으로 추정
+- 우선순위: **8/10**
+
+### AI-Hub 민사법 LLM 데이터 (71841)
+- 100,130건 (판결문 91,285 + 법령 + 심결례 + 유권해석)
+- 형사법과 유사 구조, 민사 특화
+- 우선순위: **10/10**
+
+### AI-Hub 계약 외 법률 문서 서식 데이터 (71835)
+- 10,299건 계약 외 법률 서식 (소장, 신청서, 고소장, 준비서면 등)
+- 법률 문서 생성 태스크에 유용
+- 우선순위: **9/10**
+
+### wisenut-nlp-team/law_korean (HF)
+- 233,000건 계약서 전문
+- NDA, 용역계약, 임대차 등 다양한 계약 유형 포함
+- 계약서 생성/이해 능력 향상에 최적
+- 우선순위: **8/10**
+
+---
+
+## 4. 데이터 수집 우선순위 로드맵
+
+```
+Phase 1 (즉시, 상업적이용 가능):
+  ✅ joonhok-exo-ai/korean_law_open_data_precedents  → HF datasets 즉시 다운로드
+  ✅ law.go.kr API → API키 발급 후 전량 수집 (법령 + 판례)
+  ✅ mosshoon/korean-laws                             → HF datasets 즉시 다운로드
+
+Phase 2 (AI-Hub 신청, 비상업 연구용):
+  📋 형사법 LLM 데이터 (71848)    → 가장 큰 규모, 즉시 신청
+  📋 민사법 LLM 데이터 (71841)    → 두 번째로 많은 QA쌍
+  📋 계약 외 법률 문서 서식 (71835) → 법률 문서 서식 특화
+  📋 행정법 LLM 데이터 (71847)
+  📋 지식재산권법 데이터 (71843)
+
+Phase 3 (라이선스 확인 후):
+  ⚠️  DistressedModel/korean_law     → 475k rows, 라이선스 확인 필요
+  ⚠️  LuminaMotionAI/korean-legal-dataset → 160k QA, 라이선스 확인 필요
+  ⚠️  wisenut-nlp-team/law_korean    → 233k 계약서, 라이선스 확인 필요
+  ⚠️  JusWis/korean-legal-terminology → 17.5k 법률 용어사전
+```
+
+---
+
+## 5. 예상 총 데이터 볼륨
+
+| 카테고리 | 건수 | 예상 텍스트량 |
+|---------|------|-------------|
+| HF 즉시 활용 (상업용) | ~92k건 | ~5GB |
+| AI-Hub (비상업 연구) | ~500k건+ | ~20GB |
+| law.go.kr API 수집 | 법령 5k종 + 판례 수십만 | ~10GB |
+| HF 라이선스 확인 후 | ~700k건 | ~15GB |
+| **합계** | **~1.3M건+** | **~50GB** |
+
+---
+
+## 6. 권고사항
+
+1. **law.go.kr API 우선 수집**: 공공저작물로 상업적 이용 무제한. 판례+법령 완전 커버리지.
+2. **AI-Hub 신청 병행**: 비상업 연구용이지만 가장 고품질의 Instruction Tuning 데이터. 형사법/민사법 동시 신청.
+3. **HF 즉시 활용**: `joonhok-exo-ai/korean_law_open_data_precedents` 85k 판례는 오늘 당장 사용 가능.
+4. **라이선스 확인 필요**: `DistressedModel/korean_law`(475k), `LuminaMotionAI`(160k)는 라이선스 명확히 확인 후 사용.
+5. **계약서 데이터**: `wisenut-nlp-team/law_korean` 233k 계약서는 법률 도메인 다양성 확보에 핵심.
+
+---
+
+*조사일: 2026-02-27 | 조사자: survey-legal subagent*
--- a/source/eval/domain_survey/literature.md
+++ b/source/eval/domain_survey/literature.md
@@ -0,0 +1,243 @@
+# 한국어 소설/문학/창작/SNS 도메인 데이터 전수 조사
+
+> 조사일: 2026-02-27  
+> 조사자: survey-literature 서브에이전트  
+> 목적: 한국어 LLM 3B 모델 학습용 소설·문학·창작·SNS 데이터 발굴
+
+---
+
+## 1. 전체 데이터셋 목록
+
+### 1-A. HuggingFace Hub
+
+| # | Repo ID | 크기 | 라이선스 | 내용 | 다운로드 방법 | 저작권 | 우선순위 |
+|---|---------|------|---------|------|--------------|--------|--------|
+| 1 | `werty1248/Korean-1930-Novel-Scene-Summarize` | 12,108씬 (~10K-100K) | MIT | 1930년대 한국 퍼블릭도메인 소설 96편 씬분리+요약, Gemini-1.5-Flash 생성 | `load_dataset("werty1248/Korean-1930-Novel-Scene-Summarize")` | ✅ 퍼블릭도메인 기반 | **9** |
+| 2 | `minpeter/geulgyeol-blog-korean` | 1.75M 샘플 | 미명시 | 한국어 블로그 텍스트 (네이버 블로그 등 실생활 글) | `load_dataset("minpeter/geulgyeol-blog-korean")` | ⚠️ 불명확 | **8** |
+| 3 | `HAERAE-HUB/KOREAN-WEBTEXT` | 2.2B 토큰, 1M-10M 문서 | 미명시 | CC100+OSCAR+인터넷 수집 고품질 웹텍스트 (블로그/SNS 포함) | `load_dataset("HAERAE-HUB/KOREAN-WEBTEXT")` | ⚠️ 웹크롤 | **7** |
+| 4 | `KORMo-Team/korean-web-collection` | 대용량 | 미명시 | 최신 한국어 웹 컬렉션 (2025년) | `load_dataset("KORMo-Team/korean-web-collection")` | ⚠️ 불명확 | **5** |
+| 5 | `heegyu/namuwiki-extracted` | 571,308행, 2.19GB | CC BY-NC-SA 2.0 | 나무위키 2022-03 덤프 전처리버전, 소설/문화/창작 관련 항목 포함 | `load_dataset("heegyu/namuwiki-extracted")` | ⚠️ NC 제한 | **6** |
+| 6 | `heegyu/namuwiki` | 867,024행, 3GB | CC BY-NC-SA 2.0 | 나무위키 원본 덤프 (마크업 포함) | `load_dataset("heegyu/namuwiki")` | ⚠️ NC 제한 | **4** |
+| 7 | `heegyu/namuwiki-sentences` | 38,015,081 문장 | CC BY-NC-SA 2.0 | 나무위키 문장 단위 분리버전 | `load_dataset("heegyu/namuwiki-sentences")` | ⚠️ NC 제한 | **4** |
+| 8 | `LLM-SocialMedia/Korean-YouTube-Comment-Sentiment-Dataset` | 5,482 댓글 | Other | 유튜브 한국어 댓글 (구어체·이모지·줄임말) | `load_dataset("LLM-SocialMedia/Korean-YouTube-Comment-Sentiment-Dataset")` | ⚠️ 불명확 | **3** |
+| 9 | `minpeter/fineweb-2-edu-korean-raw` | 10M-100M 문서 | Apache? | FineWeb-2 한국어 서브셋 (웹텍스트 전체) | `load_dataset("minpeter/fineweb-2-edu-korean-raw")` | ⚠️ 웹크롤 | **6** |
+| 10 | `eliceai/korean-webtext-edu` | 1M-10M | MIT | KOREAN-WEBTEXT 교육가치 필터링본 | `load_dataset("eliceai/korean-webtext-edu")` | ⚠️ 웹크롤 | **5** |
+| 11 | `naem1023/augmented-namuwiki` | 1M-10M | Apache 2.0 | 나무위키 증강버전 | `load_dataset("naem1023/augmented-namuwiki")` | ⚠️ NC원본 기반 | **3** |
+
+### 1-B. AI-Hub (aihub.or.kr) — 회원가입+신청 필요
+
+| # | 데이터셋명 | 크기 | 내용 | URL | 저작권 | 우선순위 |
+|---|-----------|------|------|-----|--------|--------|
+| 1 | **대규모 구매도서 기반 한국어 말뭉치 데이터** (No.653) | 10억 어절, 18GB+ | 소설·에세이·경제·철학 등 다양한 도서 텍스트, 분야별 분포 (문학 포함) | [링크](https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=653) | 🟡 AI-Hub 이용약관 | **10** |
+| 2 | **다양한 문화콘텐츠 스토리 데이터** (No.71562) | 3,953편, 100,077 유닛, ~670MB | 영화·드라마·소설·만화 스토리 분석 데이터, 장르/인물/서사단계 라벨링 | [링크](https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71562) | 🟡 AI-Hub 이용약관 | **8** |
+| 3 | **동화 줄거리 생성 데이터** (No.71696) | 조회11,745, 다운555 | 동화 텍스트+줄거리 생성 | [링크](https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71696) | 🟡 AI-Hub 이용약관 | **6** |
+| 4 | **동화 이해도 테스트를 위한 질의응답쌍 생성 데이터** (No.71649) | 1M-10M | 동화 QA쌍 | [링크](https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71649) | 🟡 AI-Hub 이용약관 | **5** |
+| 5 | **문학작품 낭송·낭독 음성 데이터** (No.485) | 100GB+ (오디오+텍스트) | 시·소설·희곡·시나리오 낭독 (텍스트 스크립트 포함) | [링크](https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=485) | 🟡 AI-Hub 이용약관 | **7** |
+
+### 1-C. 공유마당 (gongu.copyright.or.kr) — 퍼블릭도메인 소설
+
+| # | 소스 | 크기 | 내용 | URL | 저작권 | 우선순위 |
+|---|------|------|------|-----|--------|--------|
+| 1 | **공유마당 어문 저작물** | 1,107,853건 | 저작권 만료 소설·수필·시 (김유정, 이효석, 현진건 등 1945년 이전 작가) | [링크](https://gongu.copyright.or.kr/gongu/wrt/wrtCl/listWrtText.do?menuNo=200019) | ✅ 퍼블릭도메인 | **9** |
+
+### 1-D. 국립국어원 모두의 말뭉치 (kli.korean.go.kr)
+
+| # | 데이터셋명 | 크기 | 내용 | URL | 저작권 | 우선순위 |
+|---|-----------|------|------|-----|--------|--------|
+| 1 | **모두의 말뭉치 (NIKL)** — 현대소설 말뭉치 | 미공개 (수백MB-수GB 추정) | 현대소설, 신문기사, 구어 등 다양한 장르 | [링크](https://kli.korean.go.kr/main/requestMain.do) | 🟡 국립국어원 이용약관 | **9** |
+
+### 1-E. 프로젝트 구텐베르크 (gutenberg.org)
+
+| # | 소스 | 내용 | URL | 우선순위 |
+|---|------|------|-----|--------|
+| 1 | Gutenberg 한국어 | **사실상 없음** — 영-한 사전 1권만 존재, 한국어 문학 작품 미수록 | [링크](https://www.gutenberg.org/browse/languages/ko) | **1** (스킵) |
+
+---
+
+## 2. Top 3 상세 분석
+
+---
+
+### 🥇 1위: AI-Hub — 대규모 구매도서 기반 한국어 말뭉치 (No.653)
+
+| 항목 | 내용 |
+|------|------|
+| **Repo/URL** | https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=653 |
+| **크기** | 10억 어절 (약 5~18GB 추정), 다운로드 2,515건 |
+| **라이선스** | AI-Hub 이용약관 (상업적 활용 가능하나 재배포 불가, 연구·학습 목적 OK) |
+| **내용** | 실제 구매된 도서 텍스트 말뭉치. 분야별 비율: 사회과학(28.4%), 철학(8.9%), 종교(4.8%), 역사(9.3%), 예술·체육(3.3%), **문학(9.5% 추정)** 등 다양. 소설·에세이·수필 포함. |
+| **구축년도** | 2021년 |
+| **다운로드** | 회원가입 → 데이터 신청 → 승인 후 API 다운로드 |
+| **저작권** | 🟡 AI-Hub 이용약관. 저작권 구매 도서 기반이므로 법적 안전성 높음. 단, 재배포 금지 |
+| **강점** | 실제 출판 도서 텍스트 → 고품질 문어체, 다양한 장르. 10억 어절 규모 최대 |
+| **약점** | 신청 승인 필요, 문학 비중이 전체의 일부 |
+| **우선순위** | **10/10** |
+
+**다운로드 방법:**
+```bash
+# 1. aihub.or.kr 회원가입
+# 2. 해당 데이터셋 페이지에서 신청
+# 3. 승인 완료 후 API 다운로드
+find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
+```
+
+---
+
+### 🥈 2위: 공유마당 — 퍼블릭도메인 한국 고전소설
+
+| 항목 | 내용 |
+|------|------|
+| **URL** | https://gongu.copyright.or.kr/gongu/wrt/wrtCl/listWrtText.do?menuNo=200019 |
+| **크기** | 1,107,853건 (어문 저작물 전체, 소설은 수천~수만건 추정) |
+| **라이선스** | ✅ **완전 퍼블릭도메인** — 상업적 활용·재배포 모두 자유 |
+| **내용** | 저작권 만료 소설: 김유정(봄봄, 동백꽃), 현진건(운수 좋은 날), 이효석(메밀꽃 필 무렵), 이상(날개) 등 1945년 이전 작가 작품 전부. 2021년 이전 공모전 수상작도 일부 포함 |
+| **다운로드** | 사이트에서 개별 파일 다운로드 또는 스크래핑 가능 |
+| **저작권** | ✅ 완전 클리어. LLM 학습용으로 가장 안전한 소스 |
+| **강점** | 법적 리스크 제로, 근대소설 문체 학습에 최적 |
+| **약점** | 현대(1945년 이후) 소설 없음, 텍스트 양이 상대적으로 적음, 고어체 포함 |
+| **우선순위** | **9/10** |
+
+**다운로드 방법:**
+```python
+# Python 크롤링 예시
+import requests
+from bs4 import BeautifulSoup
+
+base_url = "https://gongu.copyright.or.kr/gongu/wrt/wrtCl/listWrtText.do?menuNo=200019"
+# 페이지별 순회 후 개별 작품 텍스트 다운로드
+# 또는 werty1248/Korean-1930-Novel-Scene-Summarize에 이미 전처리된 버전 있음
+```
+
+---
+
+### 🥉 3위: HuggingFace — minpeter/geulgyeol-blog-korean
+
+| 항목 | 내용 |
+|------|------|
+| **Repo ID** | `minpeter/geulgyeol-blog-korean` |
+| **URL** | https://huggingface.co/datasets/minpeter/geulgyeol-blog-korean |
+| **크기** | 1.75M 샘플 (약 수GB 추정) |
+| **라이선스** | 미명시 (주의 필요) |
+| **내용** | 한국어 블로그 텍스트. 여행기, 일상기록, 레시피, 부동산, 음악 가사 번역 등 다양한 실생활 글쓰기. 구어체+문어체 혼합, SNS스러운 이모지/줄임말 포함 |
+| **구축년도** | 2025년 8월 |
+| **다운로드** | `load_dataset("minpeter/geulgyeol-blog-korean")` |
+| **저작권** | ⚠️ 네이버 블로그 수집 추정 → 라이선스 불명확. 학습용은 괜찮으나 재배포 주의 |
+| **강점** | 실제 한국인의 일상 글쓰기 스타일, 다양한 주제의 블로그 텍스트, 175만 샘플로 규모 큼 |
+| **약점** | 라이선스 미명시, 정보성 글 위주 (순수 창작 소설 아님) |
+| **우선순위** | **8/10** |
+
+**다운로드 방법:**
+```python
+from datasets import load_dataset
+ds = load_dataset("minpeter/geulgyeol-blog-korean")
+print(ds)
+```
+
+---
+
+## 3. 추가 유망 데이터셋 (보조)
+
+### HAERAE-HUB/KOREAN-WEBTEXT
+- **내용**: CC100+OSCAR+자체 수집 웹텍스트, 2.2B 토큰
+- **특징**: 블로그·커뮤니티·뉴스 등 다양한 웹소스 혼합, 고품질 필터링 적용
+- **용도**: 도메인 사전학습 데이터로 블로그/SNS 텍스트 포함
+- `load_dataset("HAERAE-HUB/KOREAN-WEBTEXT")`
+
+### heegyu/namuwiki-extracted  
+- **내용**: 한국 최대 위키 나무위키 (571K 문서, 2.19GB)
+- **특징**: 소설/영화/드라마/게임 등 문화콘텐츠 관련 항목 대량 포함, 한국어 백과 스타일
+- **라이선스**: CC BY-NC-SA 2.0 → **비상업적 사용만 가능**
+- `load_dataset("heegyu/namuwiki-extracted")`
+
+### werty1248/Korean-1930-Novel-Scene-Summarize
+- **내용**: 공유마당 소설 96편에서 Gemini로 씬 분리+요약 생성
+- **특징**: 원작은 퍼블릭도메인, 요약은 AI생성. MIT 라이선스
+- `load_dataset("werty1248/Korean-1930-Novel-Scene-Summarize")`
+
+### AI-Hub — 다양한 문화콘텐츠 스토리 데이터 (No.71562)
+- **내용**: 3,953편 (영화 40%, 드라마 41%, 소설 5.5%, 만화 12%), 100,077 스토리 유닛
+- **특징**: 줄거리+감정+서사단계 라벨링. 창작 AI 학습에 특화
+- **장르**: 드라마(38%), 멜로(24%), 스릴러(12%), 판타지(8%) 등
+
+### AI-Hub — 문학작품 낭송·낭독 음성 데이터 (No.485)
+- **내용**: 시·소설·희곡·시나리오 텍스트+음성 데이터
+- **특징**: 텍스트 스크립트 포함 → 순수 문학 텍스트로 활용 가능
+
+### 국립국어원 모두의 말뭉치 (NIKL)
+- **내용**: 현대소설, 신문, 구어, SNS 등 다양한 장르 말뭉치
+- **특징**: 국가 공인 품질, 정교한 형태소 분석 포함
+- **다운로드**: kli.korean.go.kr 신청 후 무료 다운로드
+
+---
+
+## 4. 저작권 주의사항
+
+### ⚠️ 핵심 원칙
+
+| 구분 | 기준 | 비고 |
+|------|------|------|
+| **퍼블릭도메인 한국 소설** | 작가 사망 후 70년 이상 경과 | 1945년 이전 작고 작가 작품 대부분 해당 |
+| **현대 소설** | 대부분 저작권 보호 중 | 1950~현재 작가 작품은 허가 없이 사용 불가 |
+| **나무위키** | CC BY-NC-SA 2.0 | **상업적 사용 불가, 동일 라이선스 공유 의무** |
+| **AI-Hub 데이터** | AI-Hub 이용약관 | 연구·학습 목적 OK, 재배포 금지 |
+| **웹크롤 데이터** | 사이트별 ToS 적용 | 학습용 사용은 일반적으로 허용 추세 |
+
+### 퍼블릭도메인 한국 소설 주요 작가 (1945년 이전 작고)
+- **김유정** (1908~1937): 동백꽃, 봄봄, 만무방 등
+- **이효석** (1907~1942): 메밀꽃 필 무렵, 분녀 등
+- **현진건** (1900~1943): 운수 좋은 날, 빈처 등
+- **이상** (1910~1937): 날개, 봉별기 등
+- **염상섭** (1897~1963): ⚠️ 1963년 작고 → **2034년까지 보호** (주의!)
+- **채만식** (1902~1950): ⚠️ 1950년 작고 → **2021년 만료** (현재 퍼블릭도메인)
+
+### 현대 소설 저작권 주의
+- 박경리 (1926~2008) — 2079년까지 보호
+- 이청준 (1939~2008) — 2079년까지 보호
+- 조정래, 황석영 등 생존 작가 — 모두 보호 중
+- **웹소설 (카카오/네이버 시리즈)** — 플랫폼과 작가 모두 저작권 보유
+
+### SNS/블로그 데이터
+- 네이버 블로그 크롤링 → 네이버 ToS 위반 가능성 있음
+- 학습 목적 사용은 법적 그레이존 (EU AI Act, 한국 저작권법 35조의5)
+- `minpeter/geulgyeol-blog-korean` 등은 라이선스 명시 없으므로 상업 배포 전 검토 필요
+
+---
+
+## 5. 권고 우선순위 요약
+
+```
+1. AI-Hub 대규모 구매도서 말뭉치 (10억 어절, 법적 안전)       ⭐⭐⭐⭐⭐ 10/10
+2. 공유마당 퍼블릭도메인 소설 (법적 제로리스크)               ⭐⭐⭐⭐⭐  9/10
+3. NIKL 모두의 말뭉치 현대소설 (국가 공인, 무료)              ⭐⭐⭐⭐⭐  9/10
+4. werty1248/Korean-1930-Novel-Scene-Summarize (MIT, 즉시)    ⭐⭐⭐⭐    9/10
+5. minpeter/geulgyeol-blog-korean (블로그 SNS, 175만)        ⭐⭐⭐⭐    8/10
+6. AI-Hub 문화콘텐츠 스토리 (창작 특화, 승인 필요)            ⭐⭐⭐⭐    8/10
+7. AI-Hub 문학작품 낭독 데이터 (텍스트 포함)                 ⭐⭐⭐⭐    7/10
+8. HAERAE-HUB/KOREAN-WEBTEXT (블로그/SNS 포함 웹텍스트)      ⭐⭐⭐     7/10
+9. heegyu/namuwiki-extracted (NC 라이선스 주의)              ⭐⭐⭐     6/10
+10. minpeter/fineweb-2-edu-korean-raw (대용량 웹크롤)        ⭐⭐⭐     6/10
+```
+
+---
+
+## 6. 즉시 실행 가능한 데이터 (추가 승인 불필요)
+
+```python
+from datasets import load_dataset
+
+# 1. 퍼블릭도메인 소설 씬 데이터 (MIT)
+ds1 = load_dataset("werty1248/Korean-1930-Novel-Scene-Summarize")
+
+# 2. 한국어 블로그 (175만 샘플)
+ds2 = load_dataset("minpeter/geulgyeol-blog-korean")
+
+# 3. 나무위키 (비상업 주의)
+ds3 = load_dataset("heegyu/namuwiki-extracted")
+
+# 4. 한국어 웹텍스트 (블로그+SNS 포함)
+ds4 = load_dataset("HAERAE-HUB/KOREAN-WEBTEXT")
+```
+
+---
+
+*조사 소스: HuggingFace Hub API, AI-Hub, 공유마당, 국립국어원, Project Gutenberg*
--- a/source/eval/domain_survey/medical.md
+++ b/source/eval/domain_survey/medical.md
@@ -0,0 +1,372 @@
+# 한국어 의료/의학/헬스케어 데이터셋 전수 조사
+
+> 작성일: 2026-02-27  
+> 목적: 한국어 LLM 3B 모델 학습용 공개 의료 데이터 전수 조사  
+> 조사 소스: HuggingFace Hub, AI-Hub, HIRA, NHIS, 공공데이터포털, GitHub
+
+---
+
+## 전체 목록 테이블
+
+| # | 데이터셋 ID / 소스 | 크기 | 라이선스 | 내용 분류 | 다운로드 방법 | 제한사항 | 우선순위 |
+|---|------------------|------|---------|---------|------------|---------|---------|
+| 1 | `sean0042/KorMedMCQA` (HF) | 7,469 문제 | CC BY-NC 2.0 | 한국 의료면허시험 MCQ (의사/간호사/약사/치과) | `datasets.load_dataset` | 비상업 | **9** |
+| 2 | `ChuGyouk/medical-o1-reasoning-SFT-Ko` (HF) | 25,700 행 | Apache 2.0 | 의학 추론 SFT (한국어 번역, CoT 포함) | `datasets.load_dataset` | 없음 | **9** |
+| 3 | `HAERAE-HUB/KMMLU` (HF) | 35,030 문제 (의학 서브셋 포함) | CC BY-ND 4.0 | 45개 분야 전문가 MCQ (의학 다수 포함) | `datasets.load_dataset` | 변경불가 | **8** |
+| 4 | `squarelike/ko_medical_chat` (HF) | 3,040 대화 | 없음(오픈) | 한국어 의사-환자 대화 (ChatDoctor 기반 번역) | `datasets.load_dataset` | 없음 | **8** |
+| 5 | `ChuGyouk/medical-reasoning-train-kormedmcqa` (HF) | ~5,000 행 | CC BY-NC | KorMedMCQA 기반 Gemini 추론 학습 데이터 | `datasets.load_dataset` | 비상업 | **8** |
+| 6 | `ih9511/medical-translation-en-ko` (HF) | 1M~10M 행 | 오픈 | 의학 논문/특허 EN↔KO 번역 (한국학술정보 기반) | `datasets.load_dataset` | 없음 | **7** |
+| 7 | `GrowingApple/orpo_kor_translated_medical` (HF) | 10K~100K 행 | 없음 | 한국어 의료 ORPO 학습 데이터 (번역) | `datasets.load_dataset` | 없음 | **7** |
+| 8 | `ChuGyouk/medical_questions_pairs_ko` (HF) | ~5,000 쌍 | unknown | 의료 질문 유사도 쌍 한국어 번역 | `datasets.load_dataset` | 불명확 | **6** |
+| 9 | `ChuGyouk/MMMLU-Ko-Medical` (HF) | 1K~10K | MIT | MMMLU 한국어 의료 서브셋 (clinical/genetics/anatomy 등) | `datasets.load_dataset` | 없음 | **6** |
+| 10 | `seongsubae/KorMedMCQA-V` (HF) | 1,534 문제 + 2,043 이미지 | CC BY-NC-SA 4.0 | 한국 의료면허시험 + 의료 이미지 (멀티모달) | `datasets.load_dataset` | 비상업 | **6** |
+| 11 | `helenko/medical_DPO_dataset_ko` (HF) | 1K~10K | 없음 | 의료 DPO 학습 데이터 한국어 | `datasets.load_dataset` | 없음 | **5** |
+| 12 | `hjkimsun/medical-dpo-ko` (HF) | 1K~10K | 없음 | 의료 DPO 데이터 한국어 | `datasets.load_dataset` | 없음 | **5** |
+| 13 | `Saxo/ko_medical_meadow_med_qa_options_...` (HF) | 10K~100K | Apache 2.0 | 한국어 MedQA 옵션 데이터 | `datasets.load_dataset` | 없음 | **5** |
+| 14 | `Nexdata/203_Hours_Korean_Medical...` (HF) | 203시간 음성 (샘플) | CC BY-ND 4.0 | 한국어 의료 엔티티 음성/전사 (샘플, 전체 유료) | 샘플만 무료 | 유료 전체 | **3** |
+| 15 | `LGAI-EXAONE/KMMLU-Redux` (HF) | 2,587 문제 | CC BY-NC-ND 4.0 | KMMLU 재구성 (오류 제거, 의학 포함) | gated(승인 필요) | 비상업+변경불가 | **6** |
+| 16 | `LGAI-EXAONE/KMMLU-Pro` (HF) | 2,822 문제 | CC BY-NC-ND 4.0 | 한국 전문직 면허 시험 (의사 포함) | gated(승인 필요) | 비상업+변경불가 | **7** |
+| 17 | AI-Hub 헬스케어 카테고리 전체 | **126개 데이터셋** | 공공누리/연구전용 | 의료 영상/임상/건강검진/의학 NLP 등 | 안심존+IRB 필수 | **IRB 심의 필수** | **8** (접근 어려움) |
+| 18 | HIRA 공개 데이터 (opendata.hira.or.kr) | 수십~수백만 건 | 공공누리 1유형 | 의료장비현황, 병의원현황, 건강보험 진료통계 등 | 직접 다운로드 | 없음 (통계 위주) | **3** |
+| 19 | NHIS 공개 데이터 (nhis.or.kr) | 수십만 건 | 공공누리 | 지역별 의료이용통계, 진료실적 현황 등 | 직접 다운로드 | 없음 (통계 위주) | **3** |
+| 20 | 공공데이터포털 의료 관련 (data.go.kr) | 4,406건 파일/API | 공공누리 | 전국의료기관현황, 응급의료기관, 의료영상정보 등 | 직접 다운로드/API | 없음 (구조 데이터) | **4** |
+| 21 | KoreaMed (synapse.koreamed.org) | 수십만 편 논문 초록 | 개별 저작권 | 한국 의학 저널 논문 초록 (영문/한문 혼재) | 웹 스크래핑 | 저작권 주의 | **5** |
+| 22 | PubMed 한국어 초록 | 수만 건 | PubMed OA | 한국어로 작성된 PubMed 초록 | PubMed API/NCBI FTP | 제한 없음 | **5** |
+
+---
+
+## 소스별 상세 분석
+
+### 1. HuggingFace Hub
+
+HuggingFace API (`/api/datasets?search=...`) 및 직접 URL 조회 결과, 한국어 의료 데이터셋은 **주로 번역 기반이거나 벤치마크 목적**의 소규모 데이터가 대부분이다.
+
+**주요 특징:**
+- 원시(native) 한국어 의료 데이터는 매우 드물다
+- 대부분 영어 의료 데이터(ChatDoctor, MedQA, HuatuoGPT 등)를 한국어로 번역한 것
+- 한국 의료면허시험 기반의 벤치마크(KorMedMCQA, KMMLU)가 가장 퀄리티가 높음
+
+**수집 기준:**
+- `ko_medical`, `medical korean`, `medical ko`, `KorMed`, `KMMLU` 등 검색어 사용
+- 총 20+ 쿼리 조회
+
+### 2. AI-Hub (aihub.or.kr)
+
+**헬스케어 카테고리: 총 126개 데이터셋** 보유 (2026-02-27 기준)
+
+- 대부분 의료 영상(MRI, CT, 병리 이미지) 데이터
+- NLP/텍스트 관련 데이터도 존재하나 **"안심존(Safe Zone)"** 접근 필수
+- 안심존: 인터넷 분리 환경에서만 분석 가능, 데이터 반출 불가
+- **IRB 심의 결과 통지서 + 승인된 연구계획서 필수**
+- 의료 데이터 특성상 직접 다운로드 불가 (개인정보 비식별화에도 불구)
+
+**접근 프로세스:**
+1. 기관생명윤리위원회(IRB) 심의 → 결과 통지서 획득
+2. 안심존 이용 신청서 + 보안서약서 제출
+3. 구축기관 심사 및 승인
+4. 온라인/오프라인 안심존에서 데이터 분석
+5. 분석 모델만 반출 가능 (데이터 반출 불가)
+
+**문의:** safezone1@aihub.kr / 02-525-7708
+
+### 3. HIRA 공개 데이터 (opendata.hira.or.kr)
+
+**공공누리 1유형 (자유 이용 가능)**
+
+주요 데이터:
+- 의료장비 상세 현황 (2019~2024, CSV/XLSX)
+- 전국 병의원 및 약국 현황
+- 3단상병별 성별 연령군별 건강보험 진료 통계
+- 요양기관별 건강보험 청구 통계
+
+**NLP 활용 가능성: 낮음** — 통계/구조적 데이터로 직접 LLM 학습에는 부적합
+
+### 4. NHIS 공개 데이터
+
+- 지역별 의료이용통계 (XLSX)
+- 의료보장(건강보험+의료급여) 시도별 진료실적 현황
+
+**NLP 활용 가능성: 낮음** — 수치 통계 위주
+
+### 5. 공공데이터포털 (data.go.kr)
+
+의료 관련 4,406건 검색 결과:
+- 전국의료기관표준데이터 (CSV)
+- 전국응급의료기관표준데이터 (XML)
+- 전국보건기관표준데이터 (CSV/XML/JSON)
+- 의료영상정보 (국가중점데이터)
+- 임상연구정보 (국가중점데이터)
+- 해부학 및 의료행위 기록설명그림 정보
+
+**NLP 활용 가능성: 중간** — 임상연구정보, 해부학/의료행위 기록 등은 활용 가능
+
+---
+
+## Top 3 상세 분석
+
+---
+
+### 🥇 1위: `sean0042/KorMedMCQA`
+
+**우선순위: 9/10**
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace ID** | `sean0042/KorMedMCQA` |
+| **URL** | https://huggingface.co/datasets/sean0042/KorMedMCQA |
+| **논문** | https://arxiv.org/abs/2403.01469 |
+| **크기** | 7,469 문제 (train 5,902 / dev 755 / test 812) |
+| **형식** | Parquet |
+| **라이선스** | CC BY-NC 2.0 |
+| **HF 다운로드수** | 1,301 (2026-02 기준) |
+| **언어** | 한국어 (native) |
+
+**내용:**
+- **출처**: 2012~2024년 한국 보건의료 전문면허 시험 실제 문제
+- **카테고리**: 의사(Doctor), 간호사(Nurse), 약사(Pharmacist), 치과의사(Dentist)
+- **형식**: 4지선다 MCQ (보기 A/B/C/D + 정답)
+- **의학 분야**: 내과, 외과, 소아과, 산부인과, 약리학, 병리학, 해부학 등 전 분야
+
+**IRB/비식별화 여부:**
+- 원본 데이터가 공개 국가시험 문제이므로 개인정보 없음
+- IRB 불필요
+
+**다운로드:**
+```python
+from datasets import load_dataset
+ds = load_dataset("sean0042/KorMedMCQA")
+# 서브셋: "doctor", "nurse", "pharmacist", "dentist"
+ds = load_dataset("sean0042/KorMedMCQA", "doctor")
+```
+
+**장점:**
+- 한국어 native 의료 데이터 (번역 아님)
+- 실제 국가시험 문제 → 의료 도메인 신뢰도 최고
+- 의사/간호사/약사/치과의사 4개 직종 커버
+- 벤치마크 + 학습 데이터 모두 활용 가능
+
+**제한사항:**
+- 비상업 라이선스 (CC BY-NC)
+- 이미지 포함 문제는 텍스트만 제공 (이미지 버전은 KorMedMCQA-V 참조)
+- 총 7,469문제 (규모 작음)
+
+**활용 방법:**
+1. SFT 학습 데이터로 직접 활용
+2. Few-shot 예시로 활용
+3. 의료 도메인 평가 벤치마크로 활용
+4. 추론 데이터 생성의 seed 데이터로 활용
+
+---
+
+### 🥈 2위: `ChuGyouk/medical-o1-reasoning-SFT-Ko`
+
+**우선순위: 9/10**
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace ID** | `ChuGyouk/medical-o1-reasoning-SFT-Ko` |
+| **URL** | https://huggingface.co/datasets/ChuGyouk/medical-o1-reasoning-SFT-Ko |
+| **크기** | 25,700 행 |
+| **형식** | Parquet |
+| **라이선스** | Apache 2.0 |
+| **HF 다운로드수** | 40 (2026-02 기준) |
+| **언어** | 한국어 (번역) |
+
+**내용:**
+- **출처**: HuatuoGPT-o1 학습 데이터를 한국어로 번역
+- **원본**: GPT-4o가 검증 가능한 의학 문제를 탐색하고 의학 검증자(medical verifier)로 검증
+- **번역**: `gemini-2.0-flash-exp` (temperature=0.5)로 번역
+- **컬럼**: `Question`, `Complex_Cot`, `Response`
+- **특징**: Complex Chain-of-Thought (CoT) 추론 과정 포함
+
+**CoT 구조 예시:**
+```
+Question: 자신의 음경이 줄어들고 결국 사라져 죽음에 이를 것이라고 믿는 사람의 진단은?
+Complex_Cot: [300~3,420 토큰 분량의 한국어 추론 과정]
+Response: [최종 답변]
+```
+
+**IRB/비식별화 여부:**
+- 번역 데이터로 개인정보 없음
+- IRB 불필요
+
+**다운로드:**
+```python
+from datasets import load_dataset
+ds = load_dataset("ChuGyouk/medical-o1-reasoning-SFT-Ko")
+```
+
+**장점:**
+- Apache 2.0 (상업 이용 가능)
+- 의학 추론(reasoning) CoT 포함 → 3B 모델 추론력 강화에 최적
+- 25K+ 샘플 (KorMedMCQA 대비 규모 큼)
+- 오류 검증 과정을 거친 고품질 데이터
+
+**제한사항:**
+- 번역 데이터 (원본 영어) → 한국어 의료 표현의 자연스러움 한계 있음
+- 번역 오류 가능성 (Gemini 번역)
+- 수학/과학 문제 일부 포함 (순수 의료만은 아님)
+
+**활용 방법:**
+1. 한국어 의료 추론 SFT 학습 (주력 학습 데이터)
+2. CoT 형식으로 의료 응답 품질 향상
+3. KorMedMCQA와 결합하여 학습 효과 극대화
+
+---
+
+### 🥉 3위: `HAERAE-HUB/KMMLU` (의학 서브셋)
+
+**우선순위: 8/10**
+
+| 항목 | 내용 |
+|------|------|
+| **HuggingFace ID** | `HAERAE-HUB/KMMLU` |
+| **URL** | https://huggingface.co/datasets/HAERAE-HUB/KMMLU |
+| **논문** | https://arxiv.org/abs/2402.11548 |
+| **크기** | 35,030 문제 전체 (의학 서브셋은 ~수천) |
+| **형식** | CSV |
+| **라이선스** | CC BY-ND 4.0 |
+| **HF 다운로드수** | 10,537 (2026-02 기준) |
+| **언어** | 한국어 (native) |
+
+**내용:**
+- **출처**: 한국 국가기술자격시험 실제 문제 (2023~2024)
+- **45개 분야**: 회계, 법률, **의학**, **약학**, **간호학** 등
+- **의학 관련 서브셋**: `clinical_knowledge`, `medical_genetics`, `anatomy`, `professional_medicine`, `college_biology`, `college_medicine` 등
+- **형식**: 4지선다 MCQ + 인간 정확도(Human Accuracy) 제공
+
+**의학 서브셋 접근:**
+```python
+from datasets import load_dataset
+# 의학 관련 서브셋들
+medical_subsets = [
+    "Clinical-Psychology",
+    "Emergency-Medicine", 
+    "Health-Insurance-Review",
+    "Medical-Examination",
+    "Public-Health"
+]
+for subset in medical_subsets:
+    ds = load_dataset("HAERAE-HUB/KMMLU", subset)
+```
+
+**IRB/비식별화 여부:**
+- 공개 국가시험 문제 → 개인정보 없음
+- IRB 불필요
+
+**장점:**
+- 가장 높은 다운로드수 (10,537) → 검증된 데이터
+- 한국어 native (번역 아님)
+- 인간 정확도 레이블 제공 → 문제 난이도 파악 가능
+- 45개 서브셋으로 세분화 → 의학 서브셋만 선택 가능
+- KMMLU-HARD, KMMLU-Redux, KMMLU-Pro 등 다양한 변형 존재
+
+**제한사항:**
+- CC BY-ND 4.0 (변경 불가, 2차 저작물 금지)
+- 의학 서브셋이 전체 데이터 일부 (~20%)
+- 벤치마크 목적 → 학습 데이터로 전용 시 품질 검토 필요
+
+**활용 방법:**
+1. 한국어 의료 도메인 벤치마크 평가 (주 활용)
+2. 의학 서브셋만 추출하여 학습 보조 데이터로 활용
+3. KMMLU-Pro (전문직 면허 포함) 와 병합하여 확장
+
+---
+
+## 추가 권장 데이터셋
+
+### AI-Hub 헬스케어 (접근 가능한 경우)
+
+접근 방법이 어렵지만 가장 고품질의 한국어 원본 의료 데이터:
+- **URL**: https://aihub.or.kr/aihubdata/data/list.do?currMenu=115&topMenu=100&srchDataRealmCode=REALM0014
+- **총 126개** 헬스케어 데이터셋
+- **IRB 필수**: 기관생명윤리위원회 승인 필요
+- **안심존**: 데이터 반출 불가, 현장 분석만 가능
+- **주요 NLP 관련 예상 데이터**: 진료 대화, 의무기록, 건강 상담, 의약품 정보
+
+### KMMLU-Pro (LGAI-EXAONE)
+- **URL**: https://huggingface.co/datasets/LGAI-EXAONE/KMMLU-Pro
+- **크기**: 2,822 문제 (한국 전문직 면허 시험)
+- **특징**: 의사 등 전문직 면허 포함, Gated (승인 필요)
+
+### KorMedMCQA-V (멀티모달)
+- **URL**: https://huggingface.co/datasets/seongsubae/KorMedMCQA-V
+- **크기**: 1,534 문제 + 2,043 이미지
+- **활용**: 비전-언어 모델 학습 시 참조
+
+---
+
+## 실용 가이드: 3B 모델 학습을 위한 전략
+
+### Phase 1: 즉시 사용 가능 (IRB 불필요)
+
+```bash
+# 1. KorMedMCQA - 한국 의료면허 실제 시험 (benchmark + SFT 모두)
+pip install datasets
+python -c "from datasets import load_dataset; ds = load_dataset('sean0042/KorMedMCQA', 'doctor'); print(ds)"
+
+# 2. medical-o1-reasoning-SFT-Ko - CoT 추론 학습 데이터
+python -c "from datasets import load_dataset; ds = load_dataset('ChuGyouk/medical-o1-reasoning-SFT-Ko'); print(ds)"
+
+# 3. KMMLU 의학 서브셋
+python -c "from datasets import load_dataset; ds = load_dataset('HAERAE-HUB/KMMLU', 'Medical-Examination'); print(ds)"
+
+# 4. ko_medical_chat - 대화 형식 SFT
+python -c "from datasets import load_dataset; ds = load_dataset('squarelike/ko_medical_chat'); print(ds)"
+
+# 5. medical-translation-en-ko - 대용량 번역 corpus
+python -c "from datasets import load_dataset; ds = load_dataset('ih9511/medical-translation-en-ko'); print(ds)"
+```
+
+### Phase 2: 접근 신청 필요
+
+| 데이터셋 | 신청 방법 | 예상 소요 시간 |
+|---------|---------|------------|
+| AI-Hub 헬스케어 | IRB + 안심존 신청 | 4~8주 |
+| KMMLU-Redux/Pro | HF Gated 승인 신청 | 수일 |
+
+### 학습 데이터 조합 추천
+
+**규모별 추천 조합:**
+
+| 규모 | 조합 | 예상 총 샘플 |
+|------|-----|------------|
+| 소규모 | KorMedMCQA + medical-o1-reasoning-SFT-Ko | ~33K |
+| 중규모 | 위 + ko_medical_chat + KMMLU 의학 서브셋 + medical_questions_pairs_ko | ~45K |
+| 대규모 | 위 + medical-translation-en-ko (필터링) + orpo_kor_translated_medical | ~100K+ |
+
+---
+
+## 주요 고려사항
+
+### 라이선스 분류
+
+| 라이선스 | 데이터셋 | 상업 활용 | 변경 가능 |
+|---------|---------|---------|---------|
+| Apache 2.0 | medical-o1-reasoning-SFT-Ko | ✅ | ✅ |
+| MIT | MMMLU-Ko-Medical | ✅ | ✅ |
+| CC BY-ND 4.0 | KMMLU, KorMedMCQA-V(음성) | ✅ | ❌ |
+| CC BY-NC 2.0 | KorMedMCQA | ❌ | ✅ |
+| CC BY-NC-SA 4.0 | KorMedMCQA-V | ❌ | ✅ |
+| CC BY-NC-ND 4.0 | KMMLU-Redux, KMMLU-Pro | ❌ | ❌ |
+| 공공누리 1유형 | HIRA, NHIS 통계 | ✅ | ✅ |
+
+### 의료 데이터 특수 고려사항
+
+1. **비식별화 여부**: HuggingFace의 한국어 의료 데이터는 대부분 번역 데이터 or 공개 시험문제 → 비식별화 이슈 없음
+2. **IRB**: AI-Hub 헬스케어 데이터만 IRB 필수 (실제 진료 기록 포함)
+3. **의료 환각(Hallucination)**: 번역 데이터의 경우 의료 용어 오역 가능 → 검증 필요
+4. **진료 가이드라인 최신성**: 시험 문제 기반 데이터는 연도별 의료 가이드라인 변경 반영 필요
+
+---
+
+## 참고 링크
+
+- KorMedMCQA: https://arxiv.org/abs/2403.01469
+- KMMLU: https://arxiv.org/abs/2402.11548  
+- KMMLU-Pro: https://arxiv.org/abs/2507.08924
+- AI-Hub 안심존: https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSn=216
+- HIRA 공개데이터: https://opendata.hira.or.kr
+- NHIS 연구데이터: https://nhis.or.kr
+- 공공데이터포털 의료: https://www.data.go.kr/tcs/dss/selectDataSetList.do?keyword=의료
+- KoreaMed (한국의학저널): https://synapse.koreamed.org
--- a/source/eval/domain_survey/news.md
+++ b/source/eval/domain_survey/news.md
@@ -0,0 +1,194 @@
+# 한국어 뉴스/언론 도메인 데이터셋 전수 조사
+
+> 조사일: 2026-02-27  
+> 목적: 한국어 3B LLM 학습용 뉴스/언론 도메인 데이터 파악  
+> 조사범위: HuggingFace Hub, AI-Hub, 모두의 말뭉치, BigKinds, GitHub, 학술 논문 기반
+
+---
+
+## 전체 데이터셋 목록
+
+| # | 데이터셋 / 출처 | 크기 | 라이선스 | 내용 유형 | 날짜범위 | 출처 언론사 | 상업적 이용 | 우선순위 |
+|---|---------------|------|---------|---------|---------|-----------|-----------|--------|
+| 1 | **[모두의 말뭉치: 신문]** corpus.korean.go.kr | ~350만 문장 | 연구전용 (비공개배포 금지) | 뉴스 기사 전문 + 메타 | 2018~2021 | 한국경제, 동아, 조선 등 다수 | ❌ | **9** |
+| 2 | **[BigKinds]** bigkinds.or.kr | 5,000만건+ | 신청 후 제공 (연구·교육) | 뉴스 기사 전문 | 1990~현재 | 54개 언론사 (연합뉴스, 조선, 중앙 등) | ❌ | **9** |
+| 3 | **[AI-Hub] 문서요약 텍스트** (#97) | 원문 40만건 (신문 30만건) / 요약 80만건 | 연구전용 | 뉴스 기사 전문 + 추출/생성 요약 | 2020 | 다수 종합일간지 | ❌ | **8** |
+| 4 | **[HF] sieu-n/korean-newstext-dump** | 1M~10M건 (텍스트 파일) | 불명확 | 뉴스 기사 전문 (제목+본문) | ~2021 | 복수 언론사 | ❓ | **8** |
+| 5 | **[AI-Hub] 뉴스 기사 기계독해** (#577) | 400,056건 QA / 지문 36만건 | 연구전용 | 뉴스 기사 + QA | 2021 | 중앙일보 등 20개 언론사 | ❌ | **7** |
+| 6 | **[HF] daekeun-ml/naver-news-summarization-ko** | 24,934건 (train+test) | Apache 2.0 | 뉴스 기사 전문 + 요약 | 2022.07 | 네이버 뉴스 (YTN, 아시아경제 등) | ✅ | **7** |
+| 7 | **[HF] sigridjineth/korean-news-small** | 1M~10M건 | 불명확 | 뉴스 텍스트 | 불명 | 불명 | ❓ | **6** |
+| 8 | **[HF] klue/klue (ynat subset)** | 54,800건 | CC-BY-SA-4.0 | 뉴스 제목 + 7개 토픽 레이블 | 2020~2021 | 연합뉴스 | ✅ | **6** |
+| 9 | **[GitHub] KcBERT 댓글 데이터** beomi/KcBERT | 45GB / 3.4억건 | CC-BY (댓글) | 네이버 뉴스 댓글 + 대댓글 | ~2022 | 네이버 뉴스 댓글 | ❓ | **5** |
+| 10 | **[HF] haseong8012/Korean_Political-News_By_Media-Outlet** | 100K~1M건 | 불명확 | 언론사별 정치 뉴스 | 2024 | 조선, 한겨레 등 다수 언론사 | ❓ | **5** |
+| 11 | **[AI-Hub] 한국어-영어 번역 말뭉치 (뉴스)** (#87) | 약 160만 문장쌍 | 연구전용 | 뉴스 기사 한-영 병렬 | 2019 | 다수 | ❌ | **5** |
+| 12 | **[HF] KETI-AIR/kor_ag_news** | 120K건 | Unknown | AG News 영→한 번역본 (4분류) | 번역 | 영어 원본 | ❓ | **4** |
+| 13 | **[HF] BLACKBUN/old_korean_newspaper_1897_1910_economy_politic** | 100K~1M건 | 불명확 | 구한말 신문 기사 (경제/정치) | 1897~1910 | 독립신문 등 구한말 신문 | ❓ | **3** |
+| 14 | **[HF] BLACKBUN/old_korean_newspaper_1897_1910_economy_politic_qa** | 1K~10K건 | 불명확 | 구한말 신문 QA | 1897~1910 | 구한말 신문 | ❓ | **3** |
+| 15 | **[HF] hugmanskj/korean-news-topic-classification** | ~5K건 | CC-BY-4.0 | 합성 뉴스 헤드라인 (4분류) | 2025 | 합성 데이터 | ✅ | **2** |
+| 16 | **[HF] 91veMe4Plus-Project/korean_news_corpus** | 비어 있음 | MIT | 비어 있음 | - | - | ✅ | **1** |
+
+---
+
+## 출처별 상세 분류
+
+### 🔵 HuggingFace Hub
+
+| HF Repo ID | 다운로드수 | 다운로드 명령어 |
+|------------|----------|---------------|
+| `sieu-n/korean-newstext-dump` | 8 | `load_dataset("sieu-n/korean-newstext-dump")` |
+| `sigridjineth/korean-news-small` | 20 | `load_dataset("sigridjineth/korean-news-small")` |
+| `daekeun-ml/naver-news-summarization-ko` | 1,133 | `load_dataset("daekeun-ml/naver-news-summarization-ko")` |
+| `klue/klue` (ynat subset) | 4,248 | `load_dataset("klue/klue", "ynat")` |
+| `haseong8012/Korean_Political-News_By_Media-Outlet` | 34 | `load_dataset("haseong8012/Korean_Political-News_By_Media-Outlet")` |
+| `BLACKBUN/old_korean_newspaper_1897_1910_economy_politic` | 5 | `load_dataset("BLACKBUN/old_korean_newspaper_1897_1910_economy_politic")` |
+| `BLACKBUN/old_korean_newspaper_1897_1910_economy_politic_qa` | 5 | `load_dataset("BLACKBUN/old_korean_newspaper_1897_1910_economy_politic_qa")` |
+| `KETI-AIR/kor_ag_news` | 5 | `load_dataset("KETI-AIR/kor_ag_news")` |
+| `hugmanskj/korean-news-topic-classification` | 33 | `load_dataset("hugmanskj/korean-news-topic-classification")` |
+| `91veMe4Plus-Project/korean_news_corpus` | 2 | (비어 있음) |
+
+### 🟢 AI-Hub (aihub.or.kr)
+
+> 모두 **국내 기관/개인 가입 + 신청 승인 후** 다운로드 가능. 상업적 이용 불가.
+
+| 데이터셋명 | dataSetSn | 규모 | 주요 언론사 |
+|-----------|----------|------|-----------|
+| 문서요약 텍스트 | 97 | 원문 40만건 (신문 30만건) | 다수 종합일간지 |
+| 뉴스 기사 기계독해 데이터 | 577 | QA 400,056건 / 지문 36만건 | 중앙일보 등 20개 언론사 |
+| 한국어-영어 번역 말뭉치 (뉴스 포함) | 87 | ~160만 문장쌍 | 다수 |
+
+신청 URL 패턴: `https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn={ID}`
+
+### 🟡 국립국어원 모두의 말뭉치
+
+> 신청 후 수작업 다운로드. 라이선스 엄격함 (재배포 불가, 연구 전용).
+
+- **modu_news (신문)**: 약 350만 문장, 9개 카테고리(정치/경제/사회/생활/IT과학/연예/스포츠/문화/미용건강)
+  - 메타: publisher, author, date, topic, original_topic, paragraph
+  - 신청: https://corpus.korean.go.kr → 가입 → 신청
+  - Korpora 로드: `from Korpora import Korpora; corpus = Korpora.load("modu_news")`
+
+### 🟠 BigKinds (한국언론진흥재단)
+
+> 별도 계약/신청 필요. 5천만건 이상 뉴스 기사 (1990~현재). 54개 주요 언론사 포함.
+- 주요 언론사: 연합뉴스, 조선일보, 중앙일보, 동아일보, 한겨레, 경향신문, 매일경제, 한국경제 등
+- 학술/연구 목적 데이터 제공: bigkinds.or.kr
+- **연구용 샘플 데이터**: 일부 카테고리 무료 제공, 전체는 협약 필요
+
+### ⚪ GitHub 오픈소스
+
+| 프로젝트 | 규모 | 내용 | 라이선스 | URL |
+|---------|------|------|---------|-----|
+| KcBERT (Beomi) | 45GB / 3.4억건 | 네이버 뉴스 댓글+대댓글 | CC-BY | https://github.com/Beomi/KcBERT |
+| Korpora (modu_news 로더) | - | 모두의 말뭉치 로더 | Apache 2.0 | https://github.com/ko-nlp/Korpora |
+
+---
+
+## 🏆 Top 3 상세 설명
+
+---
+
+### 1위 🥇 모두의 말뭉치 신문 (국립국어원)
+
+| 항목 | 내용 |
+|------|------|
+| **출처** | 국립국어원 (corpus.korean.go.kr) |
+| **크기** | ~350만 문장 / train split |
+| **라이선스** | 연구전용, 재배포 불가 |
+| **내용** | 뉴스 기사 전문. 메타정보(발행일, 언론사, 카테고리 등) 포함 |
+| **날짜 범위** | 2018~2021 추정 |
+| **출처 언론사** | 한국경제, 동아일보 등 다수 종합일간지 |
+| **카테고리** | 정치, 경제, 사회, 생활, IT/과학, 연예, 스포츠, 문화, 미용/건강 (9개) |
+| **다운로드** | https://corpus.korean.go.kr 가입→신청→수작업 다운로드 |
+| **Korpora 로드** | `corpus = Korpora.load("modu_news")` |
+| **상업적 이용** | ❌ (연구전용) |
+| **특징** | 대규모 + 고품질 + 메타정보 풍부 + 다양한 언론사 |
+| **주의사항** | 가입 필요, 한국 거주/기관 소속 우선, 재배포 불가 |
+
+**평가**: LLM 사전학습용으로 가장 이상적. 350만 문장의 정제된 뉴스 기사. 다만 접근 절차가 복잡하고 라이선스 제약이 있음.
+
+---
+
+### 2위 🥈 BigKinds 뉴스 빅데이터 (한국언론진흥재단)
+
+| 항목 | 내용 |
+|------|------|
+| **출처** | 한국언론진흥재단 (bigkinds.or.kr) |
+| **크기** | 5,000만건 이상 (1990~현재) |
+| **라이선스** | 기관 협약 후 연구목적 제공 |
+| **내용** | 뉴스 기사 전문, 키워드, 요약, 카테고리 등 |
+| **날짜 범위** | 1990~현재 (30년 이상) |
+| **출처 언론사** | 54개: 연합뉴스, 조선일보, 중앙일보, 동아일보, 한겨레, 경향신문, 매일경제, 한국경제, YTN, KBS, MBC 등 |
+| **다운로드** | bigkinds.or.kr 연구용 데이터 신청 페이지 |
+| **상업적 이용** | ❌ |
+| **특징** | 국내 최대 규모 뉴스 DB. 언론사 다양성 최고. 30년치 역사 데이터 |
+| **주의사항** | 전체 DB 접근은 협약 필요. 부분 샘플만 무료 |
+
+**평가**: 규모와 품질 모두 최상. 연구 기관 협약 가능하다면 최우선 확보 대상.
+
+---
+
+### 3위 🥉 AI-Hub 문서요약 텍스트 (dataSetSn=97)
+
+| 항목 | 내용 |
+|------|------|
+| **출처** | AI-Hub (aihub.or.kr) |
+| **크기** | 원문 40만건 (신문기사 30만 + 기고문 6만 + 잡지 1만 + 판결문 3만) / 요약문 80만건 |
+| **라이선스** | 연구전용 (무료, 국내 기관/개인 신청) |
+| **내용** | 뉴스 기사 원문 + 추출요약 + 생성요약 |
+| **날짜 범위** | 2020년 구축 |
+| **출처 언론사** | 종합일간지 다수 |
+| **다운로드** | `https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=97` |
+| **상업적 이용** | ❌ |
+| **특징** | 추출요약+생성요약 쌍 포함. 요약 태스크뿐 아니라 사전학습용 기사 원문으로도 활용 가능 |
+| **다운로드수** | 5,912건 (AI-Hub 내 최고 수준) |
+
+**평가**: 요약 태스크 SFT 데이터 + 사전학습 기사 원문 동시 활용 가능. 가입 후 즉시 신청 가능.
+
+---
+
+## 📊 주요 지표 비교
+
+| 데이터셋 | 규모 | 품질 | 접근성 | 라이선스 | LLM 사전학습 적합도 |
+|---------|------|------|-------|---------|-----------------|
+| 모두의 말뭉치 신문 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐ | ⭐⭐ | ⭐⭐⭐⭐⭐ |
+| BigKinds | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐ | ⭐ | ⭐⭐⭐⭐⭐ |
+| AI-Hub 문서요약 | ⭐⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ | ⭐⭐⭐⭐ |
+| sieu-n/korean-newstext-dump | ⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐⭐⭐ |
+| daekeun-ml/naver-news | ⭐⭐ | ⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐⭐⭐ | ⭐⭐⭐ |
+| KcBERT 댓글 | ⭐⭐⭐⭐⭐ | ⭐⭐ (댓글) | ⭐⭐⭐ | ⭐⭐⭐ | ⭐⭐ (댓글 특화) |
+
+---
+
+## 🎯 추천 데이터 확보 전략
+
+### 즉시 사용 가능 (공개 라이선스)
+1. `daekeun-ml/naver-news-summarization-ko` — Apache 2.0, HF에서 바로 다운로드
+2. `klue/klue` (ynat) — CC-BY-SA-4.0, HF에서 바로 다운로드
+3. `sieu-n/korean-newstext-dump` — 라이선스 확인 필요하나 HF 공개
+4. `sigridjineth/korean-news-small` — HF 공개
+
+### 신청 절차 필요 (고품질)
+1. **모두의 말뭉치 신문** → corpus.korean.go.kr 가입 후 신청 (1~2주 소요)
+2. **AI-Hub 문서요약** → aihub.or.kr 가입 후 신청 (즉시~수일 소요)
+3. **AI-Hub 뉴스 기계독해** → aihub.or.kr 가입 후 신청
+
+### 협약 필요 (대규모)
+1. **BigKinds** → 한국언론진흥재단 협약 (기관 필요)
+
+---
+
+## 📝 기타 참고 사항
+
+### 뉴스 포함 대규모 한국어 코퍼스 (뉴스 외 다수 도메인 혼합)
+- **mC4 Korean** (`allenai/c4`, language=ko): 웹크롤 데이터, 뉴스 도메인 상당 부분 포함
+- **OSCAR 한국어**: CC0, 웹크롤, 뉴스 혼합
+- **CC-100 Korean**: 커먼크롤 기반, 뉴스 포함
+
+### 알려진 미확인 데이터셋
+- **연합뉴스 코퍼스**: 공식 제공 여부 불명 (KLUE 데이터의 소스)
+- **한국 언론 아카이브**: 개별 언론사 API (유료)
+- **공공데이터포털 (data.go.kr)**: 검색 결과 뉴스 특화 텍스트 데이터셋 발견 안 됨
+
+---
+
+*조사: 2026-02-27 | 조사자: LLM-Bang 데이터 서브에이전트*
--- a/source/eval/domain_survey/preference_pretrain.md
+++ b/source/eval/domain_survey/preference_pretrain.md
@@ -0,0 +1,234 @@
+# 한국어 Preference/DPO/RLHF + 대용량 Pretrain 데이터 전수 조사
+
+> 작성일: 2026-02-26  
+> 목적: 3B 한국어 LLM 학습용 데이터 소스 파악  
+> 조사 방법: HuggingFace 데이터셋 페이지 직접 web_fetch (Brave API 미사용)
+
+---
+
+## 목차
+1. [Preference / DPO / RLHF 데이터셋](#preference--dpo--rlhf-데이터셋)
+2. [대용량 Pretrain 데이터셋](#대용량-pretrain-데이터셋)
+3. [Top 3 권장 - Preference](#top-3-권장---preference)
+4. [Top 3 권장 - Pretrain](#top-3-권장---pretrain)
+5. [갭 분석 및 메모](#갭-분석-및-메모)
+
+---
+
+## Preference / DPO / RLHF 데이터셋
+
+### 전체 목록
+
+| # | Repo ID | 규모 | 포맷 | 도메인 | 라이선스 | ORPO/DPO 직접 사용 | 우선순위 |
+|---|---------|------|------|--------|----------|-------------------|---------|
+| 1 | `kuotient/orca-math-korean-dpo-pairs` | ~193k 쌍 | `{prompt, chosen, rejected}` | 수학 | MIT (원본 기반 추정) | ✅ 직접 사용 가능 | **9** |
+| 2 | `kuotient/orca-math-korean-preference` | ~193k 쌍 | `{prompt, chosen, rejected}` | 수학 | Apache 2.0 후보 | ✅ 직접 사용 가능 | **9** |
+| 3 | `heegyu/orca-math-korean-preference-cleaned` | ~192k 쌍 | `{prompt, chosen, rejected, correctness_label}` | 수학 (KO+EN 이중) | MIT 추정 | ✅ 직접 사용 가능 (correctness로 추가 필터링 가능) | **8** |
+| 4 | `maywell/ko_Ultrafeedback_binarized` | ~60k 쌍 추정 | `{prompt, chosen, rejected}` | 일반 (번역) | MIT 추정 | ✅ 직접 사용 가능 | **8** |
+| 5 | `lemon-mint/korean-realqa-reasoning-v01-preference` | ~7.77k 쌍 | `{id, prompt, chosen, rejected}` | 일반 QA + 추론 | 미상 | ✅ 직접 사용 가능 (chosen에 `<think>` CoT 포함) | **7** |
+| 6 | `ohsuz/dpo-v1010-korean` | ~35.5k | `{prompt, chosen, rejected}` 추정 | 금융 포함 다도메인 | 미상 (gated) | ⚠️ gated, 사전 동의 필요 | **6** |
+| 7 | `ChuGyouk/argilla-distilabel-math-preference-dpo-korean` | ~2.42k 쌍 | `{prompt, chosen, rejected}` | 수학 | MIT 추정 | ✅ 직접 사용 가능 (소규모) | **4** |
+| 8 | `jojo0217/korean_rlhf_dataset` | ~107k QA | `{question, answer}` single-turn | 과학/역사/문화/음식/의학/법 | 미상 | ❌ DPO 직접 불가 (단일 응답, SFT용) | **3** |
+
+### 주요 데이터셋 상세
+
+#### 1. `kuotient/orca-math-korean-dpo-pairs` ⭐ 최고 우선순위
+- **규모**: 193,000 쌍
+- **스키마**: `{prompt: str, chosen: str, rejected: str}`
+- **특징**: Microsoft OrcaMath 한국어 번역. 수학 문제 풀이 과정 비교. HF에서 가장 많이 다운로드된 한국어 DPO 데이터셋 (111 downloads)
+- **사용법**: `load_dataset("kuotient/orca-math-korean-dpo-pairs")`
+- **주의**: 수학 도메인에 특화 → 일반 능력 향상에는 보완 필요
+
+#### 2. `kuotient/orca-math-korean-preference` ⭐ 최고 우선순위
+- **규모**: 193,000 쌍
+- **특징**: dpo-pairs와 동일 소스지만 다른 포맷 버전. 라이선스 더 명확
+- **사용법**: 위와 동일 저자, 상호 보완 또는 대체 사용
+
+#### 3. `heegyu/orca-math-korean-preference-cleaned` ✅ 권장
+- **규모**: ~192k 쌍
+- **스키마**: `{prompt, chosen, rejected, is_correct: bool}` 
+- **특징**: `is_correct=True`인 샘플만 필터링 가능 → 고품질 서브셋 추출 가능
+- **특이사항**: KO+EN 이중언어 (한국어 번역 + 원문 포함)
+
+#### 4. `maywell/ko_Ultrafeedback_binarized` ✅ 일반 도메인 보완용
+- **규모**: UltraFeedback binarized 원본 (~60k) 한국어 번역
+- **특징**: 일반 domain preference (수학 외) → 수학 DPO의 편향 보완
+- **스키마**: `{prompt, chosen, rejected}` 표준 포맷
+- **데이터 예시 확인**: 자연어 처리, 역사, 정치 등 다양한 주제
+
+#### 5. `lemon-mint/korean-realqa-reasoning-v01-preference` ✅ CoT 학습용
+- **규모**: 7,770 쌍
+- **특징**: chosen에 `<think>...</think>` CoT 추론 흔적 포함 → reasoning 모델 학습에 적합
+- **날짜**: 2025년 2월 신규 릴리즈
+- **사용법**: ORPO 학습 시 reasoning 능력 부여에 적합
+
+#### 6. `ohsuz/dpo-v1010-korean` ⚠️ 조건부
+- **규모**: 35,500 쌍
+- **접근**: Gated (로그인 + 연락처 동의 필요)
+- **특징**: 금융 버전도 별도 존재 (`ohsuz/dpo-finance-korean`)
+- **README**: 비어있음 → 실제 다운로드 전 포맷 미확인
+
+#### 7-8. 소규모 / SFT 전용
+- `ChuGyouk/...`: 2.42k로 너무 소규모, 보조용
+- `jojo0217/korean_rlhf_dataset`: chosen/rejected 없음 → SFT 데이터로만 활용 가능
+
+---
+
+## 대용량 Pretrain 데이터셋
+
+### 현재 보유 현황
+- 토큰화 완료: ~39B 토큰
+- Raw 포함: ~114B (중복 포함)
+- 주요 소스: CulturaX(ko), HPLT v1.0, cc100-ko, OSCAR 등
+
+### 전체 목록
+
+| # | Repo ID | 크기 | 기존 소스 중복 | 라이선스 | 필터링 수준 | 우선순위 |
+|---|---------|------|---------------|----------|------------|---------|
+| 1 | `KORMo-Team/korean-web-collection` | ~수십GB (미확인) | ⚠️ 부분 중복 가능 (blog/news) | 미상 | 중간 (cleaned) | **9** |
+| 2 | `KORMo-Team/korean-public-corpus` | ~수GB (미확인) | ✅ 비중복 (학술/공공 도메인) | 공공저작물 | 높음 | **9** |
+| 3 | `uonlp/CulturaX` (ko) | ~24.8B 토큰 (~20.5M 문서) | ❌ **보유 중** (mC4 + OSCAR) | CC BY-NC 4.0 (gated) | 높음 (deduped) | **이미 보유** |
+| 4 | `HAERAE-HUB/KOREAN-WEBTEXT` | 1.28M docs | ⚠️ 중복 (source=oscar2201) | 미상 | 중간 | **5** |
+| 5 | `devngho/korean-webtext-edu` | 1.28M docs (edu 필터) | ⚠️ KOREAN-WEBTEXT 기반 | MIT (원본 라이선스 불명확) | 높음 (edu classifier) | **7** |
+| 6 | `oz1115/korean-pretraining-corpus` | 1K~10K rows (소규모) | ⚠️ 위키피디아 포함 | MIT | 중간 (이미 토큰화됨, 512 tok chunks) | **2** |
+| 7 | `Saxo/Korean-Corpus-From-Various-Task-1` | ~524k rows | ⚠️ 다양한 소스 혼합 | 미상 | 낮음 (raw) | **4** |
+| 8 | `91veMe4Plus-Project/korean_*` | 미확인 (도메인별) | ✅ 비중복 가능성 높음 | 미상 | 도메인별 | **5** |
+
+### 주요 데이터셋 상세
+
+#### 1. `KORMo-Team/korean-web-collection` ⭐ 최고 우선순위
+- **내용**: 종교, 백과사전, 뉴스, 블로그 등 다양한 한국어 웹 크롤
+- **특징**: KORMo 팀의 대규모 한국어 웹 컬렉션. 별도 도메인 서브셋 구성
+- **중복 위험**: 뉴스/블로그 부분은 CC100/OSCAR와 일부 겹칠 수 있음
+- **권장 사용**: 중복 제거(MinHash LSH) 후 사용
+
+#### 2. `KORMo-Team/korean-public-corpus` ⭐ 최고 우선순위
+- **내용**: 논문, 공공 문서, 학술 텍스트
+- **특징**: 웹 크롤 기반 코퍼스와 도메인 비중복 → 순수 증가분으로 가치 높음
+- **라이선스**: 공공저작물 (사용 가능)
+- **권장 사용**: 학술/전문 도메인 커버리지 향상에 핵심
+
+#### 3. `devngho/korean-webtext-edu` ✅ 고품질 선별용
+- **기반**: `HAERAE-HUB/KOREAN-WEBTEXT`에 교육 품질 분류기(`ko_edu_classifier_v2`) 적용
+- **스코어**: `scored_over_3` 서브셋으로 고품질만 선택 가능
+- **하드웨어**: TPU v4-8 × 4 인스턴스로 처리 (~35분)
+- **라이선스**: MIT (단, 원본 KOREAN-WEBTEXT 라이선스 불명확 → 확인 필요)
+- **접근**: Gated (로그인 + 동의 필요)
+- **중복 주의**: KOREAN-WEBTEXT가 oscar2201 기반 → 기존 OSCAR 보유분과 중복 가능
+
+#### 4. `HAERAE-HUB/KOREAN-WEBTEXT`
+- **규모**: 1.28M 문서
+- **스키마**: `{text, source, token_count, __index_level_0__}`
+- **source**: oscar2201 (OSCAR 2022.01 기반)
+- **중복 경고**: ❌ 기존 OSCAR 보유 가능성 높음 → 사용 전 중복 체크 필수
+- **용도**: 기존 OSCAR 버전 다르다면 보완 가능
+
+#### 5. `uonlp/CulturaX` (ko) — 이미 보유
+- **크기**: ~20.5M 문서, ~24.8B 토큰 (전체의 0.39%)
+- **소스**: mC4 + OSCAR 혼합
+- **라이선스**: CC BY-NC 4.0 (non-commercial, gated)
+- **스키마**: `{text, timestamp, url, source}`
+- **참고**: 이미 39B 토큰에 포함된 것으로 파악됨
+
+#### 6. `oz1115/korean-pretraining-corpus` — 소규모, 참고만
+- **크기**: 1K~10K rows (매우 소규모)
+- **내용**: 한국어 Wikipedia + 공개 텍스트
+- **형태**: 이미 BPE 토큰화됨, 512 토큰 청크 형식 (raw 텍스트 불가)
+- **결론**: 3B 학습용 대용량 소스로 부적합
+
+### 추가 발굴 필요 소스 (web_search 미사용으로 미확인)
+
+| 소스 | 예상 크기 | 조사 방법 |
+|------|-----------|---------|
+| HPLT v2.0 한국어 | 수백GB 추정 | `web_fetch https://data.hplt-project.org/` 재시도 |
+| PleIAs/common_corpus (ko) | 수십GB 추정 | HF 직접 확인 |
+| NLLB data (flores 기반) | 미상 | HF 검색 |
+| 국립국어원 공개 말뭉치 | ~수GB | 별도 공식 포털 |
+| AI Hub 한국어 코퍼스 | 수백GB | 별도 신청 필요 |
+
+---
+
+## Top 3 권장 - Preference
+
+### 🥇 1위: `kuotient/orca-math-korean-dpo-pairs`
+- **선정 이유**: 193k쌍 대용량, 표준 {prompt/chosen/rejected} 포맷, 가장 많이 검증된 한국어 DPO 데이터셋
+- **바로 사용**: `load_dataset("kuotient/orca-math-korean-dpo-pairs")`
+- **주의**: 수학 편향 → 단독 사용 시 일반 능력 저하 가능
+
+### 🥈 2위: `maywell/ko_Ultrafeedback_binarized`
+- **선정 이유**: UltraFeedback 일반 도메인 → 수학 편향 보완, 일반 instruction following 향상
+- **조합**: orca-math DPO + ko_Ultrafeedback 혼합 사용 권장
+- **규모**: ~60k 추정 (원본 UltraFeedback binarized 기준)
+
+### 🥉 3위: `lemon-mint/korean-realqa-reasoning-v01-preference`
+- **선정 이유**: 2025년 최신, CoT reasoning traces 포함 → thinking 능력 학습 가능
+- **활용**: 소규모(7.77k)이지만 quality가 높고 CoT 형태 데이터는 희귀
+- **ORPO 특이사항**: chosen에 `<think>` 태그 포함 → reasoning 모델 특화 훈련에 적합
+
+**권장 혼합 레시피**:
+```
+orca-math-dpo (~193k) : ko_ultrafeedback (~60k) : realqa-reasoning (~7k) = 약 260k쌍
+비율: 수학 74% : 일반 23% : 추론 3%
+→ 더 나은 균형 원한다면 orca-math 다운샘플링 고려 (예: 60k 샘플링)
+```
+
+---
+
+## Top 3 권장 - Pretrain
+
+### 🥇 1위: `KORMo-Team/korean-public-corpus`
+- **선정 이유**: 학술/공공 도메인 → 기존 웹 크롤 기반 코퍼스와 비중복 가능성 최고
+- **기대 추가 토큰**: 중복 제거 후 수십억 토큰 순수 증가 예상
+- **라이선스**: 공공저작물 (상업 사용 가능)
+
+### 🥈 2위: `KORMo-Team/korean-web-collection`
+- **선정 이유**: 대규모 한국어 웹 다양성, 단순 웹 크롤 이상의 도메인 커버리지
+- **주의**: MinHash dedup 필수 (CulturaX/OSCAR와 중복 가능)
+- **기대 추가 토큰**: 중복 제거 후 10B~30B 예상
+
+### 🥉 3위: `devngho/korean-webtext-edu`
+- **선정 이유**: 교육 품질 분류기 필터링 → 고품질 서브셋 (FineWeb-Edu 스타일)
+- **주의**: KOREAN-WEBTEXT(oscar2201) 기반 → 기존 OSCAR와 중복 가능, 중복 제거 후 순수 고품질 새 토큰만 추출
+- **활용**: 전체를 쓰기보다 `scored_over_3` 고품질 서브셋만 선별 사용
+
+**Pretrain 추가 확보 전략**:
+```
+현재: ~39B 토큰
+목표: Chinchilla optimal ~210B (3B 모델)
+부족분: ~171B 토큰
+
+우선순위 소스 (순수 증가분 추정):
+1. KORMo-Team/korean-public-corpus   → 5B~20B (학술, 비중복)
+2. KORMo-Team/korean-web-collection  → 10B~30B (dedup 후)
+3. devngho/korean-webtext-edu        → 5B~10B (고품질 서브셋)
+4. AI Hub 한국어 코퍼스 (신청 필요)  → 50B~100B 추정
+5. HPLT v2.0 한국어 (재조사 필요)   → 50B~100B 추정
+
+※ 현실적으로 HF 공개 소스만으로는 171B 순수 증가분 달성 어려움
+   → AI Hub + 국립국어원 공개 말뭉치 신청 병행 권장
+```
+
+---
+
+## 갭 분석 및 메모
+
+### Preference 데이터 갭
+1. **일반 도메인 한국어 DPO 데이터 부족**: 수학/추론 외 한국어 일반 대화 preference 쌍은 매우 희소
+2. **Human-annotated 데이터 없음**: 모든 발견된 데이터는 LLM 생성 (GPT-4/GPT-3.5 기반)
+3. **최신 안전성 데이터 없음**: 한국어 safety/harmlessness 특화 DPO 데이터 미발견
+4. **의료/법률 특화 없음**: 한국어 전문 도메인 preference 데이터 공백
+
+### Pretrain 데이터 갭
+1. **HPLT v2.0 접근 불가**: 공식 URL 404 → 공식 릴리즈 채널 재확인 필요
+2. **AI Hub 미포함**: 가장 큰 공공 한국어 코퍼스지만 별도 신청 프로세스 필요
+3. **국립국어원 말뭉치 미포함**: 별도 다운로드 포털 사용 필요
+4. **코드 데이터 미포함**: 한국어 주석 코드 데이터 별도 조사 필요
+
+### 라이선스 주의사항
+- `devngho/korean-webtext-edu`: MIT 선언이지만 원본 HAERAE-HUB/KOREAN-WEBTEXT 라이선스 불명확 → 상업적 사용 전 확인 필요
+- `ohsuz/dpo-v1010-korean`: Gated → 접근 신청 필요
+- `uonlp/CulturaX`: CC BY-NC 4.0 → 비상업적 용도만 가능
+
+---
+
+*조사 완료: 2026-02-26 | 조사자: OpenClaw subagent (survey-preference-pretrain)*
--- a/source/eval/domain_survey/sft_instruct.md
+++ b/source/eval/domain_survey/sft_instruct.md
@@ -0,0 +1,212 @@
+# 한국어 SFT/Instruction/Chat 데이터셋 전수 조사
+
+> 작성일: 2026-02-27  
+> 목적: 한국어 3B LLM 학습을 위한 공개 SFT 데이터셋 전수 조사  
+> 현재 보유: evol_instruct_ko (144M), korean_safe_conv (51M), kovast (449M), train.jsonl (161,848샘플)
+
+---
+
+## 1. 전체 데이터셋 목록 (우선순위 순)
+
+### 🏆 Tier 1: 고품질 / 대규모 (즉시 사용 추천)
+
+| # | Repo ID | 샘플 수 | 포맷 | 라이선스 | 턴 | 도메인 | 품질 | 우선순위 |
+|---|---------|--------|------|---------|-----|-------|------|---------|
+| 1 | `maywell/koVast` | ~685K | sharegpt | Apache 2.0 | 멀티턴 | 일반/교육/과학 | GPT-4 번역+생성 | **10** |
+| 2 | `lemon-mint/smol-koreantalk` | ~400K | openai-messages | Apache 2.0 | 멀티턴 | 일반/코딩/분석 | Claude 번역+정제 | **9** |
+| 3 | `CarrotAI/ko-instruction-dataset` | ~100K | alpaca | Apache 2.0 | 싱글턴 | 코딩/수학/일반 | GPT-4 생성/번역 | **9** |
+| 4 | `squarelike/sharegpt_deepl_ko_translation` | ~70K | sharegpt | CC BY-SA 4.0 | 멀티턴 | 일반 (ShareGPT 번역) | DeepL 번역 | **8** |
+| 5 | `heegyu/OIG-small-chip2-ko` | ~80K | alpaca | Apache 2.0 | 싱글턴 | 일반/QA | 기계번역 | **8** |
+
+### 🥈 Tier 2: 도메인 특화 / 중품질
+
+| # | Repo ID | 샘플 수 | 포맷 | 라이선스 | 턴 | 도메인 | 품질 | 우선순위 |
+|---|---------|--------|------|---------|-----|-------|------|---------|
+| 6 | `MarkrAI/KOpen-HQ-Hermes-2.5-60K` | ~60K | sharegpt | MIT | 멀티턴 | 일반/코딩/수학 | GPT-4 Turbo 스코어링+DeepL | **8** |
+| 7 | `kuotient/orca-math-word-problems-193k-korean` | ~193K | alpaca | MIT | 싱글턴 | **수학** | GPT-4 번역 | **9** (수학 특화) |
+| 8 | `jhflow/orca_ko_en_pair` | ~100K+ | alpaca | MIT | 싱글턴 | 수학/논리 | Orca 번역 | **7** |
+| 9 | `davidkim205/kollm-converations` | ~100K | sharegpt | CC BY 4.0 | 멀티턴 | 나무위키 QA (백과) | GPT-3.5 생성 | **7** |
+| 10 | `coastral/korean-writing-style-instruct` | ~20K | sharegpt | Apache 2.0 | 멀티턴 | **역할극/문체** | GPT-4 생성 | **8** (역할극 특화) |
+| 11 | `nayohan/raw_instruction_en_ko_translation` | ~30K | alpaca | MIT | 싱글턴 | 혼합 (소스 컬렉션) | 번역 집합 | **6** |
+| 12 | `beomi/KoAlpaca-v1.1a` | ~21K | alpaca | CC BY-NC 4.0 | 싱글턴 | 일반 | ChatGPT 생성 | **7** |
+| 13 | `HAERAE-HUB/qarv-instruct-ko` | ~50K | alpaca | CC BY 4.0 | 싱글턴 | 일반/추론 | GPT-4 생성 | **7** |
+| 14 | `devngho/korean-instruction-mix` | 집합체 | 혼합 | 다양 | 싱글턴 | 혼합 | 번역+생성 | **6** |
+| 15 | `heegyu/OIG-small-chip2-ko` | ~80K | alpaca | Apache 2.0 | 싱글턴 | QA/일반 | OIG 번역 | **7** |
+
+### 🥉 Tier 3: 보완 데이터 (갭 채우기용)
+
+| # | Repo ID | 샘플 수 | 포맷 | 라이선스 | 턴 | 도메인 | 품질 | 우선순위 |
+|---|---------|--------|------|---------|-----|-------|------|---------|
+| 16 | `beomi/ko-marco-o1-instruct-oai` | ~5K | openai-messages | MIT | 싱글턴 | **수학/추론 (o1-style)** | Marco-o1 CoT | **8** (추론 특화) |
+| 17 | `snunlp/KR-FinQA` | ~10K | alpaca | CC BY 4.0 | 싱글턴 | **금융** | 인간 작성 | **7** (금융 특화) |
+| 18 | `MLP-lab/Korean-Medical-QA` | ~50K | alpaca | CC BY 4.0 | 싱글턴 | **의료** | 인간+GPT 혼합 | **7** (의료 특화) |
+| 19 | `KETI-AIR/kor_dataset` | ~50K | alpaca | CC BY-NC 4.0 | 싱글턴 | 법률/행정 | 인간 작성 | **6** |
+| 20 | `OpenAssistant/oasst1` (ko subset) | ~5K | openai-messages | Apache 2.0 | 멀티턴 | 일반 | 인간 작성 (고품질) | **9** (인간작성) |
+| 21 | `Babelscape/ALERT` (ko) | ~10K | alpaca | MIT | 싱글턴 | 안전/윤리 | 인간+GPT | **6** |
+| 22 | `kyujinpy/KOR-OpenOrca-Platypus4` | ~90K | alpaca | CC BY-NC 4.0 | 싱글턴 | 일반/수학/코딩 | GPT-4 번역 | **7** |
+| 23 | `nayohan/llama3-instrtuct-translation-ko` | ~15K | alpaca | Apache 2.0 | 싱글턴 | 일반 | Llama-3 번역 | **5** |
+| 24 | `squarelike/OpenOrca-ko` | ~200K | alpaca | MIT | 싱글턴 | 혼합 | GPT-3.5/4 번역 | **7** |
+| 25 | `Babelscape/REBEL-small` (ko) | ~10K | alpaca | CC BY-NC 4.0 | 싱글턴 | 지식/엔티티 | 자동생성 | **4** |
+| 26 | `nlpai-lab/kullm-v2` | ~150K | alpaca | CC BY-NC 4.0 | 싱글턴 | 일반 (KU+GPT) | GPT-3.5 생성 | **6** |
+| 27 | `heegyu/koalpaca-v1.1` | ~21K | alpaca | CC BY-NC 4.0 | 싱글턴 | 일반 | ChatGPT 번역 | **5** |
+| 28 | `wooy0ng/korquad-v1-alpaca` | ~10K | alpaca | CC BY-ND 2.0 | 싱글턴 | 독해/QA | 자동 생성 | **5** |
+| 29 | `lcw99/wikipedia-korean-20240501` | 별도 | text | CC BY-SA 4.0 | - | 지식 베이스 | 인간 작성 | 참고용 |
+| 30 | `uonlp/CulturaX` (ko subset) | ~1M+ | text | CC BY-NC 4.0 | - | 일반 웹 | 웹 크롤링 | 참고용 |
+
+---
+
+## 2. 이미 보유 데이터 (중복 제외)
+
+| 데이터셋 | 크기 | 비고 |
+|---------|------|------|
+| `evol_instruct_ko` | ~144M tokens | WizardLM 번역본 |
+| `korean_safe_conv` | ~51M tokens | 안전 대화 데이터 |
+| `kovast` (maywell/koVast) | ~449M tokens = 685K샘플 | ✅ 이미 보유 |
+| `train.jsonl` | 161,848 샘플 | 현재 학습 데이터 |
+
+> ⚠️ `maywell/koVast`는 이미 kovast로 보유 중. 중복 다운로드 불필요.
+
+---
+
+## 3. 도메인별 갭 분석
+
+### ✅ 충분한 도메인
+- **일반 대화/지식**: koVast(685K), OIG-ko(80K), ShareGPT-ko(70K) → **포화**
+- **번역/영어학습**: EvolInstruct-ko(144M) → **충분**
+
+### ⚠️ 부족한 도메인 (우선 수집 필요)
+
+| 도메인 | 현재 상태 | 추천 데이터셋 | 예상 샘플 수 |
+|-------|---------|------------|------------|
+| **수학/논리 추론** | 매우 부족 | kuotient/orca-math-word-problems-193k-korean | 193K |
+| **코딩** | 부족 | CarrotAI/ko-instruction-dataset (코딩 파트) | 30K+ |
+| **멀티턴 고품질** | 부족 | MarkrAI/KOpen-HQ-Hermes-2.5-60K | 60K |
+| **역할극/페르소나** | 없음 | coastral/korean-writing-style-instruct | 20K |
+| **한국어 문화 특화** | 부족 | davidkim205/kollm-converations (나무위키) | 100K |
+| **CoT/추론 체인** | 없음 | beomi/ko-marco-o1-instruct-oai | 5K |
+| **의료/법률/금융** | 없음 | 별도 도메인 특화 데이터 필요 | 50K+ |
+| **안전/거부 응답** | korean_safe_conv | - | 부분 충족 |
+
+### 📊 도메인별 현황 요약
+```
+일반대화  ████████████████████ 80% (과잉)
+번역문서  ████████████████████ 80% (충분)
+수학추론  ████░░░░░░░░░░░░░░░░ 20% (부족)
+코딩      ██████░░░░░░░░░░░░░░ 30% (부족)
+멀티턴    ████████░░░░░░░░░░░░ 40% (보통)
+역할극    ██░░░░░░░░░░░░░░░░░░ 10% (매우 부족)
+의료/법률 ░░░░░░░░░░░░░░░░░░░░  5% (없음)
+CoT추론   ██░░░░░░░░░░░░░░░░░░ 10% (없음)
+```
+
+---
+
+## 4. Top 5 즉시 추천 데이터셋
+
+### 🥇 1위: `kuotient/orca-math-word-problems-193k-korean`
+- **왜**: 수학/논리 추론이 현재 가장 큰 갭. 193K 샘플로 단숨에 메꿀 수 있음
+- **크기**: 193K 샘플
+- **라이선스**: MIT (상업 사용 가능)
+- **포맷**: alpaca
+- **품질**: GPT-4 생성 + DeepL 번역, 검수됨
+- **다운로드**: `from datasets import load_dataset; d = load_dataset("kuotient/orca-math-word-problems-193k-korean")`
+
+### 🥈 2위: `MarkrAI/KOpen-HQ-Hermes-2.5-60K`
+- **왜**: 고품질 멀티턴 데이터 갭. DeepL+GPT-4 Turbo 스코어링으로 품질 보장
+- **크기**: 60K 샘플
+- **라이선스**: MIT
+- **포맷**: sharegpt
+- **품질**: Near-dedup + GPT-4 Turbo scoring (고품질 보장)
+- **주의**: HF 로그인 필요 (contact info 동의)
+
+### 🥉 3위: `coastral/korean-writing-style-instruct`
+- **왜**: 역할극/문체 다양성이 없음. 한국어 특유의 말투 (존댓말, 고어, 방언 등)
+- **크기**: ~20K 샘플
+- **라이선스**: Apache 2.0
+- **포맷**: sharegpt (멀티턴)
+- **품질**: GPT-4 생성, 다양한 페르소나
+- **특징**: 조선시대 양반 말투, 선교사 화법 등 문체 다양성
+
+### 4위: `lemon-mint/smol-koreantalk`
+- **왜**: Claude 기반 고품질 번역+생성 데이터. 자연스러운 한국어 대화
+- **크기**: ~400K 샘플
+- **라이선스**: Apache 2.0
+- **포맷**: openai-messages (멀티턴)
+- **품질**: Claude Haiku 번역 + 정제, 영한 대조 포함
+
+### 5위: `OpenAssistant/oasst1` (ko subset)
+- **왜**: 인간이 작성한 유일한 고품질 멀티턴 데이터. 다양성 측면 최고
+- **크기**: ~5K 샘플 (한국어만)
+- **라이선스**: Apache 2.0
+- **포맷**: tree 구조 → sharegpt 변환 필요
+- **품질**: 인간 작성 (가장 자연스러움)
+- **추출**: `filter(lambda x: x['lang']=='ko', dataset)`
+
+---
+
+## 5. 2024~2025 신규 데이터셋 특이사항
+
+### 🆕 2024년 주목 데이터
+1. **`beomi/ko-marco-o1-instruct-oai`** (2024 후반): Chain-of-Thought 한국어 추론. o1 스타일 CoT 포함
+2. **`MarkrAI/KOpen-HQ-Hermes-2.5-60K`** (2024): 한국 커뮤니티 최초 Hermes 한국어 번역 고품질
+3. **`lemon-mint/smol-koreantalk`** (2025): SmolLM 계열 학습용으로 구축된 최신 데이터
+4. **`coastral/korean-writing-style-instruct`** (2024): 문체 다양성 특화, 역할극 최고품질
+
+### 📌 2025년 검색 결과 없음 (미발표 또는 미공개)
+- HyperCLOVA X 데이터: NAVER 비공개
+- KT/Kakao 내부 데이터: 비공개
+- LG AI 내부 데이터: 비공개
+
+---
+
+## 6. 다운로드 우선순위 체크리스트
+
+```
+[ ] kuotient/orca-math-word-problems-193k-korean  (~800MB)  ← 수학 갭 최우선
+[ ] MarkrAI/KOpen-HQ-Hermes-2.5-60K             (~300MB)  ← 품질 다양성
+[ ] coastral/korean-writing-style-instruct        (~100MB)  ← 역할극/문체
+[ ] lemon-mint/smol-koreantalk                   (~1.5GB)  ← 대용량 고품질
+[ ] OpenAssistant/oasst1 (ko filtered)           (~20MB)   ← 인간작성
+[ ] squarelike/OpenOrca-ko                       (~1GB)    ← 일반 보강
+[ ] kyujinpy/KOR-OpenOrca-Platypus4              (~500MB)  ← 코딩/수학 혼합
+[ ] beomi/ko-marco-o1-instruct-oai               (~30MB)   ← CoT 추론
+```
+
+---
+
+## 7. 라이선스 요약
+
+| 라이선스 | 데이터셋 | 상업 사용 |
+|---------|---------|---------|
+| MIT | MarkrAI/KOpen-HQ, kuotient/orca-math-ko, jhflow/orca_ko | ✅ 가능 |
+| Apache 2.0 | koVast, smol-koreantalk, CarrotAI, OIG-ko, oasst1, coastral | ✅ 가능 |
+| CC BY 4.0 | davidkim205/kollm, HAERAE qarv | ✅ 가능 |
+| CC BY-SA 4.0 | squarelike/sharegpt_deepl | ✅ (파생 동일라이선스) |
+| CC BY-NC 4.0 | nlpai-lab/kullm-v2, beomi/KoAlpaca, kyujinpy | ❌ 비상업 |
+
+> ⚠️ **주의**: CC BY-NC 계열 데이터는 상업적 모델 배포 시 사용 불가. 학술/연구 목적만 가능.
+
+---
+
+## 8. 총평 및 액션 아이템
+
+### 현재 데이터 강점
+- 일반 대화 데이터 매우 풍부 (koVast 685K + 기존 보유)
+- 번역 데이터 충분
+
+### 현재 데이터 약점
+1. **수학/논리 추론 전무** → `kuotient/orca-math` 즉시 추가 필수
+2. **CoT 데이터 없음** → `beomi/ko-marco-o1` 추가 권장
+3. **역할극/페르소나 없음** → `coastral/korean-writing-style` 추가
+4. **멀티턴 고품질 부족** → `MarkrAI/KOpen-HQ` 추가
+5. **인간 작성 데이터 거의 없음** → `oasst1 ko` 필수 추가
+
+### 예상 총 데이터 규모 (추가 후)
+```
+현재: ~800K 샘플
+추가 후: ~1.8M+ 샘플 (중복 제거 후 ~1.2~1.5M)
+```
+
+---
+
+*Generated: 2026-02-27 | Source: HuggingFace Hub 전수 검색 + 개별 데이터셋 검증*