pathcosmos/frankenstallm
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity
Files
main
frankenstallm/source/eval/domain_survey/news.md
ModelHub XC d4abdb70fa 初始化项目，由ModelHub XC社区提供模型 
Model: pathcosmos/frankenstallm
Source: Original Platform
2026-07-14 04:21:16 +08:00

12 KiB
Raw Permalink Blame History

한국어 뉴스/언론 도메인 데이터셋 전수 조사

조사일: 2026-02-27
목적: 한국어 3B LLM 학습용 뉴스/언론 도메인 데이터 파악
조사범위: HuggingFace Hub, AI-Hub, 모두의 말뭉치, BigKinds, GitHub, 학술 논문 기반

전체 데이터셋 목록

# 데이터셋 / 출처 크기 라이선스 내용 유형 날짜범위 출처 언론사 상업적 이용 우선순위
1 [모두의 말뭉치: 신문] corpus.korean.go.kr ~350만 문장 연구전용 (비공개배포 금지) 뉴스 기사 전문 + 메타 2018~2021 한국경제, 동아, 조선 등 다수 ❌ 9
2 [BigKinds] bigkinds.or.kr 5,000만건+ 신청 후 제공 (연구·교육) 뉴스 기사 전문 1990~현재 54개 언론사 (연합뉴스, 조선, 중앙 등) ❌ 9
3 [AI-Hub] 문서요약 텍스트 (#97) 원문 40만건 (신문 30만건) / 요약 80만건 연구전용 뉴스 기사 전문 + 추출/생성 요약 2020 다수 종합일간지 ❌ 8
4 [HF] sieu-n/korean-newstext-dump 1M~10M건 (텍스트 파일) 불명확 뉴스 기사 전문 (제목+본문) ~2021 복수 언론사 ❓ 8
5 [AI-Hub] 뉴스 기사 기계독해 (#577) 400,056건 QA / 지문 36만건 연구전용 뉴스 기사 + QA 2021 중앙일보 등 20개 언론사 ❌ 7
6 [HF] daekeun-ml/naver-news-summarization-ko 24,934건 (train+test) Apache 2.0 뉴스 기사 전문 + 요약 2022.07 네이버 뉴스 (YTN, 아시아경제 등) ✅ 7
7 [HF] sigridjineth/korean-news-small 1M~10M건 불명확 뉴스 텍스트 불명 불명 ❓ 6
8 [HF] klue/klue (ynat subset) 54,800건 CC-BY-SA-4.0 뉴스 제목 + 7개 토픽 레이블 2020~2021 연합뉴스 ✅ 6
9 [GitHub] KcBERT 댓글 데이터 beomi/KcBERT 45GB / 3.4억건 CC-BY (댓글) 네이버 뉴스 댓글 + 대댓글 ~2022 네이버 뉴스 댓글 ❓ 5
10 [HF] haseong8012/Korean_Political-News_By_Media-Outlet 100K~1M건 불명확 언론사별 정치 뉴스 2024 조선, 한겨레 등 다수 언론사 ❓ 5
11 [AI-Hub] 한국어-영어 번역 말뭉치 (뉴스) (#87) 약 160만 문장쌍 연구전용 뉴스 기사 한-영 병렬 2019 다수 ❌ 5
12 [HF] KETI-AIR/kor_ag_news 120K건 Unknown AG News 영→한 번역본 (4분류) 번역 영어 원본 ❓ 4
13 [HF] BLACKBUN/old_korean_newspaper_1897_1910_economy_politic 100K~1M건 불명확 구한말 신문 기사 (경제/정치) 1897~1910 독립신문 등 구한말 신문 ❓ 3
14 [HF] BLACKBUN/old_korean_newspaper_1897_1910_economy_politic_qa 1K~10K건 불명확 구한말 신문 QA 1897~1910 구한말 신문 ❓ 3
15 [HF] hugmanskj/korean-news-topic-classification ~5K건 CC-BY-4.0 합성 뉴스 헤드라인 (4분류) 2025 합성 데이터 ✅ 2
16 [HF] 91veMe4Plus-Project/korean_news_corpus 비어 있음 MIT 비어 있음 - - ✅ 1

출처별 상세 분류

🔵 HuggingFace Hub

HF Repo ID 다운로드수 다운로드 명령어
sieu-n/korean-newstext-dump 8 load_dataset("sieu-n/korean-newstext-dump")
sigridjineth/korean-news-small 20 load_dataset("sigridjineth/korean-news-small")
daekeun-ml/naver-news-summarization-ko 1,133 load_dataset("daekeun-ml/naver-news-summarization-ko")
klue/klue (ynat subset) 4,248 load_dataset("klue/klue", "ynat")
haseong8012/Korean_Political-News_By_Media-Outlet 34 load_dataset("haseong8012/Korean_Political-News_By_Media-Outlet")
BLACKBUN/old_korean_newspaper_1897_1910_economy_politic 5 load_dataset("BLACKBUN/old_korean_newspaper_1897_1910_economy_politic")
BLACKBUN/old_korean_newspaper_1897_1910_economy_politic_qa 5 load_dataset("BLACKBUN/old_korean_newspaper_1897_1910_economy_politic_qa")
KETI-AIR/kor_ag_news 5 load_dataset("KETI-AIR/kor_ag_news")
hugmanskj/korean-news-topic-classification 33 load_dataset("hugmanskj/korean-news-topic-classification")
91veMe4Plus-Project/korean_news_corpus 2 (비어 있음)

🟢 AI-Hub (aihub.or.kr)

모두 국내 기관/개인 가입 + 신청 승인 후 다운로드 가능. 상업적 이용 불가.

데이터셋명 dataSetSn 규모 주요 언론사
문서요약 텍스트 97 원문 40만건 (신문 30만건) 다수 종합일간지
뉴스 기사 기계독해 데이터 577 QA 400,056건 / 지문 36만건 중앙일보 등 20개 언론사
한국어-영어 번역 말뭉치 (뉴스 포함) 87 ~160만 문장쌍 다수

신청 URL 패턴: https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn={ID}

🟡 국립국어원 모두의 말뭉치

신청 후 수작업 다운로드. 라이선스 엄격함 (재배포 불가, 연구 전용).

  • modu_news (신문): 약 350만 문장, 9개 카테고리(정치/경제/사회/생활/IT과학/연예/스포츠/문화/미용건강)
    • 메타: publisher, author, date, topic, original_topic, paragraph
    • 신청: https://corpus.korean.go.kr → 가입 → 신청
    • Korpora 로드: from Korpora import Korpora; corpus = Korpora.load("modu_news")

🟠 BigKinds (한국언론진흥재단)

별도 계약/신청 필요. 5천만건 이상 뉴스 기사 (1990~현재). 54개 주요 언론사 포함.

  • 주요 언론사: 연합뉴스, 조선일보, 중앙일보, 동아일보, 한겨레, 경향신문, 매일경제, 한국경제 등
  • 학술/연구 목적 데이터 제공: bigkinds.or.kr
  • 연구용 샘플 데이터: 일부 카테고리 무료 제공, 전체는 협약 필요

⚪ GitHub 오픈소스

프로젝트 규모 내용 라이선스 URL
KcBERT (Beomi) 45GB / 3.4억건 네이버 뉴스 댓글+대댓글 CC-BY https://github.com/Beomi/KcBERT
Korpora (modu_news 로더) - 모두의 말뭉치 로더 Apache 2.0 https://github.com/ko-nlp/Korpora

🏆 Top 3 상세 설명

1위 🥇 모두의 말뭉치 신문 (국립국어원)

항목 내용
출처 국립국어원 (corpus.korean.go.kr)
크기 ~350만 문장 / train split
라이선스 연구전용, 재배포 불가
내용 뉴스 기사 전문. 메타정보(발행일, 언론사, 카테고리 등) 포함
날짜 범위 2018~2021 추정
출처 언론사 한국경제, 동아일보 등 다수 종합일간지
카테고리 정치, 경제, 사회, 생활, IT/과학, 연예, 스포츠, 문화, 미용/건강 (9개)
다운로드 https://corpus.korean.go.kr 가입→신청→수작업 다운로드
Korpora 로드 corpus = Korpora.load("modu_news")
상업적 이용 ❌ (연구전용)
특징 대규모 + 고품질 + 메타정보 풍부 + 다양한 언론사
주의사항 가입 필요, 한국 거주/기관 소속 우선, 재배포 불가

평가: LLM 사전학습용으로 가장 이상적. 350만 문장의 정제된 뉴스 기사. 다만 접근 절차가 복잡하고 라이선스 제약이 있음.

2위 🥈 BigKinds 뉴스 빅데이터 (한국언론진흥재단)

항목 내용
출처 한국언론진흥재단 (bigkinds.or.kr)
크기 5,000만건 이상 (1990~현재)
라이선스 기관 협약 후 연구목적 제공
내용 뉴스 기사 전문, 키워드, 요약, 카테고리 등
날짜 범위 1990~현재 (30년 이상)
출처 언론사 54개: 연합뉴스, 조선일보, 중앙일보, 동아일보, 한겨레, 경향신문, 매일경제, 한국경제, YTN, KBS, MBC 등
다운로드 bigkinds.or.kr 연구용 데이터 신청 페이지
상업적 이용 ❌
특징 국내 최대 규모 뉴스 DB. 언론사 다양성 최고. 30년치 역사 데이터
주의사항 전체 DB 접근은 협약 필요. 부분 샘플만 무료

평가: 규모와 품질 모두 최상. 연구 기관 협약 가능하다면 최우선 확보 대상.

3위 🥉 AI-Hub 문서요약 텍스트 (dataSetSn=97)

항목 내용
출처 AI-Hub (aihub.or.kr)
크기 원문 40만건 (신문기사 30만 + 기고문 6만 + 잡지 1만 + 판결문 3만) / 요약문 80만건
라이선스 연구전용 (무료, 국내 기관/개인 신청)
내용 뉴스 기사 원문 + 추출요약 + 생성요약
날짜 범위 2020년 구축
출처 언론사 종합일간지 다수
다운로드 https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=97
상업적 이용 ❌
특징 추출요약+생성요약 쌍 포함. 요약 태스크뿐 아니라 사전학습용 기사 원문으로도 활용 가능
다운로드수 5,912건 (AI-Hub 내 최고 수준)

평가: 요약 태스크 SFT 데이터 + 사전학습 기사 원문 동시 활용 가능. 가입 후 즉시 신청 가능.

📊 주요 지표 비교

데이터셋 규모 품질 접근성 라이선스 LLM 사전학습 적합도
모두의 말뭉치 신문 ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐ ⭐⭐ ⭐⭐⭐⭐⭐
BigKinds ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐ ⭐ ⭐⭐⭐⭐⭐
AI-Hub 문서요약 ⭐⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐ ⭐⭐⭐⭐
sieu-n/korean-newstext-dump ⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐ ⭐⭐⭐⭐
daekeun-ml/naver-news ⭐⭐ ⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐⭐⭐ ⭐⭐⭐
KcBERT 댓글 ⭐⭐⭐⭐⭐ ⭐⭐ (댓글) ⭐⭐⭐ ⭐⭐⭐ ⭐⭐ (댓글 특화)

🎯 추천 데이터 확보 전략

즉시 사용 가능 (공개 라이선스)

  1. daekeun-ml/naver-news-summarization-ko — Apache 2.0, HF에서 바로 다운로드
  2. klue/klue (ynat) — CC-BY-SA-4.0, HF에서 바로 다운로드
  3. sieu-n/korean-newstext-dump — 라이선스 확인 필요하나 HF 공개
  4. sigridjineth/korean-news-small — HF 공개

신청 절차 필요 (고품질)

  1. 모두의 말뭉치 신문 → corpus.korean.go.kr 가입 후 신청 (1~2주 소요)
  2. AI-Hub 문서요약 → aihub.or.kr 가입 후 신청 (즉시~수일 소요)
  3. AI-Hub 뉴스 기계독해 → aihub.or.kr 가입 후 신청

협약 필요 (대규모)

  1. BigKinds → 한국언론진흥재단 협약 (기관 필요)

📝 기타 참고 사항

뉴스 포함 대규모 한국어 코퍼스 (뉴스 외 다수 도메인 혼합)

  • mC4 Korean (allenai/c4, language=ko): 웹크롤 데이터, 뉴스 도메인 상당 부분 포함
  • OSCAR 한국어: CC0, 웹크롤, 뉴스 혼합
  • CC-100 Korean: 커먼크롤 기반, 뉴스 포함

알려진 미확인 데이터셋

  • 연합뉴스 코퍼스: 공식 제공 여부 불명 (KLUE 데이터의 소스)
  • 한국 언론 아카이브: 개별 언론사 API (유료)
  • 공공데이터포털 (data.go.kr): 검색 결과 뉴스 특화 텍스트 데이터셋 발견 안 됨

조사: 2026-02-27 | 조사자: LLM-Bang 데이터 서브에이전트