Files

ModelHub XC d4abdb70fa 初始化项目，由ModelHub XC社区提供模型

Model: pathcosmos/frankenstallm
Source: Original Platform

2026-07-14 04:21:16 +08:00

19 KiB

Raw Permalink Blame History

한국어 정부/공공/행정/특허 도메인 데이터 전수 조사

작성일: 2026-02-27
목적: 한국어 LLM 3B 모델 사전학습/파인튜닝용 공공·정부·법률·특허 도메인 데이터셋 조사

1. 전체 목록 테이블

1-1. AI-Hub (aihub.or.kr) 데이터셋

#	데이터셋 명	DataSetSn	크기/규모	라이선스	내용 유형	다운로드 방법	한국어%	우선순위
1	국가기록물 대상 초거대 AI 학습 말뭉치 데이터	71788	원천 4억 토큰 / QA 50,000건 / 유해질의 10,560건	공공누리 (NIA)	정부간행물, 백서, 연감, 사업보고서, 연구보고서 등	API 다운로드 (승인 후)	~100%	10
2	국회 회의록 기반 지식 검색 데이터	71795	회의록 11,827건 / QA쌍 44,033건	공공누리 (NIA)	국회 본회의·상임위·소위·국감 회의록 (15~21대)	API 다운로드 (승인 후)	~100%	9
3	국가중점기술 대응 특허 데이터	71739	619,844건 (특허명세서+분류 라벨)	공공누리 (NIA)	특허 명칭/요약/청구항 + 기술분류 레이블	API 다운로드 (승인 후)	~95%	9
4	법률/규정 텍스트 분석 (판례 고도화)	71723	원문 25만건 / 라벨링 66,511건 + QA 20,160건	공공누리 (NIA)	대법원·하급심·심결례 판결문, QA, 요약, 키워드	API 다운로드 (승인 후)	~100%	9
5	공공 민원 상담 LLM 사전학습·IT 데이터	71852	원천 10,182건 / 가공 124,717건	공공누리 (NIA)	중앙/지방행정기관 민원 상담 (분류·요약·QA)	API 다운로드 (승인 후)	~100%	8
6	민간 민원 상담 LLM 사전학습·IT 데이터	71844	원천 ~10K건 / 가공 ~120K건	공공누리 (NIA)	민간 민원 상담 (분류·요약·QA)	API 다운로드 (승인 후)	~100%	7
7	법률안 검토 보고서 요약 데이터	71794	다운로드 675건 (조회 22K)	공공누리 (NIA)	국회 법률안 검토보고서 요약	API 다운로드 (승인 후)	~100%	7
8	지식재산권법 LLM 사전학습·IT 데이터	71843	~720MB	공공누리 (NIA)	지식재산권법 조문, QA, 요약	API 다운로드 (승인 후)	~100%	7
9	민사법 LLM 사전학습·IT 데이터	71841	~785MB	공공누리 (NIA)	민사법 조문, QA, 요약	API 다운로드 (승인 후)	~100%	7
10	컴플라이언스 데이터	71807	~1.7GB	공공누리 (NIA)	기업 규정·컴플라이언스 텍스트	API 다운로드 (승인 후)	~95%	6

1-2. HuggingFace Hub 데이터셋

#	Repo ID	크기/규모	라이선스	내용 유형	다운로드 방법	한국어%	우선순위
11	`smhilee/korean-law-dataset`	중규모 (CSV+JSONL)	미표기	법령 조문 전체 (법령명/공포일/시행일/소관부처/조문내용/항/호)	`datasets` 라이브러리	100%	8
12	`joonhok-exo-ai/korean_law_open_data_precedents`	10K~100K건	OpenRAIL	법제처 판례 (2023년 기준 전체)	`datasets` 라이브러리	100%	8
13	`ducut91/korean-court-judgments`	163,546건	MIT	국가법령정보공동활용서비스 법원 판결문 (GPT-4o-mini 요약 포함)	`datasets` 라이브러리	100%	8
14	`ducut91/korean-constitutional-court-decisions`	35,007건	MIT	헌법재판소 결정문 (15개 컬럼 구조화)	`datasets` 라이브러리	100%	7
15	`Rootpye/korean-lawdata1~4`	4개 시리즈 (zip)	Apache-2.0	한국 법령 데이터 (상세 불명)	HF 직접 다운로드	100%	6
16	`mosshoon/korean-laws`	1K~10K건	CC-BY-4.0	2025.08 기준 law.go.kr 법령 수집	`datasets` 라이브러리	100%	6
17	`DistressedModel/korean_law`	100K~1M건	미표기	한국 법률 텍스트 (상세 불명)	`datasets` 라이브러리	100%	5
18	`wisenut-nlp-team/law_korean`	100K~1M건	미표기	한국 법률 (상세 불명)	`datasets` 라이브러리	100%	5
19	`xaikorea0/taxia-korean-tax-laws`	소규모	Apache-2.0	한국 세법 조문	`datasets` 라이브러리	100%	4
20	`Jsoo/korean-fair-trade-law-paragraphs-org-v1`	1K~10K건	미표기	공정거래법 조항	`datasets` 라이브러리	100%	4
21	`91veMe4Plus-Project/korean_local_government_ordinances`	소규모	MIT	지방자치단체 조례	`datasets` 라이브러리	100%	5

1-3. 국가 공식 포털 (직접 수집 필요)

#	소스	URL	크기 추정	라이선스	내용 유형	다운로드 방법	우선순위
22	법제처 국가법령정보센터 (Open API)	https://open.law.go.kr	현행법령 5,000+ / 판례 수십만건	공공누리 1유형	법령 조문, 판례, 행정규칙	REST API (인증키 필요)	9
23	국회 의안정보시스템 회의록	https://likms.assembly.go.kr	수십만 건	공공누리	국회 의사록 (PDF/HWP)	웹 크롤링 / Open API	8
24	KIPRIS 특허 공개 데이터	https://www.kipris.or.kr	수백만 건	공공누리 1유형	한국 특허·실용신안 명세서	KIPRIS Plus API / 대용량 다운로드	9
25	공공데이터포털 법령·행정 텍스트	https://www.data.go.kr	다양	공공누리	행정처분, 고시, 공고 등	API / 파일 다운로드	7
26	감사원 감사보고서	https://www.bai.go.kr	~수천건	공공누리	감사결과보고서, 처분요구	웹 크롤링 / PDF	5
27	통계청 통계보고서	https://kostat.go.kr	다양	공공누리	각종 통계조사 보고서	웹 크롤링 / API	4
28	e-나라지표	https://www.index.go.kr	다양	공공누리	국가 주요 지표 해설 텍스트	웹 크롤링	3
29	식품의약품안전처 공개 데이터	https://www.mfds.go.kr	중규모	공공누리	식품·의약품 허가심사보고서	API / 파일 다운로드	4

2. Top 3 상세 분석

🥇 #1: 국가기록물 대상 초거대 AI 학습 말뭉치 데이터

[AI-Hub DataSetSn: 71788]
URL: https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71788

개요

항목	내용
구축연도	2023 (최종개방: 2024-10)
원천규모	원시데이터 4억 토큰 (약 3억 토큰 말뭉치 정제)
라벨링규모	QA 50,000건 (의문사형 30K + Yes/No 20K) + 유해질의 10,560건
라이선스	공공누리 (과기정통부/NIA)
형식	JSON
출처	국가기록원 정부간행물 (연감·백서·법규집·연구조사보고서·기관지 등)

데이터 구성

문서 유형별: 연구조사보고서(12,600건), 기관지(8,367건), 사업보고서(7,397건), 교육자료(1,633건), 연감·백서(1,305건), 회의자료(592건), 법규집(271건), 사료·연혁집(9건) 등
주제별: 행정(7,079건), 경제(4,659건), 정치(2,742건), 사회(2,141건), 기타(15,593건)

LLM 학습 활용 포인트

사전학습용 말뭉치: 정부 문서 3억 토큰 — 공공/행정 도메인 지식 주입에 최적
Instruction Tuning용: 의문사형·Yes/No 질의응답 50,000건
필드: source_id, title, publisher_company, category_main, category_middle, collection_name, issue_date, corpus

다운로드 방법

# 1. AI-Hub 회원가입 + 내국인 인증
# 2. 데이터 신청 페이지에서 "다운로드" 클릭 → 승인 대기 (보통 즉시~수일)
# 3. 승인 후 API 다운로드:
aihubshell -mode d -datasetkey 71788

# 분할 압축 병합:
find "폴더경로" -name "파일명.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > "파일명.zip"
unzip 파일명.zip

품질 평가

한국어 순도: ~100% (정부 공식 문서)
도메인 다양성: 행정·정치·경제·사회·교육 포함
LLM 학습 적합성: ★★★★★ (사전학습 + SFT 모두 가능)

🥈 #2: 국가중점기술 대응 특허 데이터

[AI-Hub DataSetSn: 71739]
URL: https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71739

개요

항목	내용
구축연도	2023 (최종개방: 2024-10)
규모	619,844건 (특허명세서 + 기술분류 라벨)
라이선스	공공누리 (과기정통부/NIA)
형식	JSON
출처	KIPRIS 특허 DB

데이터 구성

특허 필드: 출원번호, 발명명칭, 요약, 청구항, IPC 분류, 출원인, 발명자, 등록일
분류 필드: 국가중점기술 대·중·소분류 (생명/보건, ICT/SW, 에너지, 건설, 환경, 기계, 농수산, 우주, 소재 등 10개 대분류)
619,844건 전체에 기술분류 라벨 부여 — 분류 학습 + 사전학습 텍스트 동시 활용 가능

LLM 학습 활용 포인트

특허 명세서 텍스트 (요약 + 청구항): 한국어 기술 도메인 전문 어휘 학습
기술분류 태스크: 분류 파인튜닝, 특허 분류 QA 생성 가능
예시: 발명명칭: 차량의 회생 제동 장치 및 그 방법 / 요약: [기술 설명] / 청구항: [청구 내용]

데이터 포맷

{
  "updateDate": "2023-...",
  "documentId": "KR20120011990b1",
  "country_code": "KR",
  "application_number": "KR 2012-0011990",
  "document_type": "등록",
  "invention_title": "차량의 회생 제동 장치 및 그 방법",
  "abstract": "본 명세서는 차량의 물리 브레이크 사용을 최소화...",
  "claims": "차량의 속도를 검출하는 속도 검출부와...",
  "Lno": "F", "Ltext": "기계_제조",
  "Mno": "FC", "Mtext": "자동차",
  "Sno": "FCA", "Stext": "스마트자동차기술"
}

🥉 #3: 법률/규정 텍스트 분석 데이터 (판례 고도화)

[AI-Hub DataSetSn: 71723]
URL: https://aihub.or.kr/aihubdata/data/view.do?aihubDataSe=data&dataSetSn=71723

개요

항목	내용
구축연도	2023 (최종개방: 2024-12)
규모	원문 약 25만건 → 라벨링 66,511건 + QA 20,160건
라이선스	공공누리 (과기정통부/NIA)
형식	TXT(원문) + JSON(라벨)
출처	대법원, 국회, 법제처 법률정보서비스

데이터 구성

상황별 판례: 민사(17K), 행정(21K), 형사(13K), 근로자(3K), 특허/저작권(3K), 금융조세(3K) 등
심판 유형: 대법원 판례(40K) + 하급심(10K) + 심결례(16K)
라벨링 내용: 추출요약, Q&A(판시사항 기반), 키워드, 참조법령, 참조판례, 카테고리
QA 데이터셋: 법률 전문가 작성 20,160건 (질문+답변+해설+참조법령)

LLM 학습 활용 포인트

판결문 요약 (BART fine-tuning) / 판결 예측 (BERT fine-tuning) 모두 지원
청탁금지법, 공직자윤리법 등 행정 도메인 QA 포함
실제 법원 텍스트 — 법률 한국어 어휘 학습에 최적

3. 공공데이터 다운로드 가이드

3-1. AI-Hub (aihub.or.kr) — 가장 핵심 소스

URL: https://aihub.or.kr
회원가입 조건: 내국인만 신청 가능 (실명인증)

다운로드 절차

1. 회원가입 → 로그인
2. 데이터 찾기 → 원하는 데이터셋 검색
3. 데이터셋 페이지에서 "다운로드" 버튼 클릭
4. 신청서 작성 (활용목적, 소속기관 등)
5. 승인 완료 후 API 키 발급
6. aihubshell CLI로 다운로드

aihubshell CLI 사용법

# 설치
pip install aihubshell

# 로그인
aihubshell -mode login -usr [아이디] -pwd [비밀번호]

# 데이터셋 다운로드 (datasetkey = DataSetSn)
aihubshell -mode d -datasetkey 71788   # 국가기록물 말뭉치
aihubshell -mode d -datasetkey 71795   # 국회 회의록
aihubshell -mode d -datasetkey 71739   # 특허 데이터
aihubshell -mode d -datasetkey 71723   # 판례 데이터
aihubshell -mode d -datasetkey 71852   # 공공 민원 상담

# 분할 압축 병합 (리눅스 필수)
find "다운로드폴더" -name "*.zip.part*" -print0 | sort -zt'.' -k2V | xargs -0 cat > output.zip
unzip output.zip

3-2. 법제처 국가법령정보 Open API

URL: https://open.law.go.kr
인증키: 무료 발급 (open.law.go.kr 회원가입)
라이선스: 공공누리 1유형 (자유 이용, 출처 표시)

주요 API 엔드포인트

BASE_URL="https://www.law.go.kr/DRF"

# 현행 법령 목록
curl "${BASE_URL}/lawSearch.do?OC=your_key&target=law&type=JSON&query=행정"

# 특정 법령 조문 전문
curl "${BASE_URL}/lawService.do?OC=your_key&target=law&ID=법령일련번호&type=JSON"

# 판례 검색
curl "${BASE_URL}/lawSearch.do?OC=your_key&target=prec&type=JSON&query=행정처분"

# 판례 전문 조회
curl "${BASE_URL}/lawService.do?OC=your_key&target=prec&ID=판례일련번호&type=JSON"

# 행정규칙 검색
curl "${BASE_URL}/lawSearch.do?OC=your_key&target=admrul&type=JSON"

Python 예시

import requests
import json

API_KEY = "your_api_key"
BASE = "https://www.law.go.kr/DRF"

def get_law_full_text(law_id):
    url = f"{BASE}/lawService.do"
    params = {"OC": API_KEY, "target": "law", "ID": law_id, "type": "JSON"}
    resp = requests.get(url, params=params)
    return resp.json()

def get_precedents(query, page=1):
    url = f"{BASE}/lawSearch.do"
    params = {"OC": API_KEY, "target": "prec", "type": "JSON",
              "query": query, "page": page, "display": 20}
    resp = requests.get(url, params=params)
    return resp.json()

3-3. KIPRIS 특허 데이터

URL: https://www.kipris.or.kr
API: https://plus.kipris.or.kr (KIPRIS Plus)
라이선스: 공공누리 1유형

KIPRIS Plus API 사용법

# 특허 검색 (출원인: 삼성)
curl "http://plus.kipris.or.kr/openapi/rest/patUtiModInfoSearchSevice/applicantNameSearch" \
  -G -d "applicantName=삼성전자" \
  -d "ServiceKey=your_key" \
  -d "pageNo=1" \
  -d "numOfRows=100" \
  -d "AbstractEng=true" \
  -d "AbstractKor=true"

# 특허 전문 (출원번호로 조회)
curl "http://plus.kipris.or.kr/openapi/rest/patUtiModInfoSearchSevice/applicationNumberSearchInfo" \
  -G -d "applicationNumber=1020120011990" \
  -d "ServiceKey=your_key" \
  -d "claimInfo=true" \   # 청구항
  -d "drawingInfo=true"

대용량 수집 전략

# 연도·기술분류별 전체 수집
# IPC 대분류: A(생활필수품) B(처리조작) C(화학) D(섬유) E(건설) F(기계) G(물리) H(전기)

import time
import requests

def collect_patents_by_ipc(ipc_code, start_year=2000, end_year=2024):
    """IPC 코드별 특허 수집"""
    all_patents = []
    for year in range(start_year, end_year + 1):
        page = 1
        while True:
            # KIPRIS Plus API 호출
            resp = requests.get(
                "http://plus.kipris.or.kr/openapi/rest/patUtiModInfoSearchSevice/ipcCpcSearchInfo",
                params={
                    "ipcNumber": ipc_code,
                    "startDate": f"{year}0101",
                    "endDate": f"{year}1231",
                    "pageNo": page,
                    "numOfRows": 100,
                    "ServiceKey": API_KEY,
                    "AbstractKor": "true",
                    "claimInfo": "true"
                }
            )
            data = resp.json()
            patents = data.get("response", {}).get("body", {}).get("items", [])
            if not patents:
                break
            all_patents.extend(patents)
            page += 1
            time.sleep(0.5)  # Rate limiting
    return all_patents

3-4. 국회 의안정보시스템 회의록

URL: https://likms.assembly.go.kr
Open API: https://open.assembly.go.kr
라이선스: 공공누리

Open API 사용법

import requests

def get_assembly_minutes(era, committee, page=1):
    """국회 회의록 검색"""
    url = "https://open.assembly.go.kr/portal/openapi/NPRLAPASTABMEETX"
    params = {
        "KEY": "your_api_key",
        "Type": "json",
        "pIndex": page,
        "pSize": 100,
        "DAESU": era,        # 대 (21, 22 등)
        "CMTEE_NM": committee # 위원회 명
    }
    return requests.get(url, params=params).json()

# 전체 회의록 URL 패턴
# http://likms.assembly.go.kr/record/mhs-60-010.do?conferNum=XXXXX

4. 전략적 수집 권고사항

우선순위 Matrix

우선순위	데이터셋	이유
🔴 즉시 (Priority 9-10)	AI-Hub 71788 (국가기록물 4억 토큰)	최대 규모 공공 텍스트, 즉시 사전학습 가능
🔴 즉시 (Priority 9-10)	AI-Hub 71739 (특허 62만건)	기술 도메인 전문어 학습, 대규모
🔴 즉시 (Priority 9-10)	법제처 Open API (법령+판례)	무료 무제한, 즉시 수집 가능
🟡 단기 (Priority 7-8)	AI-Hub 71723 (판례 고도화)	법률 QA/요약 데이터 최우선
🟡 단기 (Priority 7-8)	AI-Hub 71795 (국회 회의록)	입법 도메인, 정치 어휘
🟡 단기 (Priority 7-8)	HF `ducut91/korean-court-judgments` (163K)	즉시 다운로드, 추가 라벨 없이 사용
🟡 단기 (Priority 7-8)	HF `smhilee/korean-law-dataset`	법령 전체 조문 구조화, 즉시 사용
🟢 중기 (Priority 4-6)	KIPRIS Plus API 자체 수집	대용량이나 크롤링 필요
🟢 중기 (Priority 4-6)	국회 회의록 Open API 자체 수집	AI-Hub 외 원문 보완

추정 총 수집 가능 규모

소스	추정 크기
AI-Hub 공공 데이터 (4개 주요셋)	~5억 토큰 (원천 기준)
법제처 API (법령+판례 전체)	~2억 토큰
KIPRIS 특허 명세서 (AI-Hub 포함)	~5억 토큰
HuggingFace 법률 데이터셋	~1억 토큰
합계	~13억 토큰

5. 주의사항 및 제약

AI-Hub 내국인 제한: 외국 IP 또는 외국 법인은 신청 불가. VPN 우회도 규약 위반.
공공누리 라이선스: 출처 표시 의무. 상업적 이용 가능 (1유형). 연구 목적 자유.
개인정보: 민원 데이터 등 일부에 마스킹 처리 포함.
KIPRIS API 요청 제한: 일 호출 횟수 제한 있음 (계정당 ~50,000 건/일). 대용량 수집 시 비즈니스 계정 필요.
AI-Hub 데이터 분할 압축: 리눅스 환경에서 병합 필수. aihubshell CLI 사용 권장.
국회 Open API 인증키: open.assembly.go.kr 에서 무료 발급.
법제처 API: OC 파라미터에 영문 이메일 ID 사용 (별도 발급 불필요, 이메일로 바로 사용).

조사 완료: 2026-02-27 | 데이터 소스: AI-Hub, HuggingFace Hub, 법제처, KIPRIS, 국회 Open API

19 KiB Raw Permalink Blame History

한국어 정부/공공/행정/특허 도메인 데이터 전수 조사

1. 전체 목록 테이블

1-1. AI-Hub (aihub.or.kr) 데이터셋

1-2. HuggingFace Hub 데이터셋

1-3. 국가 공식 포털 (직접 수집 필요)

2. Top 3 상세 분석

🥇 #1: 국가기록물 대상 초거대 AI 학습 말뭉치 데이터

개요

데이터 구성

LLM 학습 활용 포인트

다운로드 방법

품질 평가

🥈 #2: 국가중점기술 대응 특허 데이터

개요

데이터 구성

LLM 학습 활용 포인트

데이터 포맷

🥉 #3: 법률/규정 텍스트 분석 데이터 (판례 고도화)

개요

데이터 구성

LLM 학습 활용 포인트

3. 공공데이터 다운로드 가이드

3-1. AI-Hub (aihub.or.kr) — 가장 핵심 소스

다운로드 절차

aihubshell CLI 사용법

3-2. 법제처 국가법령정보 Open API

주요 API 엔드포인트

Python 예시

3-3. KIPRIS 특허 데이터

KIPRIS Plus API 사용법

대용량 수집 전략

3-4. 국회 의안정보시스템 회의록

Open API 사용법

4. 전략적 수집 권고사항

우선순위 Matrix

추정 총 수집 가능 규모

5. 주의사항 및 제약

19 KiB

Raw Permalink Blame History