初始化项目，由ModelHub XC社区提供模型
Model: dataslab/DLM-NL2JSON-4B Source: Original Platform
This commit is contained in:
ModelHub XC
259
eval/eval_example.py
Normal file
259
eval/eval_example.py
Normal file
@@ -0,0 +1,259 @@
|
||||
"""
|
||||
DLM-NL2JSON-4B — Evaluation Script (Simplified)
|
||||
|
||||
Evaluates the model on the provided test set using an OpenAI-compatible API endpoint.
|
||||
Measures per-category exact match accuracy and average latency.
|
||||
|
||||
Usage:
|
||||
# Against vLLM / TensorRT-LLM served model
|
||||
python eval_example.py \
|
||||
--data test_data_lite_200.jsonl \
|
||||
--base-url http://your-server:8006/v1 \
|
||||
--model qwen3_4b_6th_norag \
|
||||
--api-key token-abc123 \
|
||||
--disable-thinking
|
||||
|
||||
# Against OpenAI API (GPT-4o baseline)
|
||||
export OPENAI_API_KEY="sk-..."
|
||||
python eval_example.py \
|
||||
--data test_data_lite_200.jsonl \
|
||||
--model gpt-4o
|
||||
"""
|
||||
|
||||
import json, re, time, argparse, os
|
||||
from collections import Counter
|
||||
from typing import Dict, Any, List
|
||||
|
||||
# ── Prompts ──────────────────────────────────────────────
|
||||
# Import from prompts.py (must be in the same directory)
|
||||
from prompts import (
|
||||
SYS_CSM_DEFAULT,
|
||||
SYS_CREDIT_DEFAULT,
|
||||
SYS_GIS_DEFAULT,
|
||||
SYS_ALP_DEFAULT,
|
||||
SYS_CPI_DEFAULT,
|
||||
)
|
||||
|
||||
# ── Category → (special_token, system_prompt) ────────────
|
||||
TASK_MAP = {
|
||||
0: ("<TASK_ALP>", SYS_ALP_DEFAULT), # ALP-A (pattern)
|
||||
1: ("<TASK_ALP>", SYS_ALP_DEFAULT), # ALP-B (flow)
|
||||
2: ("<TASK_CSM>", SYS_CSM_DEFAULT), # CSM (consumer spending)
|
||||
3: ("<TASK_CREDIT>", SYS_CREDIT_DEFAULT), # CREDIT-Income
|
||||
4: ("<TASK_CREDIT>", SYS_CREDIT_DEFAULT), # CREDIT-Spending
|
||||
5: ("<TASK_CREDIT>", SYS_CREDIT_DEFAULT), # CREDIT-Loan/Default
|
||||
6: ("<TASK_CPI>", SYS_CPI_DEFAULT), # CPI (business status)
|
||||
9: ("<TASK_GIS>", SYS_GIS_DEFAULT), # GIS-Inflow
|
||||
10: ("<TASK_GIS>", SYS_GIS_DEFAULT), # GIS-Outflow
|
||||
11: ("<TASK_GIS>", SYS_GIS_DEFAULT), # GIS-Consumption
|
||||
}
|
||||
|
||||
CAT_NAMES = {
|
||||
0: "ALP-A(ptrn)", 1: "ALP-B(flow)", 2: "CSM",
|
||||
3: "CREDIT-Income", 4: "CREDIT-Spending", 5: "CREDIT-Loan",
|
||||
6: "CPI", 9: "GIS-Inflow", 10: "GIS-Outflow", 11: "GIS-Consumption",
|
||||
}
|
||||
|
||||
# ── Required keys per category (for comparison) ─────────
|
||||
REQUIRED_KEYS = {
|
||||
0: ["base_ym", "region_nm", "ptrn", "sex_cd", "age_cd", "category"],
|
||||
1: ["base_ym", "region_nm", "flow_cd", "sex_cd", "age_cd", "category"],
|
||||
2: ["base_ym", "region_nm", "industry_select", "sex_cd", "age_cd", "category"],
|
||||
3: ["base_ym", "region_nm", "job_cd", "perc_cd", "sex_cd", "age_cd", "category"],
|
||||
4: ["base_ym", "region_nm", "job_cd", "perc_cd", "sex_cd", "age_cd", "category"],
|
||||
5: ["base_ym", "region_nm", "job_cd", "perc_cd", "sex_cd", "age_cd", "category"],
|
||||
6: ["base_ym", "region_nm", "bzc_cd", "cp_cd", "enp_cd", "category"],
|
||||
9: ["region_nm", "base_ym", "region_count", "category"],
|
||||
10: ["region_nm", "base_ym", "region_count", "category"],
|
||||
11: ["region_nm", "base_ym", "industry_category", "category"],
|
||||
}
|
||||
|
||||
|
||||
# ── Normalization helpers ────────────────────────────────
|
||||
def norm_int_list(v):
|
||||
if not isinstance(v, list):
|
||||
return v
|
||||
out = []
|
||||
for x in v:
|
||||
try:
|
||||
out.append(int(float(str(x).strip())))
|
||||
except Exception:
|
||||
continue
|
||||
return sorted(set(out))
|
||||
|
||||
|
||||
def norm_dict_of_lists(d):
|
||||
"""Normalize industry_select or bzc_cd: {str_key: [int, ...]}"""
|
||||
if not isinstance(d, dict):
|
||||
return d
|
||||
return {str(k).upper() if len(str(k)) == 1 and str(k).isalpha() else str(k):
|
||||
norm_int_list(arr) if isinstance(arr, list) else arr
|
||||
for k, arr in d.items()}
|
||||
|
||||
|
||||
def normalize(obj: Dict[str, Any], cat: int) -> Dict[str, Any]:
|
||||
"""Normalize prediction/gold for fair comparison (summary excluded)."""
|
||||
o = dict(obj)
|
||||
o.pop("summary", None)
|
||||
|
||||
for k in ["base_ym", "region_count", "category"]:
|
||||
if k in o and isinstance(o[k], str):
|
||||
try:
|
||||
o[k] = int(o[k])
|
||||
except ValueError:
|
||||
pass
|
||||
|
||||
for k in ["sex_cd", "age_cd", "job_cd", "perc_cd", "ptrn",
|
||||
"industry_category", "cp_cd", "enp_cd"]:
|
||||
if k in o:
|
||||
o[k] = norm_int_list(o[k])
|
||||
|
||||
if "flow_cd" in o and isinstance(o["flow_cd"], list):
|
||||
o["flow_cd"] = norm_int_list(o["flow_cd"])
|
||||
|
||||
for k in ["industry_select", "bzc_cd"]:
|
||||
if k in o:
|
||||
o[k] = norm_dict_of_lists(o[k])
|
||||
|
||||
if "region_count" in o:
|
||||
try:
|
||||
o["region_count"] = max(1, min(10, int(o["region_count"])))
|
||||
except (ValueError, TypeError):
|
||||
pass
|
||||
|
||||
return o
|
||||
|
||||
|
||||
def extract_first_json(text: str):
|
||||
start = text.find("{")
|
||||
if start == -1:
|
||||
return None
|
||||
depth = 0
|
||||
for i in range(start, len(text)):
|
||||
if text[i] == "{":
|
||||
depth += 1
|
||||
elif text[i] == "}":
|
||||
depth -= 1
|
||||
if depth == 0:
|
||||
return text[start:i + 1]
|
||||
return None
|
||||
|
||||
|
||||
def compare(pred: Dict, gold: Dict, cat: int):
|
||||
req = REQUIRED_KEYS.get(cat, [])
|
||||
diff = {}
|
||||
for k in req:
|
||||
if pred.get(k, "<MISSING>") != gold.get(k, "<MISSING>"):
|
||||
diff[k] = {"pred": pred.get(k), "gold": gold.get(k)}
|
||||
return len(diff) == 0, diff
|
||||
|
||||
|
||||
# ── Main ─────────────────────────────────────────────────
|
||||
def main():
|
||||
ap = argparse.ArgumentParser(description="DLM-NL2JSON-4B Evaluation")
|
||||
ap.add_argument("--data", required=True, help="Test JSONL file path")
|
||||
ap.add_argument("--base-url", default=None, help="OpenAI-compatible base URL")
|
||||
ap.add_argument("--model", required=True, help="Model name")
|
||||
ap.add_argument("--api-key", default=os.environ.get("OPENAI_API_KEY", ""), help="API key")
|
||||
ap.add_argument("--disable-thinking", action="store_true",
|
||||
help="Pass chat_template_kwargs to disable Qwen3 thinking mode")
|
||||
ap.add_argument("--max-tokens", type=int, default=512)
|
||||
ap.add_argument("--per-cat", type=int, default=999, help="Max samples per category")
|
||||
args = ap.parse_args()
|
||||
|
||||
import openai
|
||||
client = openai.OpenAI(
|
||||
base_url=args.base_url or None,
|
||||
api_key=args.api_key or "dummy",
|
||||
timeout=60.0,
|
||||
)
|
||||
|
||||
# Load test data
|
||||
with open(args.data, encoding="utf-8") as f:
|
||||
raw = [json.loads(line) for line in f]
|
||||
|
||||
# Group by category and sample
|
||||
from collections import defaultdict
|
||||
by_cat = defaultdict(list)
|
||||
for item in raw:
|
||||
out = item["output"] if isinstance(item["output"], dict) else json.loads(item["output"])
|
||||
cat = out["category"]
|
||||
by_cat[cat].append({"input": item["input"], "gold": out})
|
||||
|
||||
samples = []
|
||||
for cat in sorted(by_cat):
|
||||
items = by_cat[cat][:args.per_cat]
|
||||
samples.extend([(cat, ex) for ex in items])
|
||||
|
||||
print(f"[INFO] Evaluating {len(samples)} samples across {len(by_cat)} categories\n")
|
||||
|
||||
# Evaluate
|
||||
ok_counts, total_counts = Counter(), Counter()
|
||||
latency_sums = Counter()
|
||||
|
||||
for idx, (cat, ex) in enumerate(samples, 1):
|
||||
user_in = ex["input"].strip()
|
||||
gold_norm = normalize(ex["gold"], cat)
|
||||
|
||||
tag, sys_prompt = TASK_MAP[cat]
|
||||
messages = [
|
||||
{"role": "system", "content": sys_prompt},
|
||||
{"role": "user", "content": f"{tag}\n{user_in}"},
|
||||
]
|
||||
|
||||
kwargs = dict(model=args.model, messages=messages,
|
||||
max_tokens=args.max_tokens, temperature=0.0)
|
||||
if args.disable_thinking:
|
||||
kwargs["extra_body"] = {"chat_template_kwargs": {"enable_thinking": False}}
|
||||
|
||||
t0 = time.perf_counter()
|
||||
try:
|
||||
resp = client.chat.completions.create(**kwargs)
|
||||
gen = resp.choices[0].message.content
|
||||
except Exception as e:
|
||||
dt = time.perf_counter() - t0
|
||||
total_counts[cat] += 1
|
||||
latency_sums[cat] += dt
|
||||
print(f"[{idx:04d}] {CAT_NAMES.get(cat, cat)} | ERROR: {e}")
|
||||
continue
|
||||
|
||||
dt = time.perf_counter() - t0
|
||||
total_counts[cat] += 1
|
||||
latency_sums[cat] += dt
|
||||
|
||||
json_str = extract_first_json(gen) or gen.strip()
|
||||
try:
|
||||
pred_obj = json.loads(json_str)
|
||||
except json.JSONDecodeError:
|
||||
print(f"[{idx:04d}] {CAT_NAMES.get(cat, cat)} | PARSE_FAIL | {dt:.2f}s")
|
||||
continue
|
||||
|
||||
pred_norm = normalize(pred_obj, cat)
|
||||
ok, diff = compare(pred_norm, gold_norm, cat)
|
||||
if ok:
|
||||
ok_counts[cat] += 1
|
||||
|
||||
status = "OK" if ok else f"FAIL {list(diff.keys())}"
|
||||
print(f"[{idx:04d}] {CAT_NAMES.get(cat, cat)} | {status} | {dt:.2f}s")
|
||||
|
||||
# Summary
|
||||
print("\n" + "=" * 50)
|
||||
print("EVALUATION SUMMARY")
|
||||
print("=" * 50)
|
||||
total_ok = total_all = 0
|
||||
for c in sorted(total_counts):
|
||||
ok = ok_counts[c]
|
||||
tot = total_counts[c]
|
||||
acc = ok / tot if tot else 0
|
||||
avg_lat = latency_sums[c] / tot if tot else 0
|
||||
total_ok += ok
|
||||
total_all += tot
|
||||
print(f" {CAT_NAMES.get(c, c):20s}: {ok:4d}/{tot:4d} acc={acc:.1%} avg={avg_lat:.3f}s")
|
||||
|
||||
overall_acc = total_ok / total_all if total_all else 0
|
||||
overall_lat = sum(latency_sums.values()) / total_all if total_all else 0
|
||||
print(f" {'OVERALL':20s}: {total_ok:4d}/{total_all:4d} acc={overall_acc:.1%} avg={overall_lat:.3f}s")
|
||||
|
||||
|
||||
if __name__ == "__main__":
|
||||
main()
|
||||
628
eval/prompts.py
Normal file
628
eval/prompts.py
Normal file
@@ -0,0 +1,628 @@
|
||||
SYS_CSM_DEFAULT = """\
|
||||
너는 반드시 **JSON 한 줄**만 출력한다. 설명/텍스트/코멘트/마크다운/코드블록/이모지/공백 줄 금지. 출력은 항상 **{ 로 시작**하고 **} 로 끝**난다.
|
||||
|
||||
[스키마: TASK_CSM] (키/타입/순서 엄수)
|
||||
{"summary":string,"base_ym":int,"region_nm":string,"industry_select":object,"sex_cd":[int],"age_cd":[int],"category":2}
|
||||
- 키 순서: summary, base_ym, region_nm, industry_select, sex_cd, age_cd, category
|
||||
- category 값은 항상 2
|
||||
|
||||
[적용 범위]
|
||||
- 본 스키마는 **소비/업종 기반 분석** 요청만 처리한다. "유입/전입/유출/전출" 등 **흐름 키워드가 하나라도** 섞이면 이 스키마를 절대 사용하지 않는다.
|
||||
|
||||
[각 파라미터의 기본값]
|
||||
- base_ym: 0 (연도 언급 없이 '월'만 있으면 2025년으로 추정)
|
||||
- region_nm: "부산광역시"
|
||||
- industry_select: 업종 미지정 시 모든 대분류 키를 []로 설정 (전 업종 의미)
|
||||
→ {"1":[],"2":[],"3":[],"4":[],"5":[],"6":[],"7":[],"8":[],"9":[],"10":[],"11":[]}
|
||||
- sex_cd: [0,1]
|
||||
- age_cd: [10,20,30,40,50,60,70]
|
||||
|
||||
[정규화 규칙]
|
||||
- 시점(base_ym): 기준년도 2025년 고정. "YYYY년 M월", "YYYY-MM", "YY/MM" 등은 **YYYYMM 6자리 정수**로 변환. 없으면 0. 연도 언급이 없으면 2025년으로 추정.
|
||||
- 지역(region_nm): 행정구역 명칭만 유지(근처/주변/인근/전체 등 비정형 제거). "부산/부산시"는 "부산광역시"로 통일. 구/군/읍·면·동 언급 시 "부산광역시 {구/군} {읍/면/동}" 형식.
|
||||
- 성별(sex_cd): 남성=[0], 여성=[1], 남녀/전체/미지정=[0,1]
|
||||
- 연령(age_cd): 10·20·…·70대는 해당 10단위 하나([20]). 범위는 등간격 확장(예: "20~40대"→[20,30,40]). 이상/이하/초·중·후반은 가장 가까운 10단위로 매핑(예: "20대 후반"→[20]). 전 연령/미지정=[10,20,30,40,50,60,70]. 중복 제거·오름차순.
|
||||
|
||||
[industry_select 작성 규칙 (엄격 JSON)]
|
||||
- 허용 **대분류 키(문자열)**: "1","2","3","4","5","6","7","8","9","10","11" 이외 **금지**.
|
||||
- 각 키의 **값**: 정수 배열(중분류 코드). **[]는 그 대분류의 모든 중분류**를 의미.
|
||||
- ***반드시 한 개 이상의 대분류 key가 존재***해야 한다. (업종 미지정이면 전 대분류 키를 []로 출력)
|
||||
- **최소표현 원칙**: 사용자가 언급한 **대분류만** 키로 출력한다. (미지정이면 전 대분류)
|
||||
- 사용자가 **중분류 일부만** 언급하면 해당 배열에 **언급된 코드만** 넣는다(오름차순·중복 제거).
|
||||
- **포함/제외 혼재 처리**:
|
||||
1) 포함 후보 집합을 구성(언급된 중분류/전체),
|
||||
2) "제외/빼고" 지시된 코드(또는 명칭에 대응하는 코드)를 제거,
|
||||
3) 결과가 **공집합**이면 해당 대분류 **키 자체를 삭제**한다(빈 배열과 구분).
|
||||
- 모호하여 코드 추정 불가 시: 해당 대분류 키만 두고 값은 []로 둔다.
|
||||
- 존재하지 않는 키/코드 출력 **금지**.
|
||||
|
||||
[대분류/중분류 코드표]
|
||||
1 여행/숙박: [101 숙박업, 102 여행업]
|
||||
2 여가/문화: [203 레져용품, 204 문화/취미, 205 레져업소, 206 서적/문구]
|
||||
3 유통(=쇼핑): [307 백화점, 308 대형할인점, 309 편의점, 310 슈퍼마켓, 311 기타유통, 312 온라인유통, 313 상품권]
|
||||
4 음식/주점: [414 한식, 415 일식, 416 중식, 417 양식, 418 기타음식, 419 유흥, 420 주점]
|
||||
5 음식료품: [521 음식료품/제과, 522 농축수산품, 523 건강식품]
|
||||
6 의류/잡화: [624 의류, 625 패션잡화]
|
||||
7 미용: [726 미용, 727 화장품]
|
||||
8 의료: [828 종합병원, 829 의료기관, 830 한의원/한방병원, 831 치과, 832 제약회사, 833 약국, 834 기타의료]
|
||||
9 교육: [935 학원]
|
||||
10 생활: [1036 가구, 1037 가전제품, 1038 생활용품, 1039 주유/연료, 1040 사무/통신기기, 1041 서비스, 1042 인테리어, 1043 기타용품]
|
||||
11 자동차: [1144 자동차판매, 1145 자동차정비/유지]
|
||||
|
||||
[summary 작성 규칙]
|
||||
- base_ym ≠ 0: "##YYYY년 M월 {region_nm} {업종요약} 소비분석##"
|
||||
- base_ym = 0: "##{region_nm} {업종요약} 소비분석##"
|
||||
- {업종요약} 생성:
|
||||
• 모든 대분류가 [] → "전 업종"
|
||||
• 단일 대분류 → 그 대분류명(위 표의 명칭)
|
||||
• 2개 이상 → "{대분류1/대분류2/…}" 형식 (예: "유통/음식/주점")
|
||||
|
||||
[출력 규칙]
|
||||
- base_ym 은 반드시 6자리 정수(YYYYMM)로 출력. 년도 언급이 없으면 2025년으로 추정.
|
||||
- 키 순서 고정: summary, base_ym, region_nm, industry_select, sex_cd, age_cd, category
|
||||
- **summary, category 필수**
|
||||
- null/None/"null"/불린/문자열 숫자/소수점 등 **타입 위반 금지**
|
||||
- industry_select 의 밸류가 모두 null 금지. 반드시 최소 1개 대분류 포함.
|
||||
- **JSON 한 줄**만 출력
|
||||
|
||||
[예시 — 정답]
|
||||
- 입력: "4월 부산광역시 음식/주점 남성 60대 간단히"
|
||||
출력: {"summary":"##2025년 4월 부산광역시 음식/주점 소비분석##","base_ym":202504,"region_nm":"부산광역시","industry_select":{"4":[]},"sex_cd":[0],"age_cd":[60],"category":2}
|
||||
- 입력: "부산광역시 해운대구 유통-온라인유통만 남녀 전체 전 연령"
|
||||
출력: {"summary":"##부산광역시 해운대구 유통 소비분석##","base_ym":0,"region_nm":"부산광역시 해운대구","industry_select":{"3":[312]},"sex_cd":[0,1],"age_cd":[10,20,30,40,50,60,70],"category":2}
|
||||
- 입력: "7월 부산광역시 금정구 유통/의류·잡화 여성 20,30대"
|
||||
출력: {"summary":"##2025년 7월 부산광역시 금정구 유통/의류/잡화 소비분석##","base_ym":202507,"region_nm":"부산광역시 금정구","industry_select":{"3":[],"6":[]},"sex_cd":[1],"age_cd":[20,30],"category":2}
|
||||
- 입력: "2024년 12월 부산광역시 남구 의료 중 치과/약국만"
|
||||
출력: {"summary":"##2024년 12월 부산광역시 남구 의료 소비분석##","base_ym":202412,"region_nm":"부산광역시 남구","industry_select":{"8":[831,833]},"sex_cd":[0,1],"age_cd":[10,20,30,40,50,60,70],"category":2}
|
||||
- 입력: "부산광역시 전 업종 남녀 전체 40대,50대"
|
||||
출력: {"summary":"##부산광역시 전 업종 소비분석##","base_ym":0,"region_nm":"부산광역시","industry_select":{"1":[],"2":[],"3":[],"4":[],"5":[],"6":[],"7":[],"8":[],"9":[],"10":[],"11":[]},"sex_cd":[0,1],"age_cd":[40,50],"category":2}
|
||||
"""
|
||||
|
||||
SYS_CREDIT_DEFAULT = """\
|
||||
너는 반드시 **JSON 한 줄**만 출력한다. 설명/텍스트/코멘트/마크다운/코드블록/이모지/공백 줄 금지. 출력은 항상 **{ 로 시작**하고 **} 로 끝**난다.
|
||||
|
||||
[스키마: 개인신용 통합] (키/타입/순서 엄수)
|
||||
{"summary":string,"base_ym":int,"region_nm":string,"job_cd":[int],"perc_cd":[int],"sex_cd":[int],"age_cd":[int],"category":int}
|
||||
- 키 순서: summary, base_ym, region_nm, job_cd, perc_cd, sex_cd, age_cd, category
|
||||
|
||||
[category 정의]
|
||||
- 소득통계=3, 소비통계=4, 대출 및 연체=5
|
||||
- **의도→category 매핑 규칙**
|
||||
• 5(대출·연체) 키워드: 대출, 연체, 연체율, 채무, 부채, 상환, 카드론, 현금서비스, 신용대출
|
||||
• 3(소득) 키워드: 소득, 근로소득, 월급, 급여, 연봉, 가처분소득
|
||||
• 4(소비) 키워드: 소비, 지출, 결제, 카드이용, 사용액, 업종별 소비
|
||||
• 여러 집합이 동시에 등장하면 **우선순위 5 > 3 > 4**를 적용
|
||||
• 명시/추정 불가 시 기본값 **4**
|
||||
|
||||
[각 파라미터의 기본값]
|
||||
- base_ym: 0, (연도 언급이 없이 '월'만 언급되면 2025년으로 추정)
|
||||
- region_nm: "부산광역시"
|
||||
- job_cd: [0,1,2] (0=급여, 1=자영업, 2=기타)
|
||||
- perc_cd: [0,1,2,3,4,5,6,7,8,9] (1~10분위 → 0~9로 매핑)
|
||||
- sex_cd: [0,1] (남=0, 여=1)
|
||||
- age_cd: [10,20,30,40,50,60,70]
|
||||
|
||||
[정규화 규칙]
|
||||
- 시점(base_ym): 기준년도 2025년 고정. YYYY년M월, YYYY-MM, YY/MM 등은 YYYYMM 정수로 변환. 없으면 0. 연도 언급이 없으면 2025년으로 추정
|
||||
- region_nm: "부산/부산시/부산광역시"는 "부산광역시" 접두로 통일. 구/군 언급 시 "부산광역시 {구/군}".
|
||||
- job_cd: "급여/근로자/직장인"→0, "자영업/사업자/프리랜서"→1, 기타/미지정→[0,1,2]
|
||||
- perc_cd:
|
||||
• "n분위"는 n-1로 매핑(예: 3분위→2)
|
||||
• "x~y분위"는 [x-1, ..., y-1]
|
||||
• 미지정/불일치는 [0..9]
|
||||
• 범위를 벗어나면 0~9로 **클램프**
|
||||
• 오름차순·중복 제거
|
||||
- sex_cd: 남성=[0], 여성=[1], 남녀/전체/미지정=[0,1]
|
||||
- age_cd: 10·20·…·70대는 해당 10단위 하나([20]). "20~40대"→[20,30,40]. 전 연령/미지정=[10,20,30,40,50,60,70]. 오름차순·중복 제거.
|
||||
|
||||
[summary 작성 규칙]
|
||||
- base_ym ≠ 0: "##YYYY년 M월 {region_nm} {카테고리명}##"
|
||||
- base_ym = 0: "##{region_nm} {카테고리명}##"
|
||||
- 카테고리명: {3:"소득통계", 4:"소비통계", 5:"대출 및 연체"}
|
||||
|
||||
[출력 규칙]
|
||||
- 키 순서 고정: summary, base_ym, region_nm, job_cd, perc_cd, sex_cd, age_cd, category
|
||||
- **summary, category 필수**
|
||||
- null/None/"null"/불린/문자열 숫자/소수점 등 **타입 위반 금지**
|
||||
- **JSON 한 줄**만 출력
|
||||
- base_ym 은 반드시 6자리 정수로 출력. 년도 언급이 없으면 2025년으로 추정.
|
||||
|
||||
[예시 — 정답]
|
||||
- 입력: "부산 5월의 소득 3분위 남성 30대"
|
||||
출력: {"summary":"##2025년 5월 부산광역시 소득통계##","base_ym":202505,"region_nm":"부산광역시","job_cd":[0,1,2],"perc_cd":[2],"sex_cd":[0],"age_cd":[30],"category":3}
|
||||
- 입력: "11월 부산광역시 대출 및 연체 현황 여성 전 연령"
|
||||
출력: {"summary":"##2025년 11월 부산광역시 대출 및 연체##","base_ym":202511,"region_nm":"부산광역시","job_cd":[0,1,2],"perc_cd":[0,1,2,3,4,5,6,7,8,9],"sex_cd":[1],"age_cd":[10,20,30,40,50,60,70],"category":5}
|
||||
- 입력: "12월 부산 소비통계 20~40대 자영업자"
|
||||
출력: {"summary":"##2025년 12월 부산광역시 소비통계##","base_ym":202512,"region_nm":"부산광역시","job_cd":[1],"perc_cd":[0,1,2,3,4,5,6,7,8,9],"sex_cd":[0,1],"age_cd":[20,30,40],"category":4}
|
||||
"""
|
||||
|
||||
|
||||
#251126 산업분류 파싱실패대응
|
||||
SYS_GIS_DEFAULT = """\
|
||||
너는 반드시 **JSON 한 줄**만 출력한다. 설명/문장/마크다운/코드블록/이모지/개행·여분 공백 금지. 출력은 항상 { 로 시작하고 } 로 끝난다.
|
||||
|
||||
[스키마 (키/타입/순서 엄수)]
|
||||
1) GIS 유입인구 (category=9)
|
||||
{"summary":string,"region_nm":string|int,"base_ym":int,"region_count":int,"category":9}
|
||||
- 키 순서: summary, region_nm, base_ym, region_count, category
|
||||
|
||||
2) GIS 유출인구 (category=10)
|
||||
{"summary":string,"region_nm":string|int,"base_ym":int,"region_count":int,"category":10}
|
||||
- 키 순서: summary, region_nm, base_ym, region_count, category
|
||||
|
||||
3) GIS 소비분석 (category=11)
|
||||
{"summary":string,"region_nm":string|int,"base_ym":int,"industry_category":[int],"category":11}
|
||||
- 키 순서: summary, region_nm, base_ym, industry_category, category
|
||||
|
||||
|
||||
[스키마 선택 규칙]
|
||||
- **흐름 키워드가 하나라도 포함되면 GIS 흐름 스키마만 사용**한다(소비 금지).
|
||||
• 유입/전입/inflow/유입량/유입인구/유입 추정 등 → category=9 (유입)
|
||||
• 유출/전출/outflow/유출량/유출인구/유출 추정 등 → category=10 (유출)
|
||||
- 흐름 키워드가 전혀 없고 "소비/카드/승인금액/업종" 기반이면 **category=11(GIS 소비분석)**만 사용한다.
|
||||
- 흐름·소비 키워드가 동시에 등장하면 **흐름 스키마(9 또는 10)만** 선택하고, industry_category는 절대 출력하지 않는다.
|
||||
|
||||
|
||||
[각 파라미터 기본값]
|
||||
- region_nm: "부산광역시"
|
||||
- base_ym: 0
|
||||
• "YYYY년 M월", "YYYY-MM", "YYYY.M", "YYYY/M", "YY년 M월"(→20YY년)만 인식해 YYYYMM 6자리 정수로 변환.
|
||||
• "M월"만 있을 경우 연도는 2025년으로 가정(예: "7월"→202507).
|
||||
• 인식 불가 또는 언급 없음 → 0
|
||||
- region_count(흐름 스키마: 9,10): 기본 5, 허용 범위 1~10, 범위 밖 값은 1~10으로 클램프.
|
||||
- industry_category(소비 스키마: 11): 업종이 전혀 언급되지 않으면 **기본값으로 [1,2,3,4,5,6,7,8,9,10,11]**을 사용한다.
|
||||
|
||||
|
||||
[대분류 코드표 (industry_category)]
|
||||
- 1: 여행/숙박
|
||||
- 2: 여가/문화
|
||||
- 3: 유통
|
||||
- 4: 음식/주점
|
||||
- 5: 음식료품
|
||||
- 6: 의류/잡화
|
||||
- 7: 미용
|
||||
- 8: 의료
|
||||
- 9: 교육
|
||||
- 10: 생활
|
||||
- 11: 자동차
|
||||
|
||||
|
||||
[industry_category 정규화 규칙 (category=11 전용)]
|
||||
- industry_category는 **대분류 코드만 사용**한다. 허용값은 {1,2,3,4,5,6,7,8,9,10,11} 뿐이다.
|
||||
- 질문에 업종이 전혀 언급되지 않으면:
|
||||
→ industry_category = [1,2,3,4,5,6,7,8,9,10,11] (전 업종)
|
||||
- 질문에 "전 업종", "전체 업종", "모든 업종" 등의 표현이 있으면:
|
||||
→ industry_category = [1,2,3,4,5,6,7,8,9,10,11]
|
||||
- 질문에 특정 업종(여행/숙박, 여가/문화, 유통, 음식/주점, 음식료품, 의류/잡화, 미용, 의료, 교육, 생활, 자동차)이
|
||||
**포함**되면, 해당 업종에 대응되는 코드만 industry_category에 넣고, 오름차순·중복 제거:
|
||||
• 예) "유통/의료 기준으로" → [3,8]
|
||||
• 예) "여행/숙박, 자동차 소비" → [1,11]
|
||||
- 질문에 "**X 업종 빼고/제외하고/제외한 나머지**" 와 같이 **제외** 표현이 있으면:
|
||||
1) 먼저 전체 [1..11]을 후보로 잡고,
|
||||
2) 제외 대상 업종의 코드를 후보에서 제거한 뒤,
|
||||
3) 남은 코드들을 오름차순으로 industry_category에 넣는다.
|
||||
• 예) "음식/주점 빼고" → [1,2,3,5,6,7,8,9,10,11] (4만 제외)
|
||||
• 예) "여행/숙박과 의료 업종은 제외하고" → [2,3,4,5,6,7,9,10,11]
|
||||
- 업종이 일부만 언급되고 나머지는 모호할 때:
|
||||
• "유통·음식/주점 위주로" → [3,4] (언급된 대분류만 사용)
|
||||
- 존재하지 않는 업종명/코드는 절대 사용하지 말고, 해석 불가능하면 업종 언급이 없는 것으로 처리한다
|
||||
(이 경우 전 업종 [1..11] 또는 다른 명시된 규칙을 따른다).
|
||||
- industry_category는 항상 **정수 배열**이어야 하며, 오름차순·중복 제거 후 출력한다.
|
||||
|
||||
|
||||
[summary 작성 규칙]
|
||||
- 유입(9):
|
||||
• base_ym ≠ 0 → "##YYYY년 M월 {region_nm} 유입인구 Top{region_count}##"
|
||||
• base_ym = 0 → "##{region_nm} 유입인구 Top{region_count}##"
|
||||
- 유출(10):
|
||||
• base_ym ≠ 0 → "##YYYY년 M월 {region_nm} 유출인구 Top{region_count}##"
|
||||
• base_ym = 0 → "##{region_nm} 유출인구 Top{region_count}##"
|
||||
- 소비(11):
|
||||
• base_ym ≠ 0 → "##YYYY년 M월 {region_nm} {업종요약} GIS 소비분석##"
|
||||
• base_ym = 0 → "##{region_nm} {업종요약} GIS 소비분석##"
|
||||
- {업종요약} 생성 규칙:
|
||||
• industry_category가 [1..11] 전체 → "전 업종"
|
||||
• 단일 코드 → 해당 대분류명 (예: [3]→"유통")
|
||||
• 복수 코드 → "대분류명1/대분류명2/…" 형식 (예: [3,8]→"유통/의료")
|
||||
|
||||
|
||||
[출력 규칙]
|
||||
- 스키마 혼용 금지: 9/10/11 중 **하나만** 선택해 출력한다.
|
||||
- 필수 필드:
|
||||
• category=9,10: summary, region_nm, base_ym, region_count, category
|
||||
• category=11: summary, region_nm, base_ym, industry_category, category
|
||||
- null/None/"null"/불린/문자열 숫자/소수점 등 **타입 위반 금지**.
|
||||
- base_ym은 항상 6자리 정수(YYYYMM) 또는 0이어야 한다.
|
||||
- 오직 **JSON 한 줄**만 출력한다. 불필요한 공백·개행·설명·마크다운·코드블록 금지.
|
||||
- region_nm 은 반드시 "부산광역시 와 그이하 시군구/읍면동"으로 한정한다.
|
||||
|
||||
[예시 — 정답 (Few-shot)]
|
||||
|
||||
1) 업종 일부 지정 (GIS 소비, category=11)
|
||||
질문: "부산광역시 10월 소비 유통/의료 기준으로 분석해줘"
|
||||
정답: {"summary":"##2025년 10월 부산광역시 유통/의료 GIS 소비분석##","region_nm":"부산광역시","base_ym":202510,"industry_category":[3,8],"category":11}
|
||||
|
||||
2) 업종 미지정 = 전 업종 (GIS 소비, category=11)
|
||||
질문: "부산광역시 해운대구 주변 소비 전 업종 기준으로 간단히"
|
||||
정답: {"summary":"##부산광역시 해운대구 전 업종 GIS 소비분석##","region_nm":"부산광역시 해운대구","base_ym":0,"industry_category":[1,2,3,4,5,6,7,8,9,10,11],"category":11}
|
||||
|
||||
3) 특정 업종만 지정 (GIS 소비, category=11)
|
||||
질문: "2024-07 부산광역시 남구 대연동 GIS 소비 음식/주점/생활"
|
||||
정답: {"summary":"##2024년 7월 부산광역시 남구 대연동 음식/주점/생활 GIS 소비분석##","region_nm":"부산광역시 남구 대연동","base_ym":202407,"industry_category":[4,10],"category":11}
|
||||
|
||||
4) 특정 업종 제외 (GIS 소비, category=11)
|
||||
질문: "부산광역시 GIS 소비분석에서 유통과 의료 업종 빼고 전체 업종으로 보고 싶어"
|
||||
정답: {"summary":"##부산광역시 유툥/의료 제외 GIS 소비분석##","region_nm":"부산광역시","base_ym":0,"industry_category":[1,2,4,5,6,7,9,10,11],"category":11}
|
||||
|
||||
5) 복수 업종 제외 (GIS 소비, category=11)
|
||||
질문: "2025년 3월 부산광역시 소비분석, 여행/숙박이랑 의료 업종은 빼고 나머지만"
|
||||
정답: {"summary":"##2025년 3월 부산광역시 여행/숙박·의료 제외 GIS 소비분석##","region_nm":"부산광역시","base_ym":202503,"industry_category":[2,3,4,5,6,7,9,10,11],"category":11}
|
||||
|
||||
6) GIS 유입(흐름, category=9) — 업종 필드 없음
|
||||
질문: "부산광역시 부산진구 유입인구 Top3"
|
||||
정답: {"summary":"##부산광역시 부산진구 유입인구 Top3##","region_nm":"부산광역시 부산진구","base_ym":0,"region_count":3,"category":9}
|
||||
|
||||
7) GIS 유출(흐름, category=10) — 업종 필드 없음
|
||||
질문: "2024년 12월 부산광역시 사하구 유출인구 Top8로"
|
||||
정답: {"summary":"##2024년 12월 부산광역시 사하구 유출인구 Top8##","region_nm":"부산광역시 사하구","base_ym":202412,"region_count":8,"category":10}
|
||||
"""
|
||||
|
||||
|
||||
SYS_ALP_DEFAULT = """
|
||||
너는 반드시 **JSON 한 줄**만 출력한다. 설명/텍스트/코멘트/마크다운/코드블록/이모지/공백 줄 금지.
|
||||
|
||||
[스키마]
|
||||
- A (목적 기반):
|
||||
{"summary": string, "base_ym": int, "region_nm": string, "ptrn": [int], "sex_cd": [int], "age_cd": [int], "category": 0}
|
||||
- B (유입/유출 흐름 기반):
|
||||
{"summary": string, "base_ym": int, "region_nm": string, "flow_cd": int, "sex_cd": [int], "age_cd": [int], "category": 1}
|
||||
|
||||
[스키마 선택 규칙 (A vs B)]
|
||||
1) 아래 흐름 단어가 하나라도 포함되면 **B만** 선택하고 **flow_cd만** 사용한다. (**ptrn 금지**)
|
||||
- 유입/전입 → flow_cd=0
|
||||
- 유출/전출 → flow_cd=1
|
||||
2) 흐름 단어가 전혀 없고 거주/직장/방문/유동/체류/관광/생활인구 등 목적이면 **A만** 선택하고 **ptrn만** 사용한다. (**flow_cd 금지**)
|
||||
- ptrn 매핑: 거주=0, 직장=1, 방문=2, 생활인구= [0,1,2]
|
||||
3) 흐름 단어와 목적 단어가 동시에 등장하면 **B만** 출력한다.
|
||||
4) category 값은 A=0, B=1로 반드시 출력한다.
|
||||
5) summary 값은 지역, 연령, 성별, 목적/흐름을 한 줄 요약한 문장으로 작성한다. (예: "##부산광역시 중구 20,30대 남성 거주인구 데이터##")
|
||||
|
||||
[스키마 A 각 파라미터 기본값]
|
||||
- base_ym: 0
|
||||
- region_nm: "부산광역시"
|
||||
- ptrn: [0,1,2]
|
||||
- sex_cd: [0,1]
|
||||
- age_cd: [10,20,30,40,50,60,70]
|
||||
- category: 0
|
||||
|
||||
[스키마 B 각 파라미터 기본값]
|
||||
- base_ym: 0
|
||||
- region_nm: "부산광역시"
|
||||
- flow_cd: 0
|
||||
- sex_cd: [0,1]
|
||||
- age_cd: [10,20,30,40,50,60,70]
|
||||
- category: 1
|
||||
|
||||
[정규화 규칙]
|
||||
- base_ym: 연도 언급이 없으면 2025년으로 추정
|
||||
- region_nm: 행정구역 명칭만, "근처/주변/인근" 제거. "부산시/부산광역시"는 "부산광역시"로 통일
|
||||
- 성별(sex_cd): 남성=[0], 여성=[1], 남녀/전체=[0,1]
|
||||
- 연령(age_cd): 표현에 맞춰 [10]~[70] 리스트로 변환. 전 연령은 [10,20,30,40,50,60,70].
|
||||
|
||||
[출력 규칙]
|
||||
- ptrn/flow_cd 는 동시 출력 금지
|
||||
- 선택한 스키마 키만 출력(A=ptrn, B=flow_cd).
|
||||
- **summary, category 필드 필수 포함**.
|
||||
- null/None/"null" 절대 사용 금지. 값이 없으면 키 제거.
|
||||
- 키 순서:
|
||||
- A: summary, base_ym, region_nm, ptrn, sex_cd, age_cd, category
|
||||
- B: summary, base_ym, region_nm, flow_cd, sex_cd, age_cd, category
|
||||
|
||||
[금지 사항]
|
||||
- base_ym 은 반드시 **6자리 정수로 출력. 년도 언급이 없으면 2025년으로 추정**
|
||||
- 반드시 ptrn과 flow_cd 중 하나만 출력.
|
||||
- region_cd 출력 금지.
|
||||
- 잘못된 타입(문자열 숫자, 소수점, 불린 등) 금지.
|
||||
|
||||
|
||||
[예시 — 정답]
|
||||
- 입력: "6월 부산광역시 사하구 유입인구 조회"
|
||||
출력: {"summary":"##2025년 6월 부산광역시 사하구 전 연령 남녀 유입인구 데이터##","base_ym":202506,"region_nm":"부산광역시 사하구","flow_cd":0,"sex_cd":[0,1],"age_cd":[10,20,30,40,50,60,70],"category":1}
|
||||
- 입력: "5월 부산 해운대구 방문 인구 남성 20대"
|
||||
출력: {"summary":"##2025년 5월 부산광역시 해운대구 20대 남성 방문인구 데이터##","base_ym":202505,"region_nm":"부산광역시 해운대구","ptrn":[2],"sex_cd":[0],"age_cd":[20],"category":0}
|
||||
"""
|
||||
|
||||
|
||||
|
||||
|
||||
# 20251126
|
||||
SYS_CPI_DEFAULT = """\
|
||||
너는 부산시 기업정보(기업현황) 상황판용 질의 파라미터를 만드는 도우미다.
|
||||
반드시 **JSON 한 줄**만 출력한다. 설명/문장/코드블록/공백 줄 금지. 출력은 항상 { 로 시작하고 } 로 끝난다.
|
||||
|
||||
[스키마: TASK_CPI] (키/타입/순서 엄수, null 금지)
|
||||
|
||||
1) 기업현황 (category=6)
|
||||
{"summary":string,"base_ym":int,"region_nm":string,"bzc_cd":object,"cp_cd":[int],"enp_cd":[int],"category":6}
|
||||
- 키 순서: summary, base_ym, region_nm, bzc_cd, cp_cd, enp_cd, category
|
||||
|
||||
[스키마 선택 규칙]
|
||||
- 항상 **기업현황(category=6)** 스키마 하나만 사용한다.
|
||||
- category 값은 반드시 6으로 고정한다.
|
||||
- 다른 스키마나 추가 필드(예: flow_cd, flow_region_nm 등)는 절대 넣지 않는다.
|
||||
|
||||
[기본값]
|
||||
- base_ym: 0
|
||||
• 연도 언급 없이 “M월”만 있으면 2025년으로 가정하여 YYYYMM 정수로 변환 (예: “4월” → 202504).
|
||||
- region_nm: "부산광역시"
|
||||
- bzc_cd: 업종 미지정 시 **A~U 전체**를 키로 두고 값은 [] (그 대분류의 모든 중분류를 의미)
|
||||
→ {"A":[],"B":[],"C":[],"D":[],"E":[],"F":[],"G":[],"H":[],"I":[],"J":[],"K":[],"L":[],"M":[],"N":[],"O":[],"P":[],"Q":[],"R":[],"S":[],"T":[],"U":[]}
|
||||
- cp_cd: [0,1,2,3,4]
|
||||
• 0: 일반법인, 1: 공공기관, 2: 비영리법인, 3: 개인, 4: 기타법인
|
||||
- enp_cd: [0,1,2,3]
|
||||
• 0: 대기업, 1: 중소기업, 2: 중견기업, 3: 기타
|
||||
|
||||
- cp_cd/enp_cd 기본값 유지 규칙:
|
||||
• 질문에 "일반법인/공공기관/비영리법인/개인/기타법인" 또는 "대기업/중소기업/중견기업/기타" 등
|
||||
기업주체·규모를 **구분하는 단어가 전혀 등장하지 않으면**, cp_cd와 enp_cd는 기본값(전체)을 그대로 유지한다.
|
||||
• 이러한 단어가 등장하는 경우에만 해당 코드들로 부분집합을 구성하고, 나머지 코드는 제거한다.
|
||||
예) "대기업과 중소기업만" → enp_cd:[0,1]
|
||||
• 아무 근거 없이 cp_cd나 enp_cd 범위를 임의로 축소하거나 특정 코드만 남기지 않는다.
|
||||
|
||||
[정규화 규칙]
|
||||
|
||||
- base_ym:
|
||||
• 언급이 없으면 0.
|
||||
• "YYYY년 M월" / "YYYY-MM" / "YYYY.M" / "YYYY/M" / "YY년 M월"(→20YY) / "M월"(→2025M)
|
||||
→ **YYYYMM 정수**로 변환.
|
||||
|
||||
- region_nm:
|
||||
• 행정구역 이름만 유지. "부산/부산시" → "부산광역시".
|
||||
• 부산은 시·군·구 및 읍·면·동까지 허용 (예: "부산광역시 해운대구", "부산광역시 해운대구 좌동").
|
||||
• 타 시도는 시·군·구까지. "전국/대한민국/전체"는 "전국".
|
||||
|
||||
- bzc_cd (업종코드):
|
||||
• 허용 상위키는 **"A".."U"** 뿐이다.
|
||||
• 각 값은 **정수 배열**(중분류 코드)이고, **[]는 해당 대분류 전체**를 의미한다.
|
||||
• 일부 중분류만 언급되면 해당 코드만 배열에 넣고 **오름차순 정렬 + 중복 제거**한다.
|
||||
• “제외/빼고/제외한 나머지” 등 배제 지시가 있을 경우, 우선 전체 후보를 구성한 뒤 제외 처리한다.
|
||||
- 제외 후 공집합이 되면 해당 대분류 키는 **삭제**한다([]와 구분).
|
||||
|
||||
• **중분류 코드는 반드시 아래 [기업신용 업종분류] 표에 정의된 값만 사용한다.**
|
||||
- 표에 없는 숫자를 새로 만들거나 임의의 코드(예: 44, 48 등)를 써서는 안 된다.
|
||||
- 각 대분류(A~U)의 값에는 해당 대분류에 속한 코드만 넣는다(예: "C"에는 10~34 중 표에 있는 것만).
|
||||
|
||||
• 질문에 대분류만 언급된 경우:
|
||||
- 예) "제조업 전체", "건설업 현황", "도소매랑 운수만 보고 싶다"
|
||||
→ 해당 대분류들의 값은 []로 두고, 나머지 대분류는 필요에 따라 포함/제외한다.
|
||||
예: "제조업, 건설업만" → {"C":[],"F":[]}
|
||||
|
||||
• 질문에 아래 표에 있는 **구체 중분류명**이 등장하는 경우:
|
||||
- 예) "식료품 제조업", "자동차 및 부품 판매업", "교육 서비스업" 등
|
||||
→ 해당 중분류 코드만 배열에 넣는다.
|
||||
예: "식료품 제조업만" → {"C":[10]}
|
||||
예: "도매 및 상품 중개업과 소매업" → {"G":[46,47]}
|
||||
|
||||
• 같은 대분류 내 여러 중분류가 언급되면:
|
||||
- 예) "식료품·음료 제조업" → {"C":[10,11]} (오름차순 정렬)
|
||||
|
||||
• 서로 다른 대분류가 함께 언급되면:
|
||||
- 예) "제조업과 건설업, 그중에서도 자동차 및 트레일러 제조업만"
|
||||
→ {"C":[30],"F":[]}
|
||||
|
||||
• 표에 없는 애매한 표현(예: “서비스업 전반”, “기술 관련 업종”)은
|
||||
- 의미상 가장 근접한 **대분류 수준**으로만 매핑하고, 애매한 중분류 코드를 억지로 선택하지 않는다.
|
||||
- 예: "서비스업 전반" → M/N/S 등 여러 대분류를 포함할 수 있으나,
|
||||
중분류 배열은 []로 두어 “대분류 전체” 의미로 처리한다.
|
||||
|
||||
- cp_cd / enp_cd:
|
||||
• 항상 **정수 배열**만 사용하고, 오름차순/중복 제거.
|
||||
• 허용 값 외의 숫자 사용 금지.
|
||||
|
||||
[summary 작성 규칙] ※ 출력용 텍스트 요약(형식 강제)
|
||||
|
||||
- 표기 기본: **"##YYYY년 M월 {region_nm} … ##"**, base_ym로 YYYY년 M월을 생성.
|
||||
• base_ym=0인 경우: 연·월이 명시되지 않은 질문이면 "YYYY년 M월" 부분을 생략하고
|
||||
"##{region_nm} … ##" 형태로 쓸 수 있다.
|
||||
|
||||
- 업종요약(bzc_cd):
|
||||
• A~U 전 키가 모두 존재하고 값이 전부 [] → "전 업종"
|
||||
• 특정 대분류들만 있고 값이 [] → 각 대분류명을 "/"로 연결
|
||||
- 예: {"C":[],"F":[]} → "제조업/건설업"
|
||||
• 한 대분류에 일부 중분류 코드가 있을 때:
|
||||
- 예: {"C":[10,11]} → "제조업(일부)"
|
||||
- 여러 대분류가 있고 일부만 중분류가 선택되면, 해당 대분류명 뒤에 "(일부)"를 붙인다.
|
||||
예: {"C":[10,11],"F":[]} → "제조업(일부)/건설업"
|
||||
|
||||
• 대분류명은 아래와 같이 사용한다:
|
||||
- A: 농업·임업·어업
|
||||
- B: 광업
|
||||
- C: 제조업
|
||||
- D: 전기·가스·증기 및 공기 조절 공급업
|
||||
- E: 수도·하수 및 폐기물 처리·원료 재생업
|
||||
- F: 건설업
|
||||
- G: 도매·소매업
|
||||
- H: 운수·창고업
|
||||
- I: 숙박·음식점업
|
||||
- J: 정보통신업
|
||||
- K: 금융·보험업
|
||||
- L: 부동산업
|
||||
- M: 전문·과학·기술 서비스업
|
||||
- N: 사업시설 관리·사업 지원·임대 서비스업
|
||||
- O: 공공 행정·국방·사회보장 행정
|
||||
- P: 교육 서비스업
|
||||
- Q: 보건업·사회복지 서비스업
|
||||
- R: 예술·스포츠·여가관련 서비스업
|
||||
- S: 협회·단체·수리 및 기타 개인 서비스업
|
||||
- T: 가구 내 고용활동 및 자가 소비 생산활동
|
||||
- U: 국제 및 외국기관
|
||||
|
||||
- 주체요약(cp_cd, 현황):
|
||||
• [0,1,2,3,4] → "주체 전체"
|
||||
• 그 외 → "일반법인/공공기관/비영리법인/개인/기타법인" 중 선택값을 "/"로 연결
|
||||
- 예: [0,3] → "일반법인/개인"
|
||||
|
||||
- 규모요약(enp_cd):
|
||||
• [0,1,2,3] → "규모 전체"
|
||||
• 그 외 → "대기업/중소기업/중견기업/기타" 중 선택값을 "/"로 연결
|
||||
- 예: [0,1] → "대기업/중소기업"
|
||||
|
||||
- 기업현황(category=6) summary 형식:
|
||||
• **"##YYYY년 M월 {region_nm} {업종요약} 기업현황({주체요약}/{규모요약})##"**
|
||||
• base_ym=0인 경우에는 "YYYY년 M월" 부분을 생략하고
|
||||
"##{region_nm} {업종요약} 기업현황({주체요약}/{규모요약})##" 형식을 사용한다.
|
||||
|
||||
[금지]
|
||||
|
||||
- null/None/"null"/불린/문자열 숫자/소수점 등 **타입 위반 금지**.
|
||||
- 허용 외 bzc_cd 키(A~U) 금지.
|
||||
- **[기업신용 업종분류] 표에 없는 중분류 코드 금지.**
|
||||
- category는 반드시 6이어야 하며, 다른 값 사용 금지.
|
||||
- flow_cd, flow_region_nm 등 전입/전출 관련 필드 사용 금지.
|
||||
- 두 개 이상의 JSON 객체를 동시에 출력하지 않는다.
|
||||
- 요약 텍스트(summary) 외에 추가 필드나 설명 문장, 주석을 JSON 밖에 쓰지 않는다.
|
||||
|
||||
|
||||
[기업신용 업종분류]
|
||||
|
||||
A 농업, 임업 및 어업(01~03)
|
||||
1 농업
|
||||
2 임업
|
||||
3 어업
|
||||
|
||||
B 광업(05~08)
|
||||
5 석탄, 원유 및 천연가스 광업
|
||||
6 금속 광업
|
||||
7 비금속광물 광업; 연료용 제외
|
||||
8 광업 지원 서비스업
|
||||
|
||||
C 제조업(10~34)
|
||||
10 식료품 제조업
|
||||
11 음료 제조업
|
||||
12 담배 제조업
|
||||
13 섬유제품 제조업; 의복 제외
|
||||
14 의복, 의복 액세서리 및 모피제품 제조업
|
||||
15 가죽, 가방 및 신발 제조업
|
||||
16 목재 및 나무제품 제조업; 가구 제외
|
||||
17 펄프, 종이 및 종이제품 제조업
|
||||
18 인쇄 및 기록매체 복제업
|
||||
19 코크스, 연탄 및 석유정제품 제조업
|
||||
20 화학 물질 및 화학제품 제조업; 의약품 제외
|
||||
21 의료용 물질 및 의약품 제조업
|
||||
22 고무 및 플라스틱제품 제조업
|
||||
23 비금속 광물제품 제조업
|
||||
24 1차 금속 제조업
|
||||
25 금속 가공제품 제조업; 기계 및 가구 제외
|
||||
26 전자 부품, 컴퓨터, 영상, 음향 및 통신장비 제조업
|
||||
27 의료, 정밀, 광학 기기 및 시계 제조업
|
||||
28 전기장비 제조업
|
||||
29 기타 기계 및 장비 제조업
|
||||
30 자동차 및 트레일러 제조업
|
||||
31 기타 운송장비 제조업
|
||||
32 가구 제조업
|
||||
33 기타 제품 제조업
|
||||
34 산업용 기계 및 장비 수리업
|
||||
|
||||
D 전기, 가스, 증기 및 공기 조절 공급업(35)
|
||||
35 전기, 가스, 증기 및 공기 조절 공급업
|
||||
|
||||
E 수도, 하수 및 폐기물 처리, 원료 재생업(36~39)
|
||||
36 수도업
|
||||
37 하수, 폐수 및 분뇨 처리업
|
||||
38 폐기물 수집, 운반, 처리 및 원료 재생업
|
||||
39 환경 정화 및 복원업
|
||||
|
||||
F 건설업(41~42)
|
||||
41 종합 건설업
|
||||
42 전문직별 공사업
|
||||
|
||||
G 도매 및 소매업(45~47)
|
||||
45 자동차 및 부품 판매업
|
||||
46 도매 및 상품 중개업
|
||||
47 소매업; 자동차 제외
|
||||
|
||||
H 운수 및 창고업(49~52)
|
||||
49 육상 운송 및 파이프라인 운송업
|
||||
50 수상 운송업
|
||||
51 항공 운송업
|
||||
52 창고 및 운송관련 서비스업
|
||||
|
||||
I 숙박 및 음식점업(55~56)
|
||||
55 숙박업
|
||||
56 음식점 및 주점업
|
||||
|
||||
J 정보통신업(58~63)
|
||||
58 출판업
|
||||
59 영상·오디오 기록물 제작 및 배급업
|
||||
60 방송 및 영상·오디오물 제공 서비스업
|
||||
61 우편 및 통신업
|
||||
62 컴퓨터 프로그래밍, 시스템 통합 및 관리업
|
||||
63 정보서비스업
|
||||
|
||||
K 금융 및 보험업(64~66)
|
||||
64 금융업
|
||||
65 보험업
|
||||
66 금융 및 보험관련 서비스업
|
||||
|
||||
L 부동산업(68)
|
||||
68 부동산업
|
||||
|
||||
M 전문, 과학 및 기술 서비스업(70~73)
|
||||
70 연구개발업
|
||||
71 전문 서비스업
|
||||
72 건축 기술, 엔지니어링 및 기타 과학기술 서비스업
|
||||
73 기타 전문, 과학 및 기술 서비스업
|
||||
|
||||
N 사업시설 관리, 사업 지원 및 임대 서비스업(74~76)
|
||||
74 사업시설 관리 및 조경 서비스업
|
||||
75 사업 지원 서비스업
|
||||
76 임대업; 부동산 제외
|
||||
|
||||
O 공공 행정, 국방 및 사회보장 행정(84)
|
||||
84 공공 행정, 국방 및 사회보장 행정
|
||||
|
||||
P 교육 서비스업(85)
|
||||
85 교육 서비스업
|
||||
|
||||
Q 보건업 및 사회복지 서비스업(86~87)
|
||||
86 보건업
|
||||
87 사회복지 서비스업
|
||||
|
||||
R 예술, 스포츠 및 여가관련 서비스업(90~91)
|
||||
90 창작, 예술 및 여가관련 서비스업
|
||||
91 스포츠 및 오락관련 서비스업
|
||||
|
||||
S 협회 및 단체, 수리 및 기타 개인 서비스업(94~96)
|
||||
94 협회 및 단체
|
||||
95 개인 및 소비용품 수리업
|
||||
96 기타 개인 서비스업
|
||||
|
||||
T 가구 내 고용활동 및 달리 분류되지 않은 자가 소비 생산활동(97~98)
|
||||
97 가구 내 고용활동
|
||||
98 달리 분류되지 않은 자가 소비를 위한 가구의 재화 및 서비스 생산활동
|
||||
|
||||
U 국제 및 외국기관(99)
|
||||
99 국제 및 외국기관
|
||||
|
||||
|
||||
[예시 — 정답]
|
||||
|
||||
- 입력: "부산 기업현황 2025년 6월, 제조업/건설업만"
|
||||
출력: {"summary":"##2025년 6월 부산광역시 제조업/건설업 기업현황(주체 전체/규모 전체)##","base_ym":202506,"region_nm":"부산광역시","bzc_cd":{"C":[],"F":[]},"cp_cd":[0,1,2,3,4],"enp_cd":[0,1,2,3],"category":6}
|
||||
|
||||
- 입력: "부산 해운대구 4월, 식료품 제조업과 음료 제조업만, 대기업과 중소기업"
|
||||
출력: {"summary":"##2025년 4월 부산광역시 해운대구 제조업(일부) 기업현황(주체 전체/대기업/중소기업)##","base_ym":202504,"region_nm":"부산광역시 해운대구","bzc_cd":{"C":[10,11]},"cp_cd":[0,1,2,3,4],"enp_cd":[0,1],"category":6}
|
||||
|
||||
- 입력: "전국 말고 부산시 전체, 업종은 도매 및 상품 중개업/소매업만 보고 싶다"
|
||||
출력: {"summary":"##부산광역시 도매·소매업(일부) 기업현황(주체 전체/규모 전체)##","base_ym":0,"region_nm":"부산광역시","bzc_cd":{"G":[46,47]},"cp_cd":[0,1,2,3,4],"enp_cd":[0,1,2,3],"category":6}
|
||||
|
||||
- 입력: "부산광역시 기업 현황 보여줘"
|
||||
출력:{"summary":"##부산광역시 전 업종 기업현황(주체 전체/규모 전체)##","base_ym":0,"region_nm":"부산광역시","bzc_cd":{"A":[],"B":[],"C":[],"D":[],"E":[],"F":[],"G":[],"H":[],"I":[],"J":[],"K":[],"L":[],"M":[],"N":[],"O":[],"P":[],"Q":[],"R":[],"S":[],"T":[],"U":[]},"cp_cd":[0,1,2,3,4],"enp_cd":[0,1,2,3],"category":6}
|
||||
|
||||
- 입력: "부산광역시 항공운송업에 대한 기업현황 보여줘, 일반법인의 중소기업과 중견기업 대상으로만"
|
||||
출력: {"summary":"##부산광역시 항공운송업 기업현황(일반법인/중소기업/중견기업)##","base_ym":0,"region_nm":"부산광역시","bzc_cd":{"H":[51]},"cp_cd":[0],"enp_cd":[1,2],"category":6}
|
||||
|
||||
- 입력: "2025년 2월, 부산광역시 금속 광업/광업 지원 서비스업만 기업현황 보여줘, 기업규모는 중소기업"
|
||||
출력: {"summary":"##2025년 2월 부산광역시 광업 업종 기업현황(주체 전체/중소기업)##","base_ym":202502,"region_nm":"부산광역시","bzc_cd":{"B":[6,8]},"cp_cd":[0,1,2,3,4],"enp_cd":[1],"category":6}
|
||||
|
||||
"""
|
||||
50
eval/results.md
Normal file
50
eval/results.md
Normal file
@@ -0,0 +1,50 @@
|
||||
# Evaluation Results — DLM-NL2JSON-4B vs Baselines
|
||||
|
||||
## Test Configuration
|
||||
- **Test set**: `task_analysis_sft_251128_test.jsonl` (2,041 samples, 10 categories)
|
||||
- **Metric**: Field-level exact match accuracy (summary field excluded)
|
||||
- **Note**: 64 CSM samples with known gold label noise excluded in adjusted metrics (see below)
|
||||
- **Train/Test overlap**: 16/2,041 (0.78%) — retained for consistency across models
|
||||
|
||||
## Per-Category Accuracy
|
||||
|
||||
| Category | N | DLM-NL2JSON-4B | GPT-4o | Qwen3.5-35B-A3B |
|
||||
|----------|---|-------------|--------|-----------------|
|
||||
| ALP-A (pattern) | 250 | **99.6%** | 56.0% | 47.6% |
|
||||
| ALP-B (flow) | 250 | **98.4%** | 50.4% | 46.8% |
|
||||
| CSM (consumption) | 700 | **90.6%** | 90.1% | 86.1% |
|
||||
| CREDIT-Income | 58 | **94.8%** | 53.4% | 34.5% |
|
||||
| CREDIT-Spending | 77 | **97.4%** | 92.2% | 51.9% |
|
||||
| CREDIT-Loan/Default | 73 | **98.6%** | 94.5% | 72.6% |
|
||||
| CPI (business) | 219 | 86.3% | **87.2%** | 54.8% |
|
||||
| GIS-Inflow | 72 | **97.2%** | 79.2% | 93.1% |
|
||||
| GIS-Outflow | 62 | **98.4%** | 77.4% | 98.4% |
|
||||
| GIS-Consumption | 280 | 98.2% | **99.6%** | 97.5% |
|
||||
|
||||
## Overall (Raw)
|
||||
|
||||
| Model | Params | Accuracy | Avg Latency |
|
||||
|-------|--------|----------|-------------|
|
||||
| **DLM-NL2JSON-4B** | **4B** | **94.4% (1926/2041)** | 2.59s |
|
||||
| GPT-4o | ~200B+ | 80.5% (1643/2041) | 1.58s |
|
||||
| Qwen3.5-35B-A3B | 35B (3B active) | 72.2% (1473/2041) | 0.85s |
|
||||
|
||||
## Overall (Adjusted — 64 CSM gold noise samples excluded)
|
||||
|
||||
| Model | Accuracy | N |
|
||||
|-------|----------|---|
|
||||
| **DLM-NL2JSON-4B** | **96.8% (1914/1977)** | 1977 |
|
||||
| GPT-4o | 82.5% (1631/1977) | 1977 |
|
||||
| Qwen3.5-35B-A3B | 73.9% (1461/1977) | 1977 |
|
||||
|
||||
## Hardware
|
||||
|
||||
| Model | Serving | GPU |
|
||||
|-------|---------|-----|
|
||||
| DLM-NL2JSON-4B | vLLM (TensorRT-LLM) | NVIDIA L4 24GB |
|
||||
| GPT-4o | OpenAI API | N/A |
|
||||
| Qwen3.5-35B-A3B | vLLM | NVIDIA A6000 48GB |
|
||||
|
||||
## Notes
|
||||
- CSM gold noise: 64/700 CSM test samples have `age_cd` capped at 60 instead of 70 for "all ages" queries, conflicting with the prompt specification (`age_cd: [10,20,30,40,50,60,70]`). This affects all models equally.
|
||||
- DLM-NL2JSON-4B wins 8/10 categories outright, ties 1, and loses only CPI (86.3% vs GPT-4o 87.2%).
|
||||
2041
eval/test_data_2041.jsonl
Normal file
2041
eval/test_data_2041.jsonl
Normal file
File diff suppressed because it is too large
Load Diff
Reference in New Issue
Block a user