35 lines
1.3 KiB
Markdown
35 lines
1.3 KiB
Markdown
|
---
|
|||
|
|
license: other
|
|||
|
|
base_model: K-intelligence/Midm-2.0-Mini-Instruct
|
|||
|
|
language:
|
|||
|
|
- ko
|
|||
|
|
tags:
|
|||
|
|
- iapyx
|
|||
|
|
- korean
|
|||
|
|
- function-calling
|
|||
|
|
- risk-analysis
|
|||
|
|
---
|
|||
|
|
# Iapyx SFT — Midm-2.0-Mini-Instruct (풀 파인튜닝)
|
|||
|
|
|
|||
|
|
Iapyx(AI 라이프 가디언) 리스크 리포트 + Function Call 태스크로 파인튜닝한 국내 오픈웨이트 모델.
|
|||
|
|
학습·평가는 A100 80GB ×2에서 수행했으며, 채점은 결정적 코드(모델 무관)로 이뤄졌다.
|
|||
|
|
|
|||
|
|
## 파인튜닝 전후 (held-out val)
|
|||
|
|
|
|||
|
|
| 지표 | Base(제로샷) | 파인튜닝 |
|
|||
|
|
|---|---|---|
|
|||
|
|
| 리스크 JSON 유효율 | 100.0% | **100.0%** |
|
|||
|
|
| 리스크 스키마 준수 | 0.0% | **100.0%** |
|
|||
|
|
| 리스크 등급 정확도 | 0.0% | **100.0%** |
|
|||
|
|
| FC 도구선택 정확도 | 25.0% | **100.0%** |
|
|||
|
|
| FC 인자형식 정확도 | 100.0% | **100.0%** |
|
|||
|
|
| FC 과호출 억제율 | 100.0% | **100.0%** |
|
|||
|
|
|
|||
|
|
## 학습 구성
|
|||
|
|
- 방식: 풀 파인튜닝 · base `K-intelligence/Midm-2.0-Mini-Instruct`
|
|||
|
|
- 데이터: 합성 SFT 통합 1,881 (리스크 945 + FC 936), val 리스크 105 / FC 104
|
|||
|
|
- 3 epochs · cosine · warmup 3% · max_len 1024 · assistant-only loss
|
|||
|
|
- 풀FT: FSDP full_shard + 8-bit Adam(lr 1e-5) / QLoRA: NF4 4bit + LoRA r=16(lr 2e-4)
|
|||
|
|
- flash-attention-2 · bf16 · gradient checkpointing
|
|||
|
|
|
|||
|
|
학습 로그: Weights & Biases `iapyx-finetune`.
|