初始化项目,由ModelHub XC社区提供模型
Model: space1637/iapyx-midm-2.0-mini-sft Source: Original Platform
This commit is contained in:
35
README.md
Normal file
35
README.md
Normal file
@@ -0,0 +1,35 @@
|
||||
---
|
||||
license: other
|
||||
base_model: K-intelligence/Midm-2.0-Mini-Instruct
|
||||
language:
|
||||
- ko
|
||||
tags:
|
||||
- iapyx
|
||||
- korean
|
||||
- function-calling
|
||||
- risk-analysis
|
||||
---
|
||||
# Iapyx SFT — Midm-2.0-Mini-Instruct (풀 파인튜닝)
|
||||
|
||||
Iapyx(AI 라이프 가디언) 리스크 리포트 + Function Call 태스크로 파인튜닝한 국내 오픈웨이트 모델.
|
||||
학습·평가는 A100 80GB ×2에서 수행했으며, 채점은 결정적 코드(모델 무관)로 이뤄졌다.
|
||||
|
||||
## 파인튜닝 전후 (held-out val)
|
||||
|
||||
| 지표 | Base(제로샷) | 파인튜닝 |
|
||||
|---|---|---|
|
||||
| 리스크 JSON 유효율 | 100.0% | **100.0%** |
|
||||
| 리스크 스키마 준수 | 0.0% | **100.0%** |
|
||||
| 리스크 등급 정확도 | 0.0% | **100.0%** |
|
||||
| FC 도구선택 정확도 | 25.0% | **100.0%** |
|
||||
| FC 인자형식 정확도 | 100.0% | **100.0%** |
|
||||
| FC 과호출 억제율 | 100.0% | **100.0%** |
|
||||
|
||||
## 학습 구성
|
||||
- 방식: 풀 파인튜닝 · base `K-intelligence/Midm-2.0-Mini-Instruct`
|
||||
- 데이터: 합성 SFT 통합 1,881 (리스크 945 + FC 936), val 리스크 105 / FC 104
|
||||
- 3 epochs · cosine · warmup 3% · max_len 1024 · assistant-only loss
|
||||
- 풀FT: FSDP full_shard + 8-bit Adam(lr 1e-5) / QLoRA: NF4 4bit + LoRA r=16(lr 2e-4)
|
||||
- flash-attention-2 · bf16 · gradient checkpointing
|
||||
|
||||
학습 로그: Weights & Biases `iapyx-finetune`.
|
||||
Reference in New Issue
Block a user