57 lines
1.7 KiB
Markdown
57 lines
1.7 KiB
Markdown
|
---
|
||
|
|
license: apache-2.0
|
||
|
|
---
|
||
|
|
# inquiry_merged_model
|
||
|
|
|
||
|
|
## 모델 소개
|
||
|
|
|
||
|
|
이 모델은 **GEMMA 2B-IT** 기반 LoRA 파인튜닝된 민원 Q&A 응답 생성 모델입니다.
|
||
|
|
|
||
|
|
- **베이스 모델**: google/gemma-2b-it
|
||
|
|
- **파인튜닝 방식**: LoRA (Low-Rank Adaptation)
|
||
|
|
- **학습 데이터**: 민간 민원 Q&A 데이터 (2,000개)
|
||
|
|
- **라이센스**: Apache-2.0
|
||
|
|
|
||
|
|
## 모델 상세 정보
|
||
|
|
|
||
|
|
### 학습 데이터
|
||
|
|
- **출처**: AI허브 민간 민원 상담 LLM 사전학습 데이터
|
||
|
|
- **데이터 출처 기관**: 하나카드, 액티벤처, 엘지유플러스 (3개 금융사)
|
||
|
|
- **샘플 크기**: 2,000개 (전체 25,132개 중 샘플링)
|
||
|
|
- **형식**: Q&A 대화 형식 (상담사-손님 대화)
|
||
|
|
- **개인정보**: 완벽하게 마스킹됨
|
||
|
|
|
||
|
|
### 파인튜닝 설정
|
||
|
|
- **Epochs**: 2
|
||
|
|
- **Batch Size**: 1
|
||
|
|
- **Learning Rate**: 2e-4
|
||
|
|
- **LoRA Rank**: 32
|
||
|
|
- **LoRA Alpha**: 64
|
||
|
|
|
||
|
|
### 병합 정보
|
||
|
|
- **병합 방식**: LoRA 어댑터와 베이스 모델 완전 병합
|
||
|
|
- **결과 모델 크기**: 약 4.7GB
|
||
|
|
- **추론 방식**: 베이스 모델 없이 단독 실행 가능
|
||
|
|
|
||
|
|
## 사용 방법
|
||
|
|
|
||
|
|
### Python에서 사용
|
||
|
|
|
||
|
|
```python
|
||
|
|
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||
|
|
|
||
|
|
# 모델 로드
|
||
|
|
model = AutoModelForCausalLM.from_pretrained("suna999/inquiry_merged_model")
|
||
|
|
tokenizer = AutoTokenizer.from_pretrained("suna999/inquiry_merged_model")
|
||
|
|
|
||
|
|
# 추론
|
||
|
|
prompt = "카드를 잃어버렸는데 어떻게 해야 하나요?"
|
||
|
|
inputs = tokenizer(prompt, return_tensors="pt")
|
||
|
|
outputs = model.generate(**inputs, max_new_tokens=128)
|
||
|
|
answer = tokenizer.decode(outputs[0])
|
||
|
|
print(answer)
|
||
|
|
```
|
||
|
|
|
||
|
|
### FastAPI에서 사용
|
||
|
|
|
||
|
|
이 모델은 FastAPI 기반 민원 자동 답변 생성 웹 서비스에 통합되어 있습니다.
|