76 lines
2.1 KiB
Markdown
76 lines
2.1 KiB
Markdown
---
|
|
library_name: transformers
|
|
tags:
|
|
- llama-3
|
|
- koalpaca
|
|
- korean
|
|
- instruction-finetuning
|
|
- sft
|
|
language:
|
|
- ko
|
|
base_model: meta-llama/Llama-3.2-3B-Instruct
|
|
datasets:
|
|
- Taegyuu/KoAlpaca-v1.1a
|
|
pipeline_tag: text-generation
|
|
---
|
|
|
|
# Llama-3.2-3B-KoAlpaca-Merged
|
|
|
|
이 모델은 Meta의 **Llama-3.2-3B-Instruct** 모델을 베이스로 하여, 한국어 지시어 데이터셋인 **KoAlpaca v1.1a**를 학습(Fine-tuning)시킨 후 병합한 모델입니다. 한국어 질의응답 및 지시 이행 능력을 향상시키는 데 중점을 두었습니다.
|
|
|
|
## Model Details
|
|
|
|
### Model Description
|
|
|
|
- **Model type:** Causal Language Model
|
|
- **Language(s) (NLP):** 한국어 (Korean)
|
|
- **License:** Llama 3.2 Community License
|
|
- **Finetuned from model:** meta-llama/Llama-3.2-3B-Instruct
|
|
- **Dataset:** Taegyuu/KoAlpaca-v1.1a
|
|
|
|
## Uses
|
|
|
|
### Direct Use
|
|
|
|
이 모델은 한국어 질문에 답변하거나, 주어진 지시에 따라 텍스트를 생성하는 작업에 직접 사용할 수 있습니다.
|
|
|
|
### Prompt Format (Llama 3.2)
|
|
이 모델은 대화형 구조로 학습되었으므로 아래와 같은 메시지 형식을 권장합니다.
|
|
|
|
```python
|
|
messages = [
|
|
{"role": "system", "content": "당신은 한국어 질의응답 전문가입니다. 주어진 문맥을 바탕으로 정확하고 간결한 답변을 제공하세요."},
|
|
{"role": "user", "content": "인공지능이란 무엇인가요?"}
|
|
]
|
|
```
|
|
|
|
## Training Hyperparameters
|
|
The following hyperparameters were used during training:
|
|
|
|
- **LoRA Specifics:**
|
|
- r: 32
|
|
- lora_alpha: 64
|
|
- target_modules: All linear layers (q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj)
|
|
- lora_dropout: 0.05
|
|
- **Optimization:**
|
|
- learning_rate: 2e-04
|
|
- lr_scheduler_type: cosine
|
|
- warmup_steps: 100
|
|
- optimizer: AdamW
|
|
- weight_decay: default (0.0)
|
|
- **Training Strategy:**
|
|
- num_train_epochs: 1
|
|
- total_batch_size: 8 (2 per device * 4 accumulation steps)
|
|
- gradient_checkpointing: True
|
|
- fp16: True
|
|
- neftune_noise_alpha: 5
|
|
|
|
## Evaluation
|
|
| Metric | Score |
|
|
|-----|-----|
|
|
| F1 Score | 11.40% |
|
|
| ROUGE-1 | 4.94% |
|
|
| ROUGE-L | 4.62% |
|
|
|
|
## Support
|
|
* SSAFY Tesla V100-PCIE-32GB |