---
library_name: transformers
tags:
- llama-3
- koalpaca
- korean
- instruction-finetuning
- sft
language:
- ko
base_model: meta-llama/Llama-3.2-3B-Instruct
datasets:
- Taegyuu/KoAlpaca-v1.1a
pipeline_tag: text-generation
---

# Llama-3.2-3B-KoAlpaca-Merged

이 모델은 Meta의 **Llama-3.2-3B-Instruct** 모델을 베이스로 하여, 한국어 지시어 데이터셋인 **KoAlpaca v1.1a**를 학습(Fine-tuning)시킨 후 병합한 모델입니다. 한국어 질의응답 및 지시 이행 능력을 향상시키는 데 중점을 두었습니다.

## Model Details

### Model Description

- **Model type:** Causal Language Model
- **Language(s) (NLP):** 한국어 (Korean)
- **License:** Llama 3.2 Community License
- **Finetuned from model:** meta-llama/Llama-3.2-3B-Instruct
- **Dataset:** Taegyuu/KoAlpaca-v1.1a

## Uses

### Direct Use

이 모델은 한국어 질문에 답변하거나, 주어진 지시에 따라 텍스트를 생성하는 작업에 직접 사용할 수 있습니다. 

### Prompt Format (Llama 3.2)
이 모델은 대화형 구조로 학습되었으므로 아래와 같은 메시지 형식을 권장합니다.

```python
messages = [
    {"role": "system", "content": "당신은 한국어 질의응답 전문가입니다. 주어진 문맥을 바탕으로 정확하고 간결한 답변을 제공하세요."},
    {"role": "user", "content": "인공지능이란 무엇인가요?"}
]
```

## Training Hyperparameters
The following hyperparameters were used during training:

- **LoRA Specifics:**
  - r: 32
  - lora_alpha: 64
  - target_modules: All linear layers (q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj)
  - lora_dropout: 0.05
- **Optimization:**
  - learning_rate: 2e-04
  - lr_scheduler_type: cosine
  - warmup_steps: 100
  - optimizer: AdamW
  - weight_decay: default (0.0)
- **Training Strategy:**
  - num_train_epochs: 1
  - total_batch_size: 8 (2 per device * 4 accumulation steps)
  - gradient_checkpointing: True
  - fp16: True
  - neftune_noise_alpha: 5

## Evaluation
| Metric | Score |
|-----|-----|
| F1 Score | 11.40% |
| ROUGE-1 | 4.94% |
| ROUGE-L | 4.62% |

## Support
* SSAFY Tesla V100-PCIE-32GB