初始化项目，由ModelHub XC社区提供模型

Model: rudalson/Llama-3.2-3B-Instruct-KoAlpaca
Source: Original Platform

README.md

@@ -0,0 +1,76 @@
+---
+library_name: transformers
+tags:
+- llama-3
+- koalpaca
+- korean
+- instruction-finetuning
+- sft
+language:
+- ko
+base_model: meta-llama/Llama-3.2-3B-Instruct
+datasets:
+- Taegyuu/KoAlpaca-v1.1a
+pipeline_tag: text-generation
+---
+
+# Llama-3.2-3B-KoAlpaca-Merged
+
+이 모델은 Meta의 **Llama-3.2-3B-Instruct** 모델을 베이스로 하여, 한국어 지시어 데이터셋인 **KoAlpaca v1.1a**를 학습(Fine-tuning)시킨 후 병합한 모델입니다. 한국어 질의응답 및 지시 이행 능력을 향상시키는 데 중점을 두었습니다.
+
+## Model Details
+
+### Model Description
+
+- **Model type:** Causal Language Model
+- **Language(s) (NLP):** 한국어 (Korean)
+- **License:** Llama 3.2 Community License
+- **Finetuned from model:** meta-llama/Llama-3.2-3B-Instruct
+- **Dataset:** Taegyuu/KoAlpaca-v1.1a
+
+## Uses
+
+### Direct Use
+
+이 모델은 한국어 질문에 답변하거나, 주어진 지시에 따라 텍스트를 생성하는 작업에 직접 사용할 수 있습니다. 
+
+### Prompt Format (Llama 3.2)
+이 모델은 대화형 구조로 학습되었으므로 아래와 같은 메시지 형식을 권장합니다.
+
+```python
+messages = [
+    {"role": "system", "content": "당신은 한국어 질의응답 전문가입니다. 주어진 문맥을 바탕으로 정확하고 간결한 답변을 제공하세요."},
+    {"role": "user", "content": "인공지능이란 무엇인가요?"}
+]
+```
+
+## Training Hyperparameters
+The following hyperparameters were used during training:
+
+- **LoRA Specifics:**
+  - r: 32
+  - lora_alpha: 64
+  - target_modules: All linear layers (q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj)
+  - lora_dropout: 0.05
+- **Optimization:**
+  - learning_rate: 2e-04
+  - lr_scheduler_type: cosine
+  - warmup_steps: 100
+  - optimizer: AdamW
+  - weight_decay: default (0.0)
+- **Training Strategy:**
+  - num_train_epochs: 1
+  - total_batch_size: 8 (2 per device * 4 accumulation steps)
+  - gradient_checkpointing: True
+  - fp16: True
+  - neftune_noise_alpha: 5
+
+## Evaluation
+| Metric | Score |
+|-----|-----|
+| F1 Score | 11.40% |
+| ROUGE-1 | 4.94% |
+| ROUGE-L | 4.62% |
+
+## Support
+* SSAFY Tesla V100-PCIE-32GB