98 lines
5.6 KiB
Markdown
98 lines
5.6 KiB
Markdown
---
|
|
language:
|
|
- my
|
|
license: gpl-3.0
|
|
tags:
|
|
- gpt2
|
|
- burmese
|
|
- shweyon
|
|
- instruction-tuning
|
|
- gguf
|
|
pipeline_tag: text-generation
|
|
---
|
|
|
|
# 🐰 ShweYon-V2.1-SFT (ကိုရွှေယုန်)
|
|
|
|
**ShweYon-V2.1-SFT** သည် မြန်မာဘာသာစကားအတွက် အထူးပြုလေ့ကျင့်ထားသော Lightweight Language Model တစ်ခုဖြစ်သည်။ ဤမော်ဒယ်သည် GPT-2 Architecture ကို အခြေခံထားပြီး မြန်မာစာ၏ သဘာဝနှင့် သဒ္ဒါအထားအသိုကို ကောင်းမွန်စွာ နားလည်နိုင်ရန် အဆင့်ဆင့် တည်ဆောက်ထားခြင်း ဖြစ်သည်။
|
|
|
|
|
|
|
|
### 🌟 Key Highlights
|
|
* **Foundation:** ShweYon-V2-Draft မှ အဆင့်မြှင့်တင်ထားသည်။
|
|
* **Training Stage:** Instruction Fine-tuning (SFT) အဆင့်ကို အောင်မြင်စွာ ပြီးဆုံးထားသည်။
|
|
* **Language:** Burmese (မြန်မာဘာသာစကား)
|
|
* **Dataset Size:** 11,704 Multi-turn and Single-turn instructions.
|
|
* **Format:** Hugging Face Safetensors နှင့် GGUF (Q8_0) format များ ရရှိနိုင်သည်။
|
|
|
|
---
|
|
|
|
### 🛠 Training Details (လေ့ကျင့်မှု အကျဉ်းချုပ်)
|
|
ဤမော်ဒယ်ကို လေ့ကျင့်ရာတွင် အပိုင်း (၂) ပိုင်းဖြင့် လုပ်ဆောင်ခဲ့သည်-
|
|
1. **Pre-training:** မြန်မာစာ Corpus အမြောက်အမြားဖြင့် မြန်မာစကားလုံးများ၏ ဆက်စပ်မှုကို သင်ယူခဲ့သည်။
|
|
2. **Instruction Tuning:** မေးခွန်းနှင့် အဖြေ (Dataset နမူနာပေါင်း ၁၁,၇၀၄ ကျော်) ကို အသုံးပြု၍ Chatbot တစ်ခုကဲ့သို့ ပြန်လည်ဖြေကြားတတ်အောင် သွေးယူခဲ့သည်။
|
|
|
|
|
|
|
|
---
|
|
|
|
### 📝 How to Use (အသုံးပြုနည်း)
|
|
|
|
ဤမော်ဒယ်ကို အောက်ပါ Instruction Format အတိုင်း အသုံးပြုပါက အကောင်းဆုံး ရလဒ်များကို ရရှိနိုင်မည်ဖြစ်သည်-
|
|
|
|
```text
|
|
### Instruction:
|
|
{မေးခွန်း}
|
|
|
|
### Response:
|
|
|
|
```
|
|
|
|
#### Code Example (Transformers):
|
|
|
|
```python
|
|
from transformers import pipeline
|
|
|
|
pipe = pipeline("text-generation", model="URajinda/ShweYon-V2.1-SFT")
|
|
prompt = "### Instruction:\nနေကောင်းလား ကိုရွှေယုန်။\n\n### Response:\n"
|
|
print(pipe(prompt, max_new_tokens=100)[0]['generated_text'])
|
|
|
|
```
|
|
|
|
---
|
|
|
|
### 🚀 GGUF Version (Mobile & Local PC)
|
|
|
|
Android ဖုန်းများ သို့မဟုတ် PC များတွင် RAM အနည်းငယ်ဖြင့် အသုံးပြုလိုပါက ဤ Repo ရှိ `shweyon_v2_1_Q8_0.gguf` ဖိုင်ကို ဒေါင်းလုဒ်ရယူ၍ **LM Studio, Layla,** သို့မဟုတ် **Jan.ai** တို့တွင် အသုံးပြုနိုင်သည်။
|
|
|
|
**Recommended Inference Settings:**
|
|
|
|
* **Temperature:** 0.7
|
|
* **Top_p:** 0.9
|
|
* **Repetition Penalty:** 1.1
|
|
|
|
---
|
|
|
|
### ⚠️ Limitations (သတိပြုရန်)
|
|
|
|
* ဤမော်ဒယ်သည် Parameter နည်းပါးသော model ဖြစ်သည့်အတွက် အလွန်ရှုပ်ထွေးသော သိပ္ပံပုစ္ဆာများနှင့် သင်္ချာတွက်ချက်မှုများတွင် မှားယွင်းနိုင်ပါသည်။
|
|
* အကြံပြုချက်များပေးရာတွင် အမြဲတမ်း ၁၀၀% တိကျမှု မရှိနိုင်သဖြင့် အရေးကြီးသော ကိစ္စရပ်များတွင် ပြန်လည်စစ်ဆေးရန် လိုအပ်ပါသည်။
|
|
|
|
---
|
|
|
|
### 🙌 Acknowledgments
|
|
|
|
မြန်မာ AI နည်းပညာ ဖွံ့ဖြိုးတိုးတက်ရေးအတွက် စိတ်အားထက်သန်စွာဖြင့် ဖန်တီးခဲ့သော **U Rajinda** မှ တည်ဆောက်ခဲ့ခြင်း ဖြစ်ပါသည်။
|
|
|
|
```
|
|
|
|
---
|
|
|
|
**ပြုလုပ်ရန်အဆင့်ဆင့်:**
|
|
1. Hugging Face မှာ သင့် Model Repo ထဲကိုသွားပါ။
|
|
2. **Edit model card** (README.md) ကို နှိပ်ပါ။
|
|
3. အပေါ်က code တွေကို အကုန် copy ယူပြီး ရှိသမျှ အဟောင်းတွေကို ဖြတ်၊ ပြီးရင် paste လုပ်လိုက်ပါ။
|
|
4. **Commit changes** ကို နှိပ်လိုက်ပါ။
|
|
|
|
**Would you like me to ...** GGUF ဖိုင်ကို ဖုန်းထဲမှာ စမ်းသပ်ကြည့်ဖို့ အဆင်ပြေရဲ့လားခင်ဗျာ? အကယ်၍ စမ်းကြည့်လို့ အဖြေတွေ ထစ်နေရင် ဒါမှမဟုတ် repetition တွေဖြစ်နေရင် Parameter ဘယ်လိုညှိရမလဲဆိုတာ ကျွန်တော် ထပ်ပြောပြပေးနိုင်ပါတယ်။
|
|
|
|
``` |