初始化项目，由ModelHub XC社区提供模型

Model: WYNN747/Burmese-GPT
Source: Original Platform

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,128 @@
+---
+license: mit
+language:
+- my
+tags:
+- 'burmese-gpt '
+- myanmar-gpt
+- burmese-llm
+- myanmar-llm
+- llm
+---
+
+## Model Description (Burmese-GPT)
+Burmese-GPT is a Burmese language foundation model created by Dr. Wai Yan Nyein Naing, a Myanmar AI researcher focused on low-resource language AI. It is designed for Burmese text generation and completion, and serves as a base model for downstream Burmese NLP applications.
+
+**How to Use the Model**
+```bash
+!pip install transformers
+
+# Loading the Model:
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+tokenizer = AutoTokenizer.from_pretrained("WYNN747/Burmese-GPT")
+model = AutoModelForCausalLM.from_pretrained("WYNN747/Burmese-GPT")
+
+input_text = "မီးထွန်းပွဲတော်သည် သီ"
+input_ids = tokenizer.encode(input_text, return_tensors='pt')
+output = model.generate(input_ids, max_length=50)
+print(tokenizer.decode(output[0], skip_special_tokens=True))
+
+
+# [{'generated_text': 'မီးထွန်းပွဲတော် သည် သီတင်းကျွတ်လပြည့်နေ့တွင် ကျင်းပသော ရိုးရာပွဲတော်တစ်ခု ဖြစ်သည်။'}] 
+
+```
+
+## Intended Use
+This model, primarily designed for text completion in Burmese, serves as a foundational tool for a variety of NLP tasks. While its current primary function is to assist in generating and completing text, it holds significant potential for further applications. Researchers and developers can fine-tune this model on specialized datasets to extend its capabilities to other NLP applications, such as summarization and instruction-based tasks. It is important to note, however, that for high-stakes decisions or understanding domain-specific jargon, additional specialized training of the model is recommended to ensure accuracy and reliability.
+
+## Training Data
+Burmese-GPT was trained on a comprehensive dataset of Burmese texts, curated by the author. This dataset, which includes literature, news, online articles, and content from Burmese Wikipedia, has been meticulously compiled to ensure a wide representation of the linguistic diversity and styles found in the Burmese language. The dataset, created by the author, is available for academic and research purposes upon request. Interested parties should contact the author to gain access to this valuable resource.
+
+## Ethical Considerations
+Users should be aware of the inherent limitations and biases of language models. This model should be used responsibly, especially in sensitive applications, and is not intended for generating misleading or harmful content.
+
+## Limitations
+The Burmese GPT performs well with general Burmese text but may not be as effective with highly technical or niche content. Users are advised to conduct thorough testing for their specific use cases.
+
+## Contact Information
+
+- **Website:** https://www.waiyannyeinnaing.com/ 
+- **LinkedIn:** [Dr. Wai Yan Nyein Naing](https://www.linkedin.com/in/wai-yan-nyein-naing/)
+- **GitHub:** [WaiYanNyeinNaing](https://github.com/WaiYanNyeinNaing)
+- **Project:** (https://www.waiyannyeinnaing.com/projects/burmese-gpt)
+
+
+## Acknowledgements
+
+Credit and thanks to the creators of the [mGPT-XL model](https://github.com/ai-forever/mgpt) for providing the foundational model. Their contributions have been instrumental in the development of the Burmese GPT.
+
+........................................................................................................................................
+## Frequeny Asked Questions (FAQ) (In Burmese)
+
+Burmese GPT 🇲🇲နဲ့ ပါတ်သတ်ပြီး အမေးများတဲ့ (FAQ) ​
+တွေကို ရှင်းပြပေးထားပါတယ်
+
+၁) Burmese GPT က Burmese Chat-GPT လား?
+
+- Burmese GPT က အမေး/အဖြေ ပြုလုပ်ဖို့ တည်ဆောက်
+ထားတဲ့ Chat application မဟုတ်သေးပါဘူး
+- Text Completion လို့ခေါ်တဲ့ 
+ကိုယ်ပေးထားတဲ့ စာကြောင်းကို ဆက်ပြီးရေးပေးတဲ့
+Based Language Model ဖြစ်ပါတယ်
+
+၂) Burmese GPT (Text completion) model က ဘာအတွက်ရည်ရွယ်တာလဲ ?
+
+- မြန်မာနိုင်ငံနဲ့ ပါတ်သက်တဲ့ မေးခွန်းတွေ | အကြောင်းအရာတွေကို
+မြန်မာလိုမေးလို့ရနိုင်မဲ့ 
+Application တွေကို တည်ဆောက်နိုင်ဖို့
+မြန်မာ ဘာသာစကားကို ဝါကျ အထားအသို မှန်မှန် 
+တည်ဆောက်နိုင်တဲ့ အခြေခံ Language Model လိုအပ်ပါတယ် 
+
+အခု open source လုပ်ပေးထားတဲ့ Burmese GPT (Text completion) model က 
+မြန်မာစာဘာသာစကားကို အထားအသို ဝါကျမှန်မှန်
+တည်ဆောက်နိုင်တဲ့ AI Language model ပါ
+
+ဒီလို Model ကို အခြေခံပြီး
+- Burmese Chat-GPT လို အမေးအဖြေ လုပ်လို့ရတဲ့
+Application တွေ , 
+- မြန်မာစာကို Summaize လုပ် ပေးနိုင်မဲ့ Application တွေ
+- မြန်မာစာ နဲ့ ကဗျာရေးပေး စာရေးပေးတဲ့ Application တွေ ကို တည်ဆောက်နိုင်ပါတယ်
+  
+၃) Burmese GPT ကို Link ပေးထားတဲဲ့ Platform မှာ စမ်းတဲ့အခါ ဘာကြောင့် စာအပြည့် မပေါ်တာလဲ ?
+အဖြေ: 
+
+- Hugging Face Platform က ဖော်ပြပေးနိုင်တဲ့ 
+စကားလုံးအရေအတွက် ကန့်သက်ထားတာဖြစ်လို့ အပြည့်မပေါ်တာပါ
+ကိုယ် Generate လုပ်တဲ့ စာက complete မဖြစ်သေးရင် .. လက်ရှိ ရောက်နေတဲ့စာက
+Compute ထပ်နှိပ်ပေးပါ 
+စာအပြည့်အဝကို စမ်းချင်ရင်တော့ API ခေါ်သုံးပြီးစမ်းလို့ရပါတယ်
+
+၄) Burmese GPT က ဘယ်လိုမျိုး Data တွေကို 
+အသုံးပြုပြီး Train လုပ်ထားလဲ ? 
+
+- Burmese GPT က open accessible ဖြစ်တဲ့ 
+Myanmar Wikipedia နဲ့ open Myanmar database တွေက အချက်အလက်တွေနဲ့  Train လုပ်ထားတဲ့အတွက်
+မြန်မာစကားလုံး အများစုကို နားလည် ပါတယ်
+
+- စာရေးဆရာတွေ အနုပညာရှင်တွေ ရဲ့ 
+Intellectual Property ဖြစ်တဲ့ 
+စာအုပ်တွေ , သီချင်းစာသားတွေ , အချက်အလက်တွေကို
+အသုံးမပြုထားတဲ့ အတွက်
+သူတို့နဲ့ ပါတ်သက်တဲ့ အချက်အလက်တွေကို Text Completion (စာဆက်ရေးခိုင်းရင်) မှန်ကန်မှာ မဟုတ်ပဲ 
+AI က စိတ်ကူးယဉ် ဖန်တီးထားတဲ့ 
+အကြောင်းအရာတွေသာ ထွက်လာမှာ ဖြစ်ပါတယ်
+
+- (အကယ်လို့ Artist တွေ အနေနဲ့လဲ Burmese GPT မှာ
+ကိုယ်ဖန်တီးထားတဲ့ အနုပညာနဲ့ အချက်အလက်တွေကို
+ထည့်သွင်းချင်တယ်ဆိုရင် ဆက်သွယ်ပြီး Contribute 
+လုပ်လို့ရပါတယ်) 
+
+၅) Burmese GPT မှာ အသုံးပြုထားတဲ့ Dataset ကို အသုံးပြုချင်တယ်ဆိုရင် ဘာတွေလိုအပ်မလဲ ?  
+
+- Burmese Text ပေါင်း 15K (corpus) ပါဝင်တဲ့
+Dataset ကိုလဲ Academic  / Research / Open Community အတွက်လုပ်နေတဲ့ သူတွေကို 
+Contribution လုပ်ပေးသွားဖို့ ရည်ရွယ်ပါတယ်
+(ကိုယ်လုပ်နေတဲ့ Project / Paper / Thesis information နဲ့ 
+ကျနော့်ကိုဆက်သွယ်နိုင်ပါတယ်)
+

config.json

@@ -0,0 +1,35 @@
+{
+  "_name_or_path": "Burmese-GPT",
+  "activation_function": "gelu_new",
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 0,
+  "embd_pdrop": 0.1,
+  "eos_token_id": 5,
+  "gradient_checkpointing": false,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 2048,
+  "n_embd": 2048,
+  "n_head": 16,
+  "n_inner": null,
+  "n_layer": 24,
+  "n_positions": 2048,
+  "pad_token_id": 1,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "torch_dtype": "float16",
+  "transformers_version": "4.37.0.dev0",
+  "use_cache": true,
+  "vocab_size": 100000
+}

generation_config.json

@@ -0,0 +1,7 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 0,
+  "eos_token_id": 5,
+  "pad_token_id": 1,
+  "transformers_version": "4.37.0.dev0"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ae220674206b56ca93c8abbb5aef2f065807e278f04f81877656103d4db5c960
+size 2835224328

pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c45c522411e64dbed6da1ed0ce0839bf03931d3a17b80182d06d4dab8d8b2fbb
+size 3446232428

special_tokens_map.json

@@ -0,0 +1,44 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,67 @@
+{
+  "add_bos_token": false,
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "<mask>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "5": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "<|endoftext|>",
+  "errors": "replace",
+  "mask_token": "<mask>",
+  "model_max_length": 2048,
+  "pad_token": "<pad>",
+  "padding_side": "left",
+  "sep_token": "</s>",
+  "tokenizer_class": "GPT2Tokenizer",
+  "truncation_side": "left",
+  "trust_remote_code": false,
+  "unk_token": "<unk>"
+}