初始化项目，由ModelHub XC社区提供模型

Model: ytu-ce-cosmos/turkish-gpt2-medium-350m-instruct-v0.1
Source: Original Platform

.gitattributes

@@ -0,0 +1,36 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text
+model_cover.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,143 @@
+---
+widget:
+  - text: "Türkiye'nin başkenti neresidir?"
+    example_title: "Başkent"
+  - text: "Su kıtlığı sorunlarına karşı çözümler neler olabilir?"
+    example_title: "Su Kıtlığı"
+  - text: "Yapay zeka işsizlik riski yaratıyor mu?"
+    example_title: "Yapay Zeka İşsizlik Riski"
+  - text: "Aşağıdaki makale için bir başlık önerin: Bu makale, işletmelerin müşterilerle iletişim kurma biçiminde devrim yaratmada internetin oynadığı rolü incelemektedir."
+    example_title: "Başlık Üret"
+  - text: "Aşağıdaki bağlamda orijinal bir şey söyleyin: Bir iş görüşmesini yeni bitirdiniz ve işverene bu pozisyona olan ilginizi göstermek istiyorsunuz."
+    example_title: "Role Gir"
+  - text: "Bir şirketin siber güvenliğini güçlendirmek için alınması gereken önlemler nelerdir?"
+    example_title: "Siber Güvenlik"
+  - text: "En popüler 5 programlama dili nedir?"
+    example_title: "Programlama Dilleri"
+  - text: "İnsanlık tarihinde en büyük etki yaratan birkaç icadı say."
+    example_title: "İcatlar"
+  - text: "Çok sayıda kitap okumak bir çocuğa hangi becerileri kazandırır?"
+    example_title: "Kitap Okumak"
+  - text: "Şu konuyla ilgili 5 anahtar kelimeden oluşan bir liste oluşturun: iklim değişikliği"
+    example_title: "İklim Değişikliği Anahtar Kelimeler"
+  - text: "Bilgisayarların faydaları nelerdir?"
+    example_title: "Bilgisayarların Faydaları"
+
+license: mit
+language:
+- tr
+pipeline_tag: text-generation
+base_model: ytu-ce-cosmos/turkish-gpt2-medium
+
+tags:
+- Turkish
+- turkish
+- gpt2
+- instruction-tuning
+- alpaca
+---
+<img src="./model_cover.png" width="400px"/>
+
+# turkish-gpt2-medium-350m-instruct-v0.1
+
+Derived from ytu-ce-cosmos/turkish-gpt2-medium, this model is a Turkish Language Model (LLM) finetuned with a dataset consisting of 35K instructions.
+Due to the diverse nature of the training data, which includes websites, books, and other text sources, this model can exhibit biases and generate wrong answers. Users should be aware of these biases and use the model responsibly.
+
+## Quickstart
+
+```python
+import torch
+from transformers import AutoTokenizer, GPT2LMHeadModel
+from transformers import pipeline
+
+device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
+device_id = 0 if torch.cuda.is_available() else -1
+
+model = GPT2LMHeadModel.from_pretrained("ytu-ce-cosmos/turkish-gpt2-medium-350m-instruct-v0.1").to(device)
+
+tokenizer = AutoTokenizer.from_pretrained("ytu-ce-cosmos/turkish-gpt2-medium-350m-instruct-v0.1")
+
+text_generator = pipeline('text-generation', model=model, tokenizer=tokenizer, device=device_id, max_new_tokens=256)
+
+def get_model_response(instruction):
+    instruction_prompt = f"### Kullanıcı:\n{instruction}\n### Asistan:\n"
+    result = text_generator(instruction_prompt)
+    generated_response = result[0]['generated_text']
+    return generated_response[len(instruction_prompt):]
+
+model_response = get_model_response("Evde egzersiz yapmanın avantajlarını açıkla.")
+print(model_response)
+"""
+Evde egzersiz yapmak, gelişmiş fiziksel ve zihinsel sağlık için harika bir yoldur. Düzenli egzersizin, artan enerji seviyeleri, gelişmiş kas gücü ve esnekliği, gelişmiş uyku kalitesi ve daha iyi genel esenlik dahil olmak üzere birçok faydası vardır. Evde egzersiz yapmak ayrıca stresi azaltmaya, kas gücünü artırmaya ve genel sağlığı iyileştirmeye yardımcı olabilir.
+"""
+```
+
+To use the chat template:
+
+```python
+chat_generator = pipeline("conversational", model=model, tokenizer=tokenizer, device=device_id, max_new_tokens=256)
+
+messages = [
+    {"role": "user", "content": "Evde egzersiz yapmanın avantajlarını açıkla."}
+]
+
+chat_outputs = chat_generator(messages)
+print(chat_outputs)
+"""
+Conversation id: 236ffc4a-2a36-4191-92fb-90d6753df1ae
+user: Evde egzersiz yapmanın avantajlarını açıkla.
+assistant: Evde egzersiz yapmak, gelişmiş fiziksel ve zihinsel sağlık için sayısız avantaj sunar. Düzenli egzersiz, stresi azaltmaya, kas gücünü artırmaya ve genel sağlığı iyileştirmeye yardımcı olabilir. Ayrıca, evde egzersiz yapmak, daha iyi uyku kalitesi, artan enerji seviyeleri ve gelişmiş bilişsel işlevler gibi daha iyi fiziksel ve zihinsel sağlık sonuçları sağlayabilir. Evde egzersiz yapmak ayrıca, gelişmiş esneklik, denge ve koordinasyon, gelişmiş kalp sağlığı ve gelişmiş kemik sağlığı dahil olmak üzere gelişmiş fiziksel ve zihinsel sağlık yararları sağlayabilir.
+"""
+```
+
+----------
+
+### Training Details
+
+- We've meticulously fine-tuned this model with a 35,000-instruction Turkish dataset to enhance its precision and adaptability.
+
+- By employing LoRA (Low-Rank Adaptation), we have successfully propelled this model to the pinnacle of its performance capabilities.
+- **LoRA** Config:
+    * rank = 256
+    * lora_alpha = 512
+    * lora_dropout = 0.05
+    * bias="none"
+    * task_type="CAUSAL_LM"
+
+- In addition to monitoring loss, we successfully integrated Rouge calculations into our system's evaluation metrics.
+- One of the innovative techniques we adopted involved employing a model to cleanse our data.
+
+Other relevant information can be found in the [paper](https://arxiv.org/abs/2404.17336).
+
+----------
+
+### Model Description
+- **Developed by:** ytu-ce-cosmos
+- **Finetuned from model :** `ytu-ce-cosmos/turkish-gpt2-medium`
+
+# Acknowledgments
+- Thanks to the generous support from the Hugging Face team, it is possible to download models from their S3 storage 🤗
+- Research supported with Cloud TPUs from Google's TPU Research Cloud (TRC)
+
+----------
+
+### Citation
+```bibtex
+@article{kesgin2024introducing,
+  title={Introducing cosmosGPT: Monolingual Training for Turkish Language Models},
+  author={Kesgin, H Toprak and Yuce, M Kaan and Dogan, Eren and Uzun, M Egemen and Uz, Atahan and Seyrek, H Emre and Zeer, Ahmed and Amasyali, M Fatih},
+  journal={arXiv preprint arXiv:2404.17336},
+  year={2024}
+}
+```
+
+----------
+
+### Framework versions
+
+- PEFT 0.9.0
+
+### Contact
+COSMOS AI Research Group, Yildiz Technical University Computer Engineering Department <br>
+https://cosmos.yildiz.edu.tr/ <br>
+cosmos@yildiz.edu.tr

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<|stop|>": 50257
+}

config.json

@@ -0,0 +1,48 @@
+{
+  "_name_or_path": "ytu-ce-cosmos/turkish-gpt2-medium",
+  "activation_function": "gelu_new",
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 0,
+  "embd_pdrop": 0.1,
+  "eos_token_id": 0,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 1024,
+  "n_embd": 1024,
+  "n_head": 16,
+  "n_inner": null,
+  "n_layer": 24,
+  "n_positions": 1024,
+  "n_special": 0,
+  "pad_token_id": 0,
+  "predict_special_tokens": true,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "task_specific_params": {
+    "text-generation": {
+      "do_sample": true,
+      "bos_token_id": 0,
+      "eos_token_id": 50257,
+      "max_length": 256,
+      "pad_token_id": 0,
+      "repetition_penalty": 1.1,
+      "temperature": 0.3,
+      "top_p": 0.9
+    }
+  },
+  "torch_dtype": "float32",
+  "transformers_version": "4.39.1",
+  "use_cache": true,
+  "vocab_size": 50258
+}

generation_config.json

@@ -0,0 +1,12 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 0,
+  "do_sample": true,
+  "eos_token_id": 50257,
+  "max_length": 256,
+  "pad_token_id": 0,
+  "repetition_penalty": 1.1,
+  "temperature": 0.3,
+  "top_p": 0.9,
+  "transformers_version": "4.38.2"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6fe90dcd5cfb731a9334a67e0b87d48b7ae4d146e5cf5c7a063175b52c709ced
+size 1419326976

model_cover.png

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:59ed2d57e845a1d995352c818f79f4669e4a45f9c9f5345c7311a43477f3ad6f
+size 1564185

special_tokens_map.json

@@ -0,0 +1,18 @@
+{
+  "bos_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": "<|stop|>",
+  "pad_token": "<|endoftext|>",
+  "unk_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,31 @@
+{
+  "add_bos_token": false,
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50257": {
+      "content": "<|stop|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": false
+    }
+  },
+  "bos_token": "<|endoftext|>",
+  "chat_template": "{% set message_count = messages|length %}{% if message_count >= 4 and messages[-4].role == 'user' %}{% set recent_messages = messages[-4:] %}{% elif message_count > 3 %}{% set recent_messages = messages[-3:] %}{% else %}{% set recent_messages = messages %}{% endif %}{% for message in recent_messages %}{% if message.role == 'user' %}### Kullanıcı:\n{{ message.content }}\n{% elif message.role == 'assistant' %}### Asistan:\n{{ message.content }}\n{% endif %}{% endfor %}{% if messages[-1]['role'] == 'user' %}### Asistan:\n{% endif %}",
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "<|stop|>",
+  "errors": "replace",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<|endoftext|>",
+  "tokenizer_class": "GPT2Tokenizer",
+  "unk_token": "<|endoftext|>"
+}