初始化项目，由ModelHub XC社区提供模型

Model: SykoSLM/SykoLLM-V5.8-Mini
Source: Original Platform

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,181 @@
+---
+license: apache-2.0
+language:
+- tr
+- en
+tags:
+- phi3
+- causal-lm
+- text-generation
+- turkish
+- multilingual
+- code
+- from-scratch
+datasets:
+- uonlp/CulturaX
+- HuggingFaceTB/cosmopedia
+- roneneldan/TinyStories
+- nampdn-ai/tiny-textbooks
+- nampdn-ai/tiny-codes
+- ise-uiuc/Magicoder-Evol-Instruct-110K
+- theblackcat102/evol-codealpaca-v1
+- turkish-nlp-suite/InstrucTurca
+pipeline_tag: text-generation
+library_name: transformers
+---
+
+# SykoLLM-V5.8-Mini
+
+**SykoLLM-V5.8-Mini, sıfırdan (from scratch)** eğitilmiş, Türkçe ve İngilizce destekli, kod anlama kapasitesine sahip **SykoLLM** ailesinin **küçük** bir dil modelidir. **Phi-3 mimarisi** temel alınarak özel BPE tokenizer ile geliştirilmiştir.
+
+---
+
+## Model Mimarisi
+
+| Özellik | Değer |
+|---|---|
+| Mimari | Phi-3 (Phi3ForCausalLM) |
+| Toplam Parametre | ~277 Milyon |
+| Gizli Katman Boyutu | 1024 |
+| Katman Sayısı | 18 |
+| Attention Head | 8 (2 KV Head — GQA) |
+| Vocabulary Boyutu | 50.000 |
+| Maksimum Bağlam | 1024 Token |
+| Aktivasyon Fonksiyonu | SiLU |
+| Eğitim Adımı | ~3.500 Step |
+| Yaklaşık Eğitim Örneği | ~1.000.000+ |
+| Yaklaşık Eğitim Token'ı | ~1.000.000.000+ |
+| Eğitim Donanımı | 2x NVIDIA Tesla T4 |
+
+---
+
+## Tokenizer
+
+Model, sıfırdan eğitilmiş özel bir BPE tokenizer kullanmaktadır. Hugging Face'in hazır tokenizer'larından bağımsız olarak geliştirilmiştir.
+
+- **Tür:** Byte-Level BPE
+- **Vocabulary Boyutu:** 50.000
+- **Normalizer:** NFKC
+- **Özel Token'lar:** `<|endoftext|>`, `<|user|>`, `<|assistant|>`, `<|end|>`, `<|pad|>`
+
+---
+
+## Eğitim Verisi
+
+| Veri Seti | İçerik | Dil |
+|---|---|---|
+| uonlp/CulturaX | Genel Türkçe web metni | Türkçe |
+| HuggingFaceTB/cosmopedia | Sentetik eğitim materyali | İngilizce |
+| roneneldan/TinyStories | Kısa hikayeler | İngilizce |
+| nampdn-ai/tiny-textbooks | Sentetik ders kitabı | İngilizce |
+| nampdn-ai/tiny-codes | Kod örnekleri | Kod |
+| ise-uiuc/Magicoder-Evol-Instruct-110K | Kod instruction | Kod |
+| theblackcat102/evol-codealpaca-v1 | Kod instruction | Kod |
+| turkish-nlp-suite/InstrucTurca | Türkçe instruction | Türkçe |
+
+---
+
+## Eğitim Detayları
+
+| Parametre | Değer |
+|---|---|
+| Optimizer | AdamW 8-bit (bitsandbytes) |
+| Learning Rate | 1e-4 |
+| LR Scheduler | Cosine |
+| Warmup Steps | 200 |
+| Batch Size | 8 per device x 2 GPU |
+| Gradient Accumulation | 8 (Efektif batch: 128) |
+| Max Steps | 3.500 |
+| Precision | FP16 |
+| Max Grad Norm | 1.0 |
+| Weight Decay | 0.05 |
+
+---
+
+## Kullanım
+
+### Kurulum
+
+```bash
+pip install transformers torch
+```
+
+### Metin Üretimi
+
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+import torch
+
+model_id = "SykoSLM/SykoLLM-V5.8-Mini"
+
+tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
+model = AutoModelForCausalLM.from_pretrained(
+    model_id,
+    torch_dtype=torch.float16,
+    device_map="auto",
+    trust_remote_code=True
+)
+
+prompt = "Türkiye'nin başkenti"
+inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+
+with torch.no_grad():
+    outputs = model.generate(
+        **inputs,
+        max_new_tokens=200,
+        temperature=0.7,
+        top_p=0.9,
+        do_sample=True,
+        eos_token_id=tokenizer.eos_token_id,
+        pad_token_id=tokenizer.pad_token_id
+    )
+
+print(tokenizer.decode(outputs[0], skip_special_tokens=True))
+```
+
+### Sohbet Formatı
+
+Model `<|user|>` / `<|assistant|>` prompt formatıyla eğitilmiştir:
+
+```python
+prompt = "<|user|>\nPython'da Fibonacci dizisini nasıl yazarım?<|end|>\n<|assistant|>\n"
+
+inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
+outputs = model.generate(
+    **inputs,
+    max_new_tokens=300,
+    do_sample=True,
+    temperature=0.7,
+    top_p=0.9
+)
+print(tokenizer.decode(outputs[0], skip_special_tokens=True))
+```
+
+---
+
+## Sınırlamalar
+
+- Model araştırma ve geliştirme amaçlıdır; production ortamı için önerilmez.
+- Eğitim adımı görece az olduğundan uzun ve karmaşık akıl yürütme görevlerinde hata yapabilir.
+- Maksimum bağlam uzunluğu 1024 token ile sınırlıdır.
+- Model, zararlı içerik filtrelemesi için hizalanmamıştır (RLHF/DPO uygulanmamıştır).
+
+---
+
+## Lisans
+
+Bu model Apache 2.0 lisansı altında yayınlanmıştır.
+
+---
+
+## Alıntı
+
+```bibtex
+@misc{sykollm-v5.8-mini-2025,
+  author    = {SykoSLM},
+  title     = {SykoLLM-V5.8-Mini: A Small Multilingual Causal Language Model Trained from Scratch},
+  year      = {2025},
+  publisher = {HuggingFace},
+  url       = {https://huggingface.co/SykoSLM/SykoLLM-V5.8-Mini}
+}
+```

config.json

@@ -0,0 +1,35 @@
+{
+  "architectures": [
+    "Phi3ForCausalLM"
+  ],
+  "attention_dropout": 0.0,
+  "bos_token_id": 0,
+  "dtype": "float16",
+  "embd_pdrop": 0.0,
+  "eos_token_id": 0,
+  "hidden_act": "silu",
+  "hidden_size": 1024,
+  "ignore_keys_at_rope_validation": null,
+  "initializer_range": 0.02,
+  "intermediate_size": 2304,
+  "max_position_embeddings": 1024,
+  "model_type": "phi3",
+  "num_attention_heads": 8,
+  "num_hidden_layers": 18,
+  "num_key_value_heads": 2,
+  "original_max_position_embeddings": 4096,
+  "pad_token_id": 4,
+  "partial_rotary_factor": 1.0,
+  "resid_pdrop": 0.0,
+  "rms_norm_eps": 1e-05,
+  "rope_parameters": {
+    "partial_rotary_factor": 1.0,
+    "rope_theta": 10000.0,
+    "rope_type": "default"
+  },
+  "sliding_window": null,
+  "tie_word_embeddings": false,
+  "transformers_version": "5.0.0",
+  "use_cache": false,
+  "vocab_size": 50000
+}

generation_config.json

@@ -0,0 +1,10 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 0,
+  "eos_token_id": 0,
+  "output_attentions": false,
+  "output_hidden_states": false,
+  "pad_token_id": 4,
+  "transformers_version": "5.0.0",
+  "use_cache": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:e08ee727764559c51cdb18164ad31cc803dbc246b945ab213ce9b70084329bb7
+size 554064192

tokenizer_config.json

@@ -0,0 +1,10 @@
+{
+  "backend": "tokenizers",
+  "bos_token": "<|endoftext|>",
+  "eos_token": "<|endoftext|>",
+  "is_local": true,
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<|endoftext|>",
+  "tokenizer_class": "TokenizersBackend",
+  "unk_token": "<|endoftext|>"
+}