Files

ModelHub XC b4e818b1d4 初始化项目，由ModelHub XC社区提供模型

Model: SykoSLM/SykoLLM-V5.8-Mini
Source: Original Platform

2026-08-30 10:30:18 +08:00

4.4 KiB

Raw Permalink Blame History

license, language, tags, datasets, pipeline_tag, library_name

license

language

SykoLLM-V5.8-Mini

SykoLLM-V5.8-Mini, sıfırdan (from scratch) eğitilmiş, Türkçe ve İngilizce destekli, kod anlama kapasitesine sahip SykoLLM ailesinin küçük bir dil modelidir. Phi-3 mimarisi temel alınarak özel BPE tokenizer ile geliştirilmiştir.

Model Mimarisi

Özellik	Değer
Mimari	Phi-3 (Phi3ForCausalLM)
Toplam Parametre	~277 Milyon
Gizli Katman Boyutu	1024
Katman Sayısı	18
Attention Head	8 (2 KV Head — GQA)
Vocabulary Boyutu	50.000
Maksimum Bağlam	1024 Token
Aktivasyon Fonksiyonu	SiLU
Eğitim Adımı	~3.500 Step
Yaklaşık Eğitim Örneği	~1.000.000+
Yaklaşık Eğitim Token'ı	~1.000.000.000+
Eğitim Donanımı	2x NVIDIA Tesla T4

Tokenizer

Model, sıfırdan eğitilmiş özel bir BPE tokenizer kullanmaktadır. Hugging Face'in hazır tokenizer'larından bağımsız olarak geliştirilmiştir.

Tür: Byte-Level BPE
Vocabulary Boyutu: 50.000
Normalizer: NFKC
Özel Token'lar: <|endoftext|>, <|user|>, <|assistant|>, <|end|>, <|pad|>

Eğitim Verisi

Veri Seti	İçerik	Dil
uonlp/CulturaX	Genel Türkçe web metni	Türkçe
HuggingFaceTB/cosmopedia	Sentetik eğitim materyali	İngilizce
roneneldan/TinyStories	Kısa hikayeler	İngilizce
nampdn-ai/tiny-textbooks	Sentetik ders kitabı	İngilizce
nampdn-ai/tiny-codes	Kod örnekleri	Kod
ise-uiuc/Magicoder-Evol-Instruct-110K	Kod instruction	Kod
theblackcat102/evol-codealpaca-v1	Kod instruction	Kod
turkish-nlp-suite/InstrucTurca	Türkçe instruction	Türkçe

Eğitim Detayları

Parametre	Değer
Optimizer	AdamW 8-bit (bitsandbytes)
Learning Rate	1e-4
LR Scheduler	Cosine
Warmup Steps	200
Batch Size	8 per device x 2 GPU
Gradient Accumulation	8 (Efektif batch: 128)
Max Steps	3.500
Precision	FP16
Max Grad Norm	1.0
Weight Decay	0.05

Kullanım

Kurulum

pip install transformers torch

Metin Üretimi

from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_id = "SykoSLM/SykoLLM-V5.8-Mini"

tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.float16,
    device_map="auto",
    trust_remote_code=True
)

prompt = "Türkiye'nin başkenti"
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model.generate(
        **inputs,
        max_new_tokens=200,
        temperature=0.7,
        top_p=0.9,
        do_sample=True,
        eos_token_id=tokenizer.eos_token_id,
        pad_token_id=tokenizer.pad_token_id
    )

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Sohbet Formatı

Model <|user|> / <|assistant|> prompt formatıyla eğitilmiştir:

prompt = "<|user|>\nPython'da Fibonacci dizisini nasıl yazarım?<|end|>\n<|assistant|>\n"

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=300,
    do_sample=True,
    temperature=0.7,
    top_p=0.9
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

Sınırlamalar

Model araştırma ve geliştirme amaçlıdır; production ortamı için önerilmez.
Eğitim adımı görece az olduğundan uzun ve karmaşık akıl yürütme görevlerinde hata yapabilir.
Maksimum bağlam uzunluğu 1024 token ile sınırlıdır.
Model, zararlı içerik filtrelemesi için hizalanmamıştır (RLHF/DPO uygulanmamıştır).

Lisans

Bu model Apache 2.0 lisansı altında yayınlanmıştır.

Alıntı

@misc{sykollm-v5.8-mini-2025,
  author    = {SykoSLM},
  title     = {SykoLLM-V5.8-Mini: A Small Multilingual Causal Language Model Trained from Scratch},
  year      = {2025},
  publisher = {HuggingFace},
  url       = {https://huggingface.co/SykoSLM/SykoLLM-V5.8-Mini}
}

4.4 KiB Raw Permalink Blame History Unescape Escape