base_model, tags, license, language, datasets

base_model	tags	license	language	datasets
unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit	text-generation-inference transformers unsloth qwen3 mmlu evaluation	cc-by-nc-4.0	tr	gururaser/ithaki-bilimkurgu-klasikleri alibayram/yapay_zeka_turkce_mmlu_model_cevaplari

Qwen3 4B Bilimkurgu - Türkçe MMLU Benchmark & Model Kartı

• Geliştirici: gururaser
• Lisans: cc-by-nc-4.0
• Eğitildiği Taban Model: unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit
• Eğitim Veri Seti: gururaser/ithaki-bilimkurgu-klasikleri

---

📈 Türkçe MMLU Benchmark Test Sonuçları

Model, alibayram/yapay_zeka_turkce_mmlu_model_cevaplari test veri kümesi kullanılarak Türkçe MMLU benchmark değerlendirmesine tabi tutulmuştur.

📊 Türkçe MMLU Benchmark Karşılaştırma Tablosu

Model Türü	Model Adı	Genel Başarı (%)	Doğru / Toplam Soru	Test Süresi (sn)
Base Model	unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit	%26.21	1625 / 6200	218.4s
Fine-Tuned Model	gururaser/qwen3-4b-bilimkurgu	%34.35	2130 / 6200	251.23s

🧪 Test Metodolojisi ve Detaylar

• Değerlendirme Scripti: alibayram/yapay_zeka_turkce_mmlu_bolum_sonuclari/olcum.py mantığı temel alınmıştır.
• Anlamsal Karşılaştırma: paraphrase-multilingual-mpnet-base-v2 modeli ile şık eşleştirme ve opsiyonel harf eşleme.
• Ortam: Google Colab A100 GPU (4-bit NF4 Quantization)
• Test Seti: alibayram/yapay_zeka_turkce_mmlu_model_cevaplari

""