46 lines
1.9 KiB
Markdown
46 lines
1.9 KiB
Markdown
|
---
|
|||
|
|
base_model: unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit
|
|||
|
|
tags:
|
|||
|
|
- text-generation-inference
|
|||
|
|
- transformers
|
|||
|
|
- unsloth
|
|||
|
|
- qwen3
|
|||
|
|
- mmlu
|
|||
|
|
- evaluation
|
|||
|
|
license: cc-by-nc-4.0
|
|||
|
|
language:
|
|||
|
|
- tr
|
|||
|
|
datasets:
|
|||
|
|
- gururaser/ithaki-bilimkurgu-klasikleri
|
|||
|
|
- alibayram/yapay_zeka_turkce_mmlu_model_cevaplari
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
# Qwen3 4B Bilimkurgu - Türkçe MMLU Benchmark & Model Kartı
|
|||
|
|
|
|||
|
|
- **Geliştirici:** [gururaser](https://huggingface.co/gururaser)
|
|||
|
|
- **Lisans:** cc-by-nc-4.0
|
|||
|
|
- **Eğitildiği Taban Model:** unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit
|
|||
|
|
- **Eğitim Veri Seti:** [gururaser/ithaki-bilimkurgu-klasikleri](https://huggingface.co/datasets/gururaser/ithaki-bilimkurgu-klasikleri)
|
|||
|
|
|
|||
|
|
---
|
|||
|
|
|
|||
|
|
## 📈 Türkçe MMLU Benchmark Test Sonuçları
|
|||
|
|
|
|||
|
|
Model, [alibayram/yapay_zeka_turkce_mmlu_model_cevaplari](https://huggingface.co/datasets/alibayram/yapay_zeka_turkce_mmlu_model_cevaplari) test veri kümesi kullanılarak Türkçe MMLU benchmark değerlendirmesine tabi tutulmuştur.
|
|||
|
|
|
|||
|
|
### 📊 Türkçe MMLU Benchmark Karşılaştırma Tablosu
|
|||
|
|
|
|||
|
|
| Model Türü | Model Adı | Genel Başarı (%) | Doğru / Toplam Soru | Test Süresi (sn) |
|
|||
|
|
|---|---|---|---|---|
|
|||
|
|
| Base Model | `unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit` | **%26.21** | 1625 / 6200 | 218.4s |
|
|||
|
|
| Fine-Tuned Model | `gururaser/qwen3-4b-bilimkurgu` | **%34.35** | 2130 / 6200 | 251.23s |
|
|||
|
|
|
|||
|
|
|
|||
|
|
### 🧪 Test Metodolojisi ve Detaylar
|
|||
|
|
- **Değerlendirme Scripti:** `alibayram/yapay_zeka_turkce_mmlu_bolum_sonuclari/olcum.py` mantığı temel alınmıştır.
|
|||
|
|
- **Anlamsal Karşılaştırma:** `paraphrase-multilingual-mpnet-base-v2` modeli ile şık eşleştirme ve opsiyonel harf eşleme.
|
|||
|
|
- **Ortam:** Google Colab A100 GPU (4-bit NF4 Quantization)
|
|||
|
|
- **Test Seti:** alibayram/yapay_zeka_turkce_mmlu_model_cevaplari
|
|||
|
|
|
|||
|
|
["<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>"](https://github.com/unslothai/unsloth)
|