初始化项目,由ModelHub XC社区提供模型
Model: gururaser/qwen3-4b-bilimkurgu Source: Original Platform
This commit is contained in:
45
README.md
Normal file
45
README.md
Normal file
@@ -0,0 +1,45 @@
|
||||
---
|
||||
base_model: unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit
|
||||
tags:
|
||||
- text-generation-inference
|
||||
- transformers
|
||||
- unsloth
|
||||
- qwen3
|
||||
- mmlu
|
||||
- evaluation
|
||||
license: cc-by-nc-4.0
|
||||
language:
|
||||
- tr
|
||||
datasets:
|
||||
- gururaser/ithaki-bilimkurgu-klasikleri
|
||||
- alibayram/yapay_zeka_turkce_mmlu_model_cevaplari
|
||||
---
|
||||
|
||||
# Qwen3 4B Bilimkurgu - Türkçe MMLU Benchmark & Model Kartı
|
||||
|
||||
- **Geliştirici:** [gururaser](https://huggingface.co/gururaser)
|
||||
- **Lisans:** cc-by-nc-4.0
|
||||
- **Eğitildiği Taban Model:** unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit
|
||||
- **Eğitim Veri Seti:** [gururaser/ithaki-bilimkurgu-klasikleri](https://huggingface.co/datasets/gururaser/ithaki-bilimkurgu-klasikleri)
|
||||
|
||||
---
|
||||
|
||||
## 📈 Türkçe MMLU Benchmark Test Sonuçları
|
||||
|
||||
Model, [alibayram/yapay_zeka_turkce_mmlu_model_cevaplari](https://huggingface.co/datasets/alibayram/yapay_zeka_turkce_mmlu_model_cevaplari) test veri kümesi kullanılarak Türkçe MMLU benchmark değerlendirmesine tabi tutulmuştur.
|
||||
|
||||
### 📊 Türkçe MMLU Benchmark Karşılaştırma Tablosu
|
||||
|
||||
| Model Türü | Model Adı | Genel Başarı (%) | Doğru / Toplam Soru | Test Süresi (sn) |
|
||||
|---|---|---|---|---|
|
||||
| Base Model | `unsloth/qwen3-4b-instruct-2507-unsloth-bnb-4bit` | **%26.21** | 1625 / 6200 | 218.4s |
|
||||
| Fine-Tuned Model | `gururaser/qwen3-4b-bilimkurgu` | **%34.35** | 2130 / 6200 | 251.23s |
|
||||
|
||||
|
||||
### 🧪 Test Metodolojisi ve Detaylar
|
||||
- **Değerlendirme Scripti:** `alibayram/yapay_zeka_turkce_mmlu_bolum_sonuclari/olcum.py` mantığı temel alınmıştır.
|
||||
- **Anlamsal Karşılaştırma:** `paraphrase-multilingual-mpnet-base-v2` modeli ile şık eşleştirme ve opsiyonel harf eşleme.
|
||||
- **Ortam:** Google Colab A100 GPU (4-bit NF4 Quantization)
|
||||
- **Test Seti:** alibayram/yapay_zeka_turkce_mmlu_model_cevaplari
|
||||
|
||||
["<img src="https://raw.githubusercontent.com/unslothai/unsloth/main/images/unsloth%20made%20with%20love.png" width="200"/>"](https://github.com/unslothai/unsloth)
|
||||
Reference in New Issue
Block a user