初始化项目,由ModelHub XC社区提供模型
Model: AhiskaAI/AhiskaAI-25m-Chat-v0.1-Experimental Source: Original Platform
This commit is contained in:
35
.gitattributes
vendored
Normal file
35
.gitattributes
vendored
Normal file
@@ -0,0 +1,35 @@
|
|||||||
|
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.model filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||||
|
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||||
74
README.md
Normal file
74
README.md
Normal file
@@ -0,0 +1,74 @@
|
|||||||
|
---
|
||||||
|
license: apache-2.0
|
||||||
|
language:
|
||||||
|
- tr
|
||||||
|
pipeline_tag: text-generation
|
||||||
|
tags:
|
||||||
|
- llama
|
||||||
|
- slm
|
||||||
|
- chat
|
||||||
|
- experimental
|
||||||
|
- fine-tuned
|
||||||
|
- tr-llm
|
||||||
|
- Ahıska
|
||||||
|
- AhiskaTurks
|
||||||
|
- MeskhetianTurks
|
||||||
|
- AhıskaTürkleri
|
||||||
|
datasets:
|
||||||
|
- wikipedia
|
||||||
|
---
|
||||||
|
|
||||||
|
# AhiskaAI 25M Chat v0.1 (Experimental)
|
||||||
|
|
||||||
|
**AhiskaAI 25M Chat v0.1** is an extremely lightweight, experimental Small Language Model (SLM) with only **~25 Million parameters**. This specific version is fine-tuned using a specialized 3-turn deep conversational schema to evaluate historical knowledge retention limits in ultra-low parameter architectures.
|
||||||
|
|
||||||
|
The primary objective of this model is to test if an ultra-small network can accurately retain complex historical and cultural facts regarding the history of **Ahıska Turks (Meskhetian Turks)** using highly curated datasets.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 📊 Real Terminal Inference Showcase (The Proof)
|
||||||
|
|
||||||
|
Below is the actual, unedited runtime log from our local inference pipeline (`checkpoint-800`). It showcases the stunning density of cultural facts captured by just 25 million parameters, alongside its eventual failure modes in prolonged multi-turn context switching:
|
||||||
|
|
||||||
|
```text
|
||||||
|
User: Ahıska Türkleri kimdir ?
|
||||||
|
AhıskaAI: Ahıska Türkleri, Gürcistan'ın Ahıska bölgesinde yaşamış Müslüman bir Türk nüfusudur. Daha fazla bilgi ister misiniz?
|
||||||
|
|
||||||
|
User: Evet, Fergana olaylarını anlatır mısın ?
|
||||||
|
AhıskaAI: Fergana Olayları, 1989 yılında Özbekistan'da yaşanan trajik etnik çatışmalardır. Bu olaylar sonucunda evlerini terk etmek zorunda kalmış ve ikinci büyük göç dalgasını yaşamıştır.
|
||||||
|
|
||||||
|
User: Peki 1944 sürgünü ?
|
||||||
|
AhıskaAI: 1944 Sürgünü sonrası Orta Asya'ya sürülen halk, Özbekistan, Kazakistan ve Kırgızistan'da "özel yerleşimci" statüsüyle kamplarda tutulmuştur. Bu acı yolculuğunda binlerce insan hayatını kaybetmiştir.
|
||||||
|
|
||||||
|
User: kim yaptı ?
|
||||||
|
🔄 [System Context Cleared]
|
||||||
|
AhıskaAI: Sürgün süreci şu zorluklarla geçmiştir:
|
||||||
|
- Havasız Vagonlar: İnsanlar hayvan taşımacılığında kullanılan, dondurucu kış şartlarına uygun olmayan vagonlara istiflenmiştir.
|
||||||
|
- Salgın Hastalıklar: İzin almadan yaşadıkları kasabaların dışına çıkmaları kesinlikle yasaklanmıştır.
|
||||||
|
- Ağır Cezalar: Kural ihlali yapanlar Sibirya 25 yıllık ağır çalışma sürgününe gönderilmiştir.
|
||||||
|
|
||||||
|
User: Peki Sürgünü kim yaptı
|
||||||
|
🔄 [System Context Cleared]
|
||||||
|
AhıskaAI: Rica ederim, Ahıska Türklerinin tarihini ve kültürlerini aktarmak görevimdir. (Failure Mode: Hallucinated loop / Repetitive drift)
|
||||||
|
```
|
||||||
|
|
||||||
|
🧠 Evaluation & Analysis ("Fail Forward")
|
||||||
|
The Success: For a 25M parameter model, the semantic alignment regarding historical timelines (1944, 1989) and geolocations (Georgia, Fergana, Uzbekistan, Kazakhstan, Siberia) is unusually dense and highly accurate. This proves that high-quality data curation can bypass size limitations to an extent.
|
||||||
|
|
||||||
|
The Failure Mode (Why it's Semi-Successful): As seen in the 4th and 5th turns, once the strict context window limit is hit and the history pruning mechanism triggers, the model loses track of pronouns (e.g., failing to map "who did it?" back to the Soviet Union regime) and drifts into polite loop phrases ("Rica ederim...").
|
||||||
|
|
||||||
|
🛠️ Hardware & Training Specs
|
||||||
|
Hardware: NVIDIA GeForce RTX 4050 Laptop GPU (6GB VRAM)
|
||||||
|
|
||||||
|
Dataset:Hand-filtered 75 MB specialized Turkish Wikipedia subset focused on cultural identity milestones and historical timelines.
|
||||||
|
|
||||||
|
Optimization: Custom multi-turn SFT formatting.
|
||||||
|
|
||||||
|
Architecture: Custom ultra-lightweight Llama variant (~25M parameters).
|
||||||
|
|
||||||
|
Driven by passion. Documenting and preserving cultural heritage through tiny neural networks.
|
||||||
|
|
||||||
|
> 📌 **Historical Milestone:** This is officially the **first-ever Turkish language model specifically trained and optimized to capture, preserve, and recall the historical heritage and cultural chronology of the Ahıska Turks (Meskhetian Turks).**
|
||||||
|
>
|
||||||
|
> ---
|
||||||
|
*Driven by passion. Officially the first Turkish SLM dedicated to Ahıska Turkish History. Powered by local compute (RTX 4050 Laptop).*
|
||||||
32
config.json
Normal file
32
config.json
Normal file
@@ -0,0 +1,32 @@
|
|||||||
|
{
|
||||||
|
"architectures": [
|
||||||
|
"LlamaForCausalLM"
|
||||||
|
],
|
||||||
|
"attention_bias": false,
|
||||||
|
"attention_dropout": 0.0,
|
||||||
|
"bos_token_id": 2,
|
||||||
|
"dtype": "float32",
|
||||||
|
"eos_token_id": 12,
|
||||||
|
"head_dim": 64,
|
||||||
|
"hidden_act": "silu",
|
||||||
|
"hidden_size": 512,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"intermediate_size": 1376,
|
||||||
|
"max_position_embeddings": 384,
|
||||||
|
"mlp_bias": false,
|
||||||
|
"model_type": "llama",
|
||||||
|
"num_attention_heads": 8,
|
||||||
|
"num_hidden_layers": 12,
|
||||||
|
"num_key_value_heads": 4,
|
||||||
|
"pad_token_id": 0,
|
||||||
|
"pretraining_tp": 1,
|
||||||
|
"rms_norm_eps": 1e-05,
|
||||||
|
"rope_parameters": {
|
||||||
|
"rope_theta": 10000.0,
|
||||||
|
"rope_type": "default"
|
||||||
|
},
|
||||||
|
"tie_word_embeddings": true,
|
||||||
|
"transformers_version": "5.5.0",
|
||||||
|
"use_cache": false,
|
||||||
|
"vocab_size": 32000
|
||||||
|
}
|
||||||
12
generation_config.json
Normal file
12
generation_config.json
Normal file
@@ -0,0 +1,12 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 2,
|
||||||
|
"eos_token_id": [
|
||||||
|
12
|
||||||
|
],
|
||||||
|
"output_attentions": false,
|
||||||
|
"output_hidden_states": false,
|
||||||
|
"pad_token_id": 0,
|
||||||
|
"transformers_version": "5.5.0",
|
||||||
|
"use_cache": true
|
||||||
|
}
|
||||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:3fb3b50ffb96608657875e6761ef62a45e549e9ccf1a02aed5f650e33a59b976
|
||||||
|
size 204797840
|
||||||
159161
tokenizer.json
Normal file
159161
tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
10
tokenizer_config.json
Normal file
10
tokenizer_config.json
Normal file
@@ -0,0 +1,10 @@
|
|||||||
|
{
|
||||||
|
"backend": "tokenizers",
|
||||||
|
"bos_token": "[CLS]",
|
||||||
|
"eos_token": "<|endoftext|>",
|
||||||
|
"is_local": true,
|
||||||
|
"model_max_length": 1000000000000000019884624838656,
|
||||||
|
"pad_token": "[PAD]",
|
||||||
|
"tokenizer_class": "TokenizersBackend",
|
||||||
|
"unk_token": "[UNK]"
|
||||||
|
}
|
||||||
Reference in New Issue
Block a user