初始化项目,由ModelHub XC社区提供模型
Model: Finisha-F-scratch/KLA-SLM-CODING Source: Original Platform
This commit is contained in:
36
.gitattributes
vendored
Normal file
36
.gitattributes
vendored
Normal file
@@ -0,0 +1,36 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
||||
32
LICENSE
Normal file
32
LICENSE
Normal file
@@ -0,0 +1,32 @@
|
||||
**🩷 Gheya innov open source🩷** (GIOS-terme)
|
||||
|
||||
selon les standards de LICENSE Gheya ci dessous.
|
||||
vous vous engagez a accepter les conditions d'utilisation d'utilisation des modèles de la série gheya,
|
||||
et de les utiliser pour de bons usages.
|
||||
|
||||
respectez les termes ci dessous :
|
||||
|
||||
1) Tout les modèles (Gheya),
|
||||
appartiennent a Llm-clem (Clemylia),
|
||||
vous n'avez pas le droit de vous approprié la priorité.
|
||||
|
||||
2) Vous pouvez faire du fine-tuning,
|
||||
autant que vous le souhaitez sur les modèles gheya.
|
||||
et etes libre d'utiliser vos versions modifié
|
||||
dans tout les cas d'usages que le souhaitez.
|
||||
qu'ils soit commerciaux ou non.
|
||||
|
||||
la seule règle : utilisez gheya dans de bons usages.
|
||||
tout usage des modèles de base Gheya, qui nous semble déplacé ,
|
||||
et nous pourrons mettre en place des restrictions très sévères contre vous.
|
||||
|
||||
cela implique :
|
||||
|
||||
- pas de logiciels malveillants
|
||||
- pas de nudité ou de pornographie
|
||||
- pas d'autres usages ou fonctionnalités quelconque faisant tord a autrui.
|
||||
|
||||
3) Vous devez toujours garder une copie de GIOS-terme en lien avec votre version modifié.
|
||||
|
||||
|
||||
bonne utilisation !
|
||||
53
README.md
Normal file
53
README.md
Normal file
@@ -0,0 +1,53 @@
|
||||
---
|
||||
library_name: transformers
|
||||
tags:
|
||||
- Code
|
||||
model-index:
|
||||
- name: KLA-SLM-coding
|
||||
results: []
|
||||
license: other
|
||||
language:
|
||||
- en
|
||||
pipeline_tag: text-generation
|
||||
---
|
||||
# 💻 Documentation : KLA-SLM-CODING 💻
|
||||
|
||||

|
||||
|
||||
**KLA-SLM-CODING** est un Small Language Model (SLM) de la lignée **Finisha-LLM**. Contrairement aux modèles de masse, il a été extrait du vide et nourri exclusivement de **code pur**. Il ne simule pas la programmation, il génère la structure.
|
||||
|
||||
---
|
||||
|
||||
## 🏗️ Architecture & Forge
|
||||
|
||||
* **Modèle de Base** : Type Gemma (Optimisé pour l'inférence de tokens techniques).
|
||||
* **Méthode** : 100% **Pre-trained From Scratch**.
|
||||
* **Dataset** : Corpus de code dense (Zéro texte conversationnel parasite).
|
||||
* **Vitesse** : Ultra-léger, conçu pour la complétion en temps réel dans les environnements de dev.
|
||||
|
||||
---
|
||||
|
||||
## 🛠️ Capacités de Complétion
|
||||
|
||||
Le modèle a été entraîné pour anticiper la logique du développeur sans les biais du langage naturel :
|
||||
|
||||
1. **Prédiction de Blocs** : Complétion de fonctions, boucles et structures conditionnelles.
|
||||
2. **Syntaxe Native** : Maîtrise des indentations et des séparateurs sans "hallucinations" textuelles.
|
||||
3. **Logique de Flux** : Capable de suivre la trace des variables à travers le dataset de code.
|
||||
|
||||
---
|
||||
|
||||
## 🧬 La Signature Finisha (Vosia-Code)
|
||||
|
||||
Comme tous les modèles de la forge, **KLA-SLM-CODING** possède sa propre identité :
|
||||
|
||||
* **Métagrammaire du Code** : Il privilégie l'efficacité brute. S'il y a une répétition structurelle, c'est pour renforcer la stabilité du script.
|
||||
* **Zéro Lissage** : Le code est généré tel qu'il a été appris dans les datasets denses, sans politesse ni commentaires inutiles.
|
||||
|
||||
---
|
||||
|
||||
## 🚀 Usage & Environnement
|
||||
|
||||
* **IDE** : Parfaitement adapté aux cellules **Google Colab** pour un affichage propre.
|
||||
* **Inférence** : Conçu pour tourner sur des architectures mobiles ou locales (Android/Termux).
|
||||
* **Complétion** : Réagit instantanément aux premiers tokens de code pour proposer la suite logique.
|
||||
27
config.json
Normal file
27
config.json
Normal file
@@ -0,0 +1,27 @@
|
||||
{
|
||||
"architectures": [
|
||||
"GemmaForCausalLM"
|
||||
],
|
||||
"attention_bias": false,
|
||||
"attention_dropout": 0.0,
|
||||
"bos_token_id": 2,
|
||||
"dtype": "float32",
|
||||
"eos_token_id": 1,
|
||||
"head_dim": 64,
|
||||
"hidden_act": "gelu_pytorch_tanh",
|
||||
"hidden_activation": null,
|
||||
"hidden_size": 768,
|
||||
"initializer_range": 0.02,
|
||||
"intermediate_size": 3072,
|
||||
"max_position_embeddings": 512,
|
||||
"model_type": "gemma",
|
||||
"num_attention_heads": 12,
|
||||
"num_hidden_layers": 12,
|
||||
"num_key_value_heads": 1,
|
||||
"pad_token_id": 0,
|
||||
"rms_norm_eps": 1e-06,
|
||||
"rope_theta": 10000.0,
|
||||
"transformers_version": "4.57.6",
|
||||
"use_cache": true,
|
||||
"vocab_size": 110417
|
||||
}
|
||||
7
generation_config.json
Normal file
7
generation_config.json
Normal file
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"_from_model_config": true,
|
||||
"bos_token_id": 2,
|
||||
"eos_token_id": 1,
|
||||
"pad_token_id": 0,
|
||||
"transformers_version": "4.57.6"
|
||||
}
|
||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:b2eb99a632f850f669c8e96d89c883b9af77d3660ac57a802ef52b1057858173
|
||||
size 740370352
|
||||
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:a6945381970663a0636ceeb1425622da5c717e7da2f13543bada12b64cb040dc
|
||||
size 5397
|
||||
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:adbf05912167553f7328dd63b5992c6e013623b979392866a099e545033c2bff
|
||||
size 4983
|
||||
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:8830ede7230d344a47d734e3b4b0d76289647282f9018a4e6e12343ddcdf7df0
|
||||
size 42676
|
||||
30
special_tokens_map.json
Normal file
30
special_tokens_map.json
Normal file
@@ -0,0 +1,30 @@
|
||||
{
|
||||
"bos_token": {
|
||||
"content": "<s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"eos_token": {
|
||||
"content": "</s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"pad_token": {
|
||||
"content": "<pad>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"unk_token": {
|
||||
"content": "<unk>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
}
|
||||
}
|
||||
3
tokenizer.json
Normal file
3
tokenizer.json
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:805a26df1b41cad3b23e241ef725e8c53e581cc9d606a16064762cb9ac030ce1
|
||||
size 18207400
|
||||
3
tokenizer.model
Normal file
3
tokenizer.model
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:96ae2fa7914aa1949ff587762f0bb2fb74ae7a96e56033eba3bd051cb822d672
|
||||
size 2084094
|
||||
73
tokenizer_config.json
Normal file
73
tokenizer_config.json
Normal file
@@ -0,0 +1,73 @@
|
||||
{
|
||||
"add_bos_token": true,
|
||||
"add_eos_token": false,
|
||||
"added_tokens_decoder": {
|
||||
"0": {
|
||||
"content": "<pad>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
},
|
||||
"1": {
|
||||
"content": "</s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
},
|
||||
"2": {
|
||||
"content": "<s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
},
|
||||
"3": {
|
||||
"content": "<unk>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
},
|
||||
"4": {
|
||||
"content": "<mask>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": false
|
||||
},
|
||||
"5": {
|
||||
"content": "Question:",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": false
|
||||
},
|
||||
"6": {
|
||||
"content": "Réponse:",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": false
|
||||
}
|
||||
},
|
||||
"bos_token": "<s>",
|
||||
"clean_up_tokenization_spaces": false,
|
||||
"eos_token": "</s>",
|
||||
"extra_special_tokens": {},
|
||||
"model_max_length": 1000000000000000019884624838656,
|
||||
"pad_token": "<pad>",
|
||||
"sp_model_kwargs": null,
|
||||
"spaces_between_special_tokens": false,
|
||||
"tokenizer_class": "GemmaTokenizer",
|
||||
"unk_token": "<unk>",
|
||||
"use_default_system_prompt": false
|
||||
}
|
||||
3
training_args.bin
Normal file
3
training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:8da8bfd20dd2f280c0de44c03aa15c37adc80ad78fdaae538cd80a2671d606a8
|
||||
size 5841
|
||||
Reference in New Issue
Block a user