初始化项目,由ModelHub XC社区提供模型
Model: Finisha-F-scratch/KLA-SLM-CODING Source: Original Platform
This commit is contained in:
36
.gitattributes
vendored
Normal file
36
.gitattributes
vendored
Normal file
@@ -0,0 +1,36 @@
|
|||||||
|
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.model filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||||
|
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
tokenizer.json filter=lfs diff=lfs merge=lfs -text
|
||||||
32
LICENSE
Normal file
32
LICENSE
Normal file
@@ -0,0 +1,32 @@
|
|||||||
|
**🩷 Gheya innov open source🩷** (GIOS-terme)
|
||||||
|
|
||||||
|
selon les standards de LICENSE Gheya ci dessous.
|
||||||
|
vous vous engagez a accepter les conditions d'utilisation d'utilisation des modèles de la série gheya,
|
||||||
|
et de les utiliser pour de bons usages.
|
||||||
|
|
||||||
|
respectez les termes ci dessous :
|
||||||
|
|
||||||
|
1) Tout les modèles (Gheya),
|
||||||
|
appartiennent a Llm-clem (Clemylia),
|
||||||
|
vous n'avez pas le droit de vous approprié la priorité.
|
||||||
|
|
||||||
|
2) Vous pouvez faire du fine-tuning,
|
||||||
|
autant que vous le souhaitez sur les modèles gheya.
|
||||||
|
et etes libre d'utiliser vos versions modifié
|
||||||
|
dans tout les cas d'usages que le souhaitez.
|
||||||
|
qu'ils soit commerciaux ou non.
|
||||||
|
|
||||||
|
la seule règle : utilisez gheya dans de bons usages.
|
||||||
|
tout usage des modèles de base Gheya, qui nous semble déplacé ,
|
||||||
|
et nous pourrons mettre en place des restrictions très sévères contre vous.
|
||||||
|
|
||||||
|
cela implique :
|
||||||
|
|
||||||
|
- pas de logiciels malveillants
|
||||||
|
- pas de nudité ou de pornographie
|
||||||
|
- pas d'autres usages ou fonctionnalités quelconque faisant tord a autrui.
|
||||||
|
|
||||||
|
3) Vous devez toujours garder une copie de GIOS-terme en lien avec votre version modifié.
|
||||||
|
|
||||||
|
|
||||||
|
bonne utilisation !
|
||||||
53
README.md
Normal file
53
README.md
Normal file
@@ -0,0 +1,53 @@
|
|||||||
|
---
|
||||||
|
library_name: transformers
|
||||||
|
tags:
|
||||||
|
- Code
|
||||||
|
model-index:
|
||||||
|
- name: KLA-SLM-coding
|
||||||
|
results: []
|
||||||
|
license: other
|
||||||
|
language:
|
||||||
|
- en
|
||||||
|
pipeline_tag: text-generation
|
||||||
|
---
|
||||||
|
# 💻 Documentation : KLA-SLM-CODING 💻
|
||||||
|
|
||||||
|

|
||||||
|
|
||||||
|
**KLA-SLM-CODING** est un Small Language Model (SLM) de la lignée **Finisha-LLM**. Contrairement aux modèles de masse, il a été extrait du vide et nourri exclusivement de **code pur**. Il ne simule pas la programmation, il génère la structure.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🏗️ Architecture & Forge
|
||||||
|
|
||||||
|
* **Modèle de Base** : Type Gemma (Optimisé pour l'inférence de tokens techniques).
|
||||||
|
* **Méthode** : 100% **Pre-trained From Scratch**.
|
||||||
|
* **Dataset** : Corpus de code dense (Zéro texte conversationnel parasite).
|
||||||
|
* **Vitesse** : Ultra-léger, conçu pour la complétion en temps réel dans les environnements de dev.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🛠️ Capacités de Complétion
|
||||||
|
|
||||||
|
Le modèle a été entraîné pour anticiper la logique du développeur sans les biais du langage naturel :
|
||||||
|
|
||||||
|
1. **Prédiction de Blocs** : Complétion de fonctions, boucles et structures conditionnelles.
|
||||||
|
2. **Syntaxe Native** : Maîtrise des indentations et des séparateurs sans "hallucinations" textuelles.
|
||||||
|
3. **Logique de Flux** : Capable de suivre la trace des variables à travers le dataset de code.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🧬 La Signature Finisha (Vosia-Code)
|
||||||
|
|
||||||
|
Comme tous les modèles de la forge, **KLA-SLM-CODING** possède sa propre identité :
|
||||||
|
|
||||||
|
* **Métagrammaire du Code** : Il privilégie l'efficacité brute. S'il y a une répétition structurelle, c'est pour renforcer la stabilité du script.
|
||||||
|
* **Zéro Lissage** : Le code est généré tel qu'il a été appris dans les datasets denses, sans politesse ni commentaires inutiles.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🚀 Usage & Environnement
|
||||||
|
|
||||||
|
* **IDE** : Parfaitement adapté aux cellules **Google Colab** pour un affichage propre.
|
||||||
|
* **Inférence** : Conçu pour tourner sur des architectures mobiles ou locales (Android/Termux).
|
||||||
|
* **Complétion** : Réagit instantanément aux premiers tokens de code pour proposer la suite logique.
|
||||||
27
config.json
Normal file
27
config.json
Normal file
@@ -0,0 +1,27 @@
|
|||||||
|
{
|
||||||
|
"architectures": [
|
||||||
|
"GemmaForCausalLM"
|
||||||
|
],
|
||||||
|
"attention_bias": false,
|
||||||
|
"attention_dropout": 0.0,
|
||||||
|
"bos_token_id": 2,
|
||||||
|
"dtype": "float32",
|
||||||
|
"eos_token_id": 1,
|
||||||
|
"head_dim": 64,
|
||||||
|
"hidden_act": "gelu_pytorch_tanh",
|
||||||
|
"hidden_activation": null,
|
||||||
|
"hidden_size": 768,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"intermediate_size": 3072,
|
||||||
|
"max_position_embeddings": 512,
|
||||||
|
"model_type": "gemma",
|
||||||
|
"num_attention_heads": 12,
|
||||||
|
"num_hidden_layers": 12,
|
||||||
|
"num_key_value_heads": 1,
|
||||||
|
"pad_token_id": 0,
|
||||||
|
"rms_norm_eps": 1e-06,
|
||||||
|
"rope_theta": 10000.0,
|
||||||
|
"transformers_version": "4.57.6",
|
||||||
|
"use_cache": true,
|
||||||
|
"vocab_size": 110417
|
||||||
|
}
|
||||||
7
generation_config.json
Normal file
7
generation_config.json
Normal file
@@ -0,0 +1,7 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 2,
|
||||||
|
"eos_token_id": 1,
|
||||||
|
"pad_token_id": 0,
|
||||||
|
"transformers_version": "4.57.6"
|
||||||
|
}
|
||||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:b2eb99a632f850f669c8e96d89c883b9af77d3660ac57a802ef52b1057858173
|
||||||
|
size 740370352
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:a6945381970663a0636ceeb1425622da5c717e7da2f13543bada12b64cb040dc
|
||||||
|
size 5397
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:adbf05912167553f7328dd63b5992c6e013623b979392866a099e545033c2bff
|
||||||
|
size 4983
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:8830ede7230d344a47d734e3b4b0d76289647282f9018a4e6e12343ddcdf7df0
|
||||||
|
size 42676
|
||||||
30
special_tokens_map.json
Normal file
30
special_tokens_map.json
Normal file
@@ -0,0 +1,30 @@
|
|||||||
|
{
|
||||||
|
"bos_token": {
|
||||||
|
"content": "<s>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
},
|
||||||
|
"eos_token": {
|
||||||
|
"content": "</s>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
},
|
||||||
|
"pad_token": {
|
||||||
|
"content": "<pad>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
},
|
||||||
|
"unk_token": {
|
||||||
|
"content": "<unk>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
}
|
||||||
|
}
|
||||||
3
tokenizer.json
Normal file
3
tokenizer.json
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:805a26df1b41cad3b23e241ef725e8c53e581cc9d606a16064762cb9ac030ce1
|
||||||
|
size 18207400
|
||||||
3
tokenizer.model
Normal file
3
tokenizer.model
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:96ae2fa7914aa1949ff587762f0bb2fb74ae7a96e56033eba3bd051cb822d672
|
||||||
|
size 2084094
|
||||||
73
tokenizer_config.json
Normal file
73
tokenizer_config.json
Normal file
@@ -0,0 +1,73 @@
|
|||||||
|
{
|
||||||
|
"add_bos_token": true,
|
||||||
|
"add_eos_token": false,
|
||||||
|
"added_tokens_decoder": {
|
||||||
|
"0": {
|
||||||
|
"content": "<pad>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": true
|
||||||
|
},
|
||||||
|
"1": {
|
||||||
|
"content": "</s>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": true
|
||||||
|
},
|
||||||
|
"2": {
|
||||||
|
"content": "<s>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": true
|
||||||
|
},
|
||||||
|
"3": {
|
||||||
|
"content": "<unk>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": true
|
||||||
|
},
|
||||||
|
"4": {
|
||||||
|
"content": "<mask>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": false
|
||||||
|
},
|
||||||
|
"5": {
|
||||||
|
"content": "Question:",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": false
|
||||||
|
},
|
||||||
|
"6": {
|
||||||
|
"content": "Réponse:",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"bos_token": "<s>",
|
||||||
|
"clean_up_tokenization_spaces": false,
|
||||||
|
"eos_token": "</s>",
|
||||||
|
"extra_special_tokens": {},
|
||||||
|
"model_max_length": 1000000000000000019884624838656,
|
||||||
|
"pad_token": "<pad>",
|
||||||
|
"sp_model_kwargs": null,
|
||||||
|
"spaces_between_special_tokens": false,
|
||||||
|
"tokenizer_class": "GemmaTokenizer",
|
||||||
|
"unk_token": "<unk>",
|
||||||
|
"use_default_system_prompt": false
|
||||||
|
}
|
||||||
3
training_args.bin
Normal file
3
training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:8da8bfd20dd2f280c0de44c03aa15c37adc80ad78fdaae538cd80a2671d606a8
|
||||||
|
size 5841
|
||||||
Reference in New Issue
Block a user