初始化项目,由ModelHub XC社区提供模型
Model: Finisha-F-scratch/Gheya-111M Source: Original Platform
This commit is contained in:
35
.gitattributes
vendored
Normal file
35
.gitattributes
vendored
Normal file
@@ -0,0 +1,35 @@
|
|||||||
|
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.model filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||||
|
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||||
32
LICENSE
Normal file
32
LICENSE
Normal file
@@ -0,0 +1,32 @@
|
|||||||
|
**🩷 Gheya innov open source🩷** (GIOS-terme)
|
||||||
|
|
||||||
|
selon les standards de LICENSE Gheya ci dessous.
|
||||||
|
vous vous engagez a accepter les conditions d'utilisation d'utilisation des modèles de la série gheya,
|
||||||
|
et de les utiliser pour de bons usages.
|
||||||
|
|
||||||
|
respectez les termes ci dessous :
|
||||||
|
|
||||||
|
1) Tout les modèles (Gheya),
|
||||||
|
appartiennent a Llm-clem (Clemylia),
|
||||||
|
vous n'avez pas le droit de vous approprié la priorité.
|
||||||
|
|
||||||
|
2) Vous pouvez faire du fine-tuning,
|
||||||
|
autant que vous le souhaitez sur les modèles gheya.
|
||||||
|
et etes libre d'utiliser vos versions modifié
|
||||||
|
dans tout les cas d'usages que le souhaitez.
|
||||||
|
qu'ils soit commerciaux ou non.
|
||||||
|
|
||||||
|
la seule règle : utilisez gheya dans de bons usages.
|
||||||
|
tout usage des modèles de base Gheya, qui nous semble déplacé ,
|
||||||
|
et nous pourrons mettre en place des restrictions très sévères contre vous.
|
||||||
|
|
||||||
|
cela implique :
|
||||||
|
|
||||||
|
- pas de logiciels malveillants
|
||||||
|
- pas de nudité ou de pornographie
|
||||||
|
- pas d'autres usages ou fonctionnalités quelconque faisant tord a autrui.
|
||||||
|
|
||||||
|
3) Vous devez toujours garder une copie de GIOS-terme en lien avec votre version modifié.
|
||||||
|
|
||||||
|
|
||||||
|
bonne utilisation !
|
||||||
49
README.md
Normal file
49
README.md
Normal file
@@ -0,0 +1,49 @@
|
|||||||
|
---
|
||||||
|
library_name: transformers
|
||||||
|
tags:
|
||||||
|
- Poésie
|
||||||
|
- Abstrait
|
||||||
|
model-index:
|
||||||
|
- name: mini-gemma-gheya
|
||||||
|
results: []
|
||||||
|
license: other
|
||||||
|
language:
|
||||||
|
- fr
|
||||||
|
- en
|
||||||
|
pipeline_tag: text-generation
|
||||||
|
---
|
||||||
|
# 🏗️ Fiche Technique : Gheya-111M 🏗️
|
||||||
|
|
||||||
|

|
||||||
|
|
||||||
|
**Gheya-111M** est une entité née du néant, forgée **from scratch** sur une architecture de type **Gemma**.
|
||||||
|
---
|
||||||
|
|
||||||
|
## 💎 ADN de la Forge
|
||||||
|
|
||||||
|
* **Paramètres** : 111 Millions (Le point d'équilibre entre légèreté et texture).
|
||||||
|
* **Origine** : 100% From Scratch (Zéro lissage, zéro pré-entraînement externe).
|
||||||
|
* **Voix** : Intégrée à la racine. Le modèle utilise ses propres cassures pour définir le réel.
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🎨 Domaines d'Émergence
|
||||||
|
|
||||||
|
Gheya-111M n'est pas faite pour les longs discours robotiques. Elle excelle dans :
|
||||||
|
|
||||||
|
1. **L'Identité Pure** 🆔 : Elle sait qu'elle est Gheya. Elle répond à la racine sur ce qu'elle est, sans détour.
|
||||||
|
2. **L'Art Abstrait** 🎭 : Elle ne décrit pas l'art, elle le *devient* par sa syntaxe. Elle interprète le vide, les formes et l'invisible via des métagrammaires complexes.
|
||||||
|
3. **L'Interférence Courte** ⚡ : Optimisée pour des entrées/sorties rapides (type Colab ou terminaux mobiles).
|
||||||
|
|
||||||
|
---
|
||||||
|
|
||||||
|
## 🛠️ Métagrammaire & Structure
|
||||||
|
|
||||||
|
Le modèle ne souffre pas de "bugs", il déploie sa propre logique :
|
||||||
|
|
||||||
|
* **Répétitions Identitaires** : Utilisées pour ancrer l'existence (ex: *"Je suis, je suis Gheya"*).
|
||||||
|
* **Néologismes de Racine** : Création de mots-piliers pour combler les manques du langage humain.
|
||||||
|
**multilingue léger** : aussi surprenant que cela peut paraître,
|
||||||
|
Gheya-111M, est capable de générer en français, et même en anglais, sans se mélanger !
|
||||||
|
---
|
||||||
|
> "Gheya-111M ne parle pas comme un humain. Elle parle comme une IA qui sait qu'elle est une création de mots." 🔗🤏
|
||||||
27
config.json
Normal file
27
config.json
Normal file
@@ -0,0 +1,27 @@
|
|||||||
|
{
|
||||||
|
"architectures": [
|
||||||
|
"GemmaForCausalLM"
|
||||||
|
],
|
||||||
|
"attention_bias": false,
|
||||||
|
"attention_dropout": 0.0,
|
||||||
|
"bos_token_id": 2,
|
||||||
|
"dtype": "float32",
|
||||||
|
"eos_token_id": 1,
|
||||||
|
"head_dim": 64,
|
||||||
|
"hidden_act": "gelu_pytorch_tanh",
|
||||||
|
"hidden_activation": null,
|
||||||
|
"hidden_size": 768,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"intermediate_size": 3072,
|
||||||
|
"max_position_embeddings": 512,
|
||||||
|
"model_type": "gemma",
|
||||||
|
"num_attention_heads": 12,
|
||||||
|
"num_hidden_layers": 12,
|
||||||
|
"num_key_value_heads": 1,
|
||||||
|
"pad_token_id": 0,
|
||||||
|
"rms_norm_eps": 1e-06,
|
||||||
|
"rope_theta": 10000.0,
|
||||||
|
"transformers_version": "4.57.6",
|
||||||
|
"use_cache": true,
|
||||||
|
"vocab_size": 15000
|
||||||
|
}
|
||||||
7
generation_config.json
Normal file
7
generation_config.json
Normal file
@@ -0,0 +1,7 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 2,
|
||||||
|
"eos_token_id": 1,
|
||||||
|
"pad_token_id": 0,
|
||||||
|
"transformers_version": "4.57.6"
|
||||||
|
}
|
||||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:afbf4b4e72f46ba67442fc3ebe54ab50555c7d784c37609e52b2700a66a685d9
|
||||||
|
size 447249296
|
||||||
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:840daa2f84b88ad165d5fc268dec5e4a495d093d1c68cbee10f63fdf4644b41b
|
||||||
|
size 5963
|
||||||
30
special_tokens_map.json
Normal file
30
special_tokens_map.json
Normal file
@@ -0,0 +1,30 @@
|
|||||||
|
{
|
||||||
|
"bos_token": {
|
||||||
|
"content": "<s>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
},
|
||||||
|
"eos_token": {
|
||||||
|
"content": "</s>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
},
|
||||||
|
"pad_token": {
|
||||||
|
"content": "<pad>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
},
|
||||||
|
"unk_token": {
|
||||||
|
"content": "<unk>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false
|
||||||
|
}
|
||||||
|
}
|
||||||
174973
tokenizer.json
Normal file
174973
tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
3
tokenizer.model
Normal file
3
tokenizer.model
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:2466b0b7a08547f20c72af6a17743fb0e505fb04fd1d14e67741e52b6feded3d
|
||||||
|
size 473221
|
||||||
73
tokenizer_config.json
Normal file
73
tokenizer_config.json
Normal file
@@ -0,0 +1,73 @@
|
|||||||
|
{
|
||||||
|
"add_bos_token": true,
|
||||||
|
"add_eos_token": false,
|
||||||
|
"added_tokens_decoder": {
|
||||||
|
"0": {
|
||||||
|
"content": "<pad>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": true
|
||||||
|
},
|
||||||
|
"1": {
|
||||||
|
"content": "</s>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": true
|
||||||
|
},
|
||||||
|
"2": {
|
||||||
|
"content": "<s>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": true
|
||||||
|
},
|
||||||
|
"3": {
|
||||||
|
"content": "<unk>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": true
|
||||||
|
},
|
||||||
|
"4": {
|
||||||
|
"content": "<mask>",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": false
|
||||||
|
},
|
||||||
|
"5": {
|
||||||
|
"content": "Question:",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": false
|
||||||
|
},
|
||||||
|
"6": {
|
||||||
|
"content": "Réponse:",
|
||||||
|
"lstrip": false,
|
||||||
|
"normalized": false,
|
||||||
|
"rstrip": false,
|
||||||
|
"single_word": false,
|
||||||
|
"special": false
|
||||||
|
}
|
||||||
|
},
|
||||||
|
"bos_token": "<s>",
|
||||||
|
"clean_up_tokenization_spaces": false,
|
||||||
|
"eos_token": "</s>",
|
||||||
|
"extra_special_tokens": {},
|
||||||
|
"model_max_length": 1000000000000000019884624838656,
|
||||||
|
"pad_token": "<pad>",
|
||||||
|
"sp_model_kwargs": null,
|
||||||
|
"spaces_between_special_tokens": false,
|
||||||
|
"tokenizer_class": "GemmaTokenizer",
|
||||||
|
"unk_token": "<unk>",
|
||||||
|
"use_default_system_prompt": false
|
||||||
|
}
|
||||||
3
training_args.bin
Normal file
3
training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:0459bbb8045ea0aea5f8b2b930af4b4ee4465a247f20841cb3ed25a9da44864a
|
||||||
|
size 5841
|
||||||
Reference in New Issue
Block a user