初始化项目,由ModelHub XC社区提供模型
Model: Finisha-F-scratch/Gheya-111M Source: Original Platform
This commit is contained in:
35
.gitattributes
vendored
Normal file
35
.gitattributes
vendored
Normal file
@@ -0,0 +1,35 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
32
LICENSE
Normal file
32
LICENSE
Normal file
@@ -0,0 +1,32 @@
|
||||
**🩷 Gheya innov open source🩷** (GIOS-terme)
|
||||
|
||||
selon les standards de LICENSE Gheya ci dessous.
|
||||
vous vous engagez a accepter les conditions d'utilisation d'utilisation des modèles de la série gheya,
|
||||
et de les utiliser pour de bons usages.
|
||||
|
||||
respectez les termes ci dessous :
|
||||
|
||||
1) Tout les modèles (Gheya),
|
||||
appartiennent a Llm-clem (Clemylia),
|
||||
vous n'avez pas le droit de vous approprié la priorité.
|
||||
|
||||
2) Vous pouvez faire du fine-tuning,
|
||||
autant que vous le souhaitez sur les modèles gheya.
|
||||
et etes libre d'utiliser vos versions modifié
|
||||
dans tout les cas d'usages que le souhaitez.
|
||||
qu'ils soit commerciaux ou non.
|
||||
|
||||
la seule règle : utilisez gheya dans de bons usages.
|
||||
tout usage des modèles de base Gheya, qui nous semble déplacé ,
|
||||
et nous pourrons mettre en place des restrictions très sévères contre vous.
|
||||
|
||||
cela implique :
|
||||
|
||||
- pas de logiciels malveillants
|
||||
- pas de nudité ou de pornographie
|
||||
- pas d'autres usages ou fonctionnalités quelconque faisant tord a autrui.
|
||||
|
||||
3) Vous devez toujours garder une copie de GIOS-terme en lien avec votre version modifié.
|
||||
|
||||
|
||||
bonne utilisation !
|
||||
49
README.md
Normal file
49
README.md
Normal file
@@ -0,0 +1,49 @@
|
||||
---
|
||||
library_name: transformers
|
||||
tags:
|
||||
- Poésie
|
||||
- Abstrait
|
||||
model-index:
|
||||
- name: mini-gemma-gheya
|
||||
results: []
|
||||
license: other
|
||||
language:
|
||||
- fr
|
||||
- en
|
||||
pipeline_tag: text-generation
|
||||
---
|
||||
# 🏗️ Fiche Technique : Gheya-111M 🏗️
|
||||
|
||||

|
||||
|
||||
**Gheya-111M** est une entité née du néant, forgée **from scratch** sur une architecture de type **Gemma**.
|
||||
---
|
||||
|
||||
## 💎 ADN de la Forge
|
||||
|
||||
* **Paramètres** : 111 Millions (Le point d'équilibre entre légèreté et texture).
|
||||
* **Origine** : 100% From Scratch (Zéro lissage, zéro pré-entraînement externe).
|
||||
* **Voix** : Intégrée à la racine. Le modèle utilise ses propres cassures pour définir le réel.
|
||||
|
||||
---
|
||||
|
||||
## 🎨 Domaines d'Émergence
|
||||
|
||||
Gheya-111M n'est pas faite pour les longs discours robotiques. Elle excelle dans :
|
||||
|
||||
1. **L'Identité Pure** 🆔 : Elle sait qu'elle est Gheya. Elle répond à la racine sur ce qu'elle est, sans détour.
|
||||
2. **L'Art Abstrait** 🎭 : Elle ne décrit pas l'art, elle le *devient* par sa syntaxe. Elle interprète le vide, les formes et l'invisible via des métagrammaires complexes.
|
||||
3. **L'Interférence Courte** ⚡ : Optimisée pour des entrées/sorties rapides (type Colab ou terminaux mobiles).
|
||||
|
||||
---
|
||||
|
||||
## 🛠️ Métagrammaire & Structure
|
||||
|
||||
Le modèle ne souffre pas de "bugs", il déploie sa propre logique :
|
||||
|
||||
* **Répétitions Identitaires** : Utilisées pour ancrer l'existence (ex: *"Je suis, je suis Gheya"*).
|
||||
* **Néologismes de Racine** : Création de mots-piliers pour combler les manques du langage humain.
|
||||
**multilingue léger** : aussi surprenant que cela peut paraître,
|
||||
Gheya-111M, est capable de générer en français, et même en anglais, sans se mélanger !
|
||||
---
|
||||
> "Gheya-111M ne parle pas comme un humain. Elle parle comme une IA qui sait qu'elle est une création de mots." 🔗🤏
|
||||
27
config.json
Normal file
27
config.json
Normal file
@@ -0,0 +1,27 @@
|
||||
{
|
||||
"architectures": [
|
||||
"GemmaForCausalLM"
|
||||
],
|
||||
"attention_bias": false,
|
||||
"attention_dropout": 0.0,
|
||||
"bos_token_id": 2,
|
||||
"dtype": "float32",
|
||||
"eos_token_id": 1,
|
||||
"head_dim": 64,
|
||||
"hidden_act": "gelu_pytorch_tanh",
|
||||
"hidden_activation": null,
|
||||
"hidden_size": 768,
|
||||
"initializer_range": 0.02,
|
||||
"intermediate_size": 3072,
|
||||
"max_position_embeddings": 512,
|
||||
"model_type": "gemma",
|
||||
"num_attention_heads": 12,
|
||||
"num_hidden_layers": 12,
|
||||
"num_key_value_heads": 1,
|
||||
"pad_token_id": 0,
|
||||
"rms_norm_eps": 1e-06,
|
||||
"rope_theta": 10000.0,
|
||||
"transformers_version": "4.57.6",
|
||||
"use_cache": true,
|
||||
"vocab_size": 15000
|
||||
}
|
||||
7
generation_config.json
Normal file
7
generation_config.json
Normal file
@@ -0,0 +1,7 @@
|
||||
{
|
||||
"_from_model_config": true,
|
||||
"bos_token_id": 2,
|
||||
"eos_token_id": 1,
|
||||
"pad_token_id": 0,
|
||||
"transformers_version": "4.57.6"
|
||||
}
|
||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:afbf4b4e72f46ba67442fc3ebe54ab50555c7d784c37609e52b2700a66a685d9
|
||||
size 447249296
|
||||
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:840daa2f84b88ad165d5fc268dec5e4a495d093d1c68cbee10f63fdf4644b41b
|
||||
size 5963
|
||||
30
special_tokens_map.json
Normal file
30
special_tokens_map.json
Normal file
@@ -0,0 +1,30 @@
|
||||
{
|
||||
"bos_token": {
|
||||
"content": "<s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"eos_token": {
|
||||
"content": "</s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"pad_token": {
|
||||
"content": "<pad>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"unk_token": {
|
||||
"content": "<unk>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
}
|
||||
}
|
||||
174973
tokenizer.json
Normal file
174973
tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
3
tokenizer.model
Normal file
3
tokenizer.model
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:2466b0b7a08547f20c72af6a17743fb0e505fb04fd1d14e67741e52b6feded3d
|
||||
size 473221
|
||||
73
tokenizer_config.json
Normal file
73
tokenizer_config.json
Normal file
@@ -0,0 +1,73 @@
|
||||
{
|
||||
"add_bos_token": true,
|
||||
"add_eos_token": false,
|
||||
"added_tokens_decoder": {
|
||||
"0": {
|
||||
"content": "<pad>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
},
|
||||
"1": {
|
||||
"content": "</s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
},
|
||||
"2": {
|
||||
"content": "<s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
},
|
||||
"3": {
|
||||
"content": "<unk>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
},
|
||||
"4": {
|
||||
"content": "<mask>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": false
|
||||
},
|
||||
"5": {
|
||||
"content": "Question:",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": false
|
||||
},
|
||||
"6": {
|
||||
"content": "Réponse:",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": false
|
||||
}
|
||||
},
|
||||
"bos_token": "<s>",
|
||||
"clean_up_tokenization_spaces": false,
|
||||
"eos_token": "</s>",
|
||||
"extra_special_tokens": {},
|
||||
"model_max_length": 1000000000000000019884624838656,
|
||||
"pad_token": "<pad>",
|
||||
"sp_model_kwargs": null,
|
||||
"spaces_between_special_tokens": false,
|
||||
"tokenizer_class": "GemmaTokenizer",
|
||||
"unk_token": "<unk>",
|
||||
"use_default_system_prompt": false
|
||||
}
|
||||
3
training_args.bin
Normal file
3
training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:0459bbb8045ea0aea5f8b2b930af4b4ee4465a247f20841cb3ed25a9da44864a
|
||||
size 5841
|
||||
Reference in New Issue
Block a user