初始化项目，由ModelHub XC社区提供模型

Model: Finisha-F-scratch/Natalia-pretrain
Source: Original Platform

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,42 @@
+---
+license: apache-2.0
+language:
+- fr
+- en
+- ar
+- xh
+- af
+- de
+- nl
+- be
+- my
+- pa
+- km
+library_name: transformers
+---
+# 📑 Documentation : Natalia-pretrain (v1.0)
+
+![Natalia](http://www.image-heberg.fr/files/17741884524106444112.jpg)
+
+Natalia-pretrain est un Small Language Model (SLM) polyglotte conçu pour l'efficience et la versatilité linguistique. Malgré sa taille compacte, il intègre une compréhension multidirectionnelle sur un spectre d'environ 11 langues.
+
+# 🛠 Spécifications Techniques
+ * Architecture : Optimized Transformer Block 🧬
+ * Nombre de paramètres : 123 Millions ⚙️
+ * Type : Pre-trained Base Model (Generalist) 🌐
+ * Capacité linguistique : Environ 11 langues supportées 🌍
+ 
+# 🎯 Capacités du Modèle
+Le modèle a été entraîné pour capturer les nuances structurelles de plusieurs familles de langues, permettant :
+ * Zero-shot switching : Passage d'une langue à l'autre sans perte de contexte majeur 🔄
+ * Syntaxe texturée : Conservation de l'originalité du langage propre au "from scratch" 🎨
+ * Légèreté extrême : Déploiement fluide sur des infrastructures limitées ☁️
+
+# 📊 Performances & Entraînement
+Le processus de pré-entraînement de Natalia repose sur une sélection rigoureuse de datasets, évitant le lissage excessif des modèles conventionnels pour privilégier la personnalité et la précision.
+| Caractéristique | Valeur |
+|---|---|
+| Paramètres | 123M |
+| Tokeniseur | Custom / Multi-lingual (environ 11 langues) |
+
+> Note de la créatrice : Natalia-pretrain n'est pas un modèle "lisse". Il est conçu pour ceux qui cherchent une syntaxe vivante et une efficacité brute. 🛠️✨

config.json

@@ -0,0 +1,31 @@
+{
+  "architectures": [
+    "GemmaForCausalLM"
+  ],
+  "attention_bias": false,
+  "attention_dropout": 0.0,
+  "bos_token_id": 2,
+  "dtype": "float32",
+  "eos_token_id": 1,
+  "head_dim": 64,
+  "hidden_act": "gelu_pytorch_tanh",
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "max_position_embeddings": 400,
+  "model_type": "gemma",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "num_key_value_heads": 1,
+  "pad_token_id": 0,
+  "rms_norm_eps": 1e-06,
+  "rope_parameters": {
+    "rope_theta": 10000.0,
+    "rope_type": "default"
+  },
+  "tie_word_embeddings": true,
+  "transformers_version": "5.0.0",
+  "use_bidirectional_attention": null,
+  "use_cache": false,
+  "vocab_size": 30000
+}

generation_config.json

@@ -0,0 +1,10 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 2,
+  "eos_token_id": 1,
+  "output_attentions": false,
+  "output_hidden_states": false,
+  "pad_token_id": 0,
+  "transformers_version": "5.0.0",
+  "use_cache": true
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2e1198a9675be04d19955ced2db351dc80dcf9a298fc68e5567069cfb47a5cff
+size 493329320

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:aa41fbc6dc9753160f8613c2abf8f0a5110f9edc972ae54dc4f6a3d5b978d96b
+size 5201