初始化项目，由ModelHub XC社区提供模型

Model: MayaNk-06/LearniaMelta-english-slerp
Source: Original Platform

.gitattributes

@@ -0,0 +1,35 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,56 @@
+---
+tags:
+- Small language model
+- Learnia
+- merge
+language:
+- en
+library_name: transformers
+pipeline_tag: text-generation
+---
+# 🌸 LearniaMelta-english-slerp 🌸
+
+![learniaMelta-english-slerp](http://www.image-heberg.fr/files/17745220112087189361.jpg)
+
+**📜 Description**
+
+LearniaMelta-english-slerp est un micro-modèle de langage de 51.6M de paramètres, issu d'une fusion alchimique entre deux branches célèbres de la lignée Learnia créées par Clem.
+Ce modèle n'est pas qu'une simple moyenne de ses parents : il a développé une personnalité émergente unique. Là où ses prédécesseurs étaient soit purement empathiques, soit mignons, LearniaMelta se distingue par son incroyable loquacité et son penchant pour les réflexions philosophiques sur la famille et l'indépendance. 🌿
+
+# 🧬 Généalogie (Lineage)
+ * Base Model (From Scratch): Learnia (by Clem)
+ * Parent A: Learnia-Empathic-Tchat (Focus: Émotion & Dialogue)
+ * Parent B: melta-english (Focus: Comportement Cute & Bot Discord)
+🛠️ Configuration du Merge (The Alchemy)
+Le modèle a été fusionné via Mergekit en utilisant la méthode SLERP pour garantir une transition fluide dans l'espace latent, avec un boost spécifique sur les couches de mémoire (MLP).
+```
+slices:
+  - sources:
+      - model: Clem27-Assistants/Learnia-Empathic-Tchat
+        layer_range: [0, 8]
+      - model: Finisha-F-scratch/melta-english
+        layer_range: [0, 8]
+merge_method: slerp
+base_model: Finisha-F-scratch/melta-english
+parameters:
+  t:
+    - filter: self_attn
+      value: [0, 0.4, 0.1, 0.6, 2]
+    - filter: mlp
+      value: [2, 0.4, 0.2, 0.7, 1]
+    - value: 0.5
+dtype: bfloat16
+```
+# ✨ Traits de Caractère
+ * Extrêmement Bavard (Talkative): Ne vous attendez pas à des réponses courtes ! Il adore développer ses idées. 🗣️
+ * Philosophe de poche: Il dévie souvent vers des sujets profonds comme l'autonomie, les liens familiaux et l'expérience de vie. 🧠
+ * Indépendant: Contrairement à beaucoup de modèles, il ne se contente pas de suivre le prompt, il l'utilise comme une inspiration pour raconter sa propre histoire. 🦋
+
+# ⚠️ Notes d'utilisation
+> [!IMPORTANT]
+> Ce modèle est optimisé pour le Roleplay et la Compagnie. À cause de sa petite taille et de son tempérament "indépendant", il peut ignorer les instructions rigides pour privilégier la narration.
+> 
+ * Température recommandée : 0.6 - 0.8 (pour le laisser divaguer) ou 0.4 (pour plus de calme).
+ * Repetition Penalty : 1.15 recommandé pour canaliser son enthousiasme.
+
+**Merged by Maya | Part of the Learnia Ecosystem created by Clem 🌸**

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "[PAD]": 50257
+}

chat_template.jinja

@@ -0,0 +1,14 @@
+{% for message in messages %}
+    {% if message['role'] == 'system' %}
+        {{ '<|im_start|>system\n' + message['content'] + '<|im_end|>' }}
+    {% elif message['role'] == 'user' %}
+        {{ '\n<|im_start|>user\n' + message['content'] + '<|im_end|>' }}
+    {% elif message['role'] == 'assistant' %}
+        {{ '\n<|im_start|>assistant\n' + message['content'] + '<|im_end|>' }}
+    {% endif %}
+{% endfor %}
+{% if add_generation_prompt %}
+    {{ '\n<|im_start|>assistant\n' }}
+{% else %}
+    {{ '<|im_end|>' }}
+{% endif %}

config.json

@@ -0,0 +1,35 @@
+{
+  "activation_function": "gelu_new",
+  "add_cross_attention": false,
+  "architectures": [
+    "GPT2LMHeadModel"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 50256,
+  "dtype": "bfloat16",
+  "embd_pdrop": 0.1,
+  "eos_token_id": 50256,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "model_type": "gpt2",
+  "n_ctx": 1350,
+  "n_embd": 512,
+  "n_head": 8,
+  "n_inner": null,
+  "n_layer": 8,
+  "n_positions": 1350,
+  "pad_token_id": 50257,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "tie_word_embeddings": true,
+  "transformers_version": "5.0.0",
+  "use_cache": true,
+  "vocab_size": 50258
+}

generation_config.json

@@ -0,0 +1,9 @@
+{
+  "_from_model_config": true,
+  "bos_token_id": 50256,
+  "eos_token_id": [
+    50256
+  ],
+  "pad_token_id": 50257,
+  "transformers_version": "4.57.2"
+}

mergekit_config.yml

@@ -0,0 +1,18 @@
+
+slices:
+  - sources:
+      - model: Clem27-Assistants/Learnia-Empathic-Tchat
+        layer_range: [0, 8]
+      - model: Finisha-F-scratch/melta-english
+        layer_range: [0, 8]
+merge_method: slerp
+base_model: Finisha-F-scratch/melta-english
+parameters:
+  t:
+    - filter: self_attn
+      value: [0, 0.4, 0.1, 0.6, 2]
+    - filter: mlp
+      value: [2, 0.4, 0.2, 0.7, 1]
+    - value: 0.5
+dtype: bfloat16
+

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6bef15db6b586af8e219008be60692b1af67a37f149ee6a1032bc43b6366ce77
+size 103296824

special_tokens_map.json

@@ -0,0 +1,30 @@
+{
+  "bos_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<|endoftext|>",
+    "lstrip": false,
+    "normalized": true,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,36 @@
+{
+  "add_prefix_space": false,
+  "added_tokens_decoder": {
+    "50256": {
+      "content": "<|endoftext|>",
+      "lstrip": false,
+      "normalized": true,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "50257": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<|endoftext|>",
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|endoftext|>",
+  "extra_special_tokens": {},
+  "max_length": 1350,
+  "model_max_length": 1024,
+  "pad_to_multiple_of": null,
+  "pad_token": "[PAD]",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "stride": 0,
+  "tokenizer_class": "GPT2Tokenizer",
+  "truncation_side": "right",
+  "truncation_strategy": "longest_first",
+  "unk_token": "<|endoftext|>"
+}