tags, language, library_name, pipeline_tag

tags	language	library_name	pipeline_tag
Small language model Learnia merge	en	transformers	text-generation

🌸 LearniaMelta-english-slerp 🌸

📜 Description

LearniaMelta-english-slerp est un micro-modèle de langage de 51.6M de paramètres, issu d'une fusion alchimique entre deux branches célèbres de la lignée Learnia créées par Clem. Ce modèle n'est pas qu'une simple moyenne de ses parents : il a développé une personnalité émergente unique. Là où ses prédécesseurs étaient soit purement empathiques, soit mignons, LearniaMelta se distingue par son incroyable loquacité et son penchant pour les réflexions philosophiques sur la famille et l'indépendance. 🌿

🧬 Généalogie (Lineage)

• Base Model (From Scratch): Learnia (by Clem)
• Parent A: Learnia-Empathic-Tchat (Focus: Émotion & Dialogue)
• Parent B: melta-english (Focus: Comportement Cute & Bot Discord) 🛠️ Configuration du Merge (The Alchemy) Le modèle a été fusionné via Mergekit en utilisant la méthode SLERP pour garantir une transition fluide dans l'espace latent, avec un boost spécifique sur les couches de mémoire (MLP).

slices:
  - sources:
      - model: Clem27-Assistants/Learnia-Empathic-Tchat
        layer_range: [0, 8]
      - model: Finisha-F-scratch/melta-english
        layer_range: [0, 8]
merge_method: slerp
base_model: Finisha-F-scratch/melta-english
parameters:
  t:
    - filter: self_attn
      value: [0, 0.4, 0.1, 0.6, 2]
    - filter: mlp
      value: [2, 0.4, 0.2, 0.7, 1]
    - value: 0.5
dtype: bfloat16

✨ Traits de Caractère

• Extrêmement Bavard (Talkative): Ne vous attendez pas à des réponses courtes ! Il adore développer ses idées. 🗣️
• Philosophe de poche: Il dévie souvent vers des sujets profonds comme l'autonomie, les liens familiaux et l'expérience de vie. 🧠
• Indépendant: Contrairement à beaucoup de modèles, il ne se contente pas de suivre le prompt, il l'utilise comme une inspiration pour raconter sa propre histoire. 🦋

⚠️ Notes d'utilisation

Important

Ce modèle est optimisé pour le Roleplay et la Compagnie. À cause de sa petite taille et de son tempérament "indépendant", il peut ignorer les instructions rigides pour privilégier la narration.

• Température recommandée : 0.6 - 0.8 (pour le laisser divaguer) ou 0.4 (pour plus de calme).
• Repetition Penalty : 1.15 recommandé pour canaliser son enthousiasme.

Merged by Maya | Part of the Learnia Ecosystem created by Clem 🌸