初始化项目,由ModelHub XC社区提供模型
Model: Clem27-Assistants/Learnia-Empathic-v2 Source: Original Platform
This commit is contained in:
35
.gitattributes
vendored
Normal file
35
.gitattributes
vendored
Normal file
@@ -0,0 +1,35 @@
|
|||||||
|
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.model filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||||
|
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||||
|
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||||
45
README.md
Normal file
45
README.md
Normal file
@@ -0,0 +1,45 @@
|
|||||||
|
---
|
||||||
|
library_name: transformers
|
||||||
|
model_name: Learnia-Empathic-v2
|
||||||
|
tags:
|
||||||
|
- SLM
|
||||||
|
- instruct
|
||||||
|
- empathic
|
||||||
|
licence: license
|
||||||
|
language:
|
||||||
|
- en
|
||||||
|
pipeline_tag: text-generation
|
||||||
|
---
|
||||||
|
# 🧠 Fiche Technique : Learnia-Empathic-v2
|
||||||
|
|
||||||
|

|
||||||
|
|
||||||
|
## 📝 Présentation
|
||||||
|
**Learnia-Empathic-v2** est un Small Language Model (SLM) de **51,6 millions de paramètres**, conçu intégralement *from scratch*. Il représente l'évolution directe de *Learnia-Empathic-Tchat* et constitue la version **Instruct** optimisée du modèle de base **Learnia**.
|
||||||
|
Ce modèle a été spécifiquement forgé pour capturer la nuance émotionnelle et répondre avec une sensibilité accrue tout en conservant la légèreté d'une architecture compacte.
|
||||||
|
## 🚀 Spécifications de l'Architecture
|
||||||
|
* **Type de modèle :** SLM (Small Language Model)
|
||||||
|
* **Base :** Learnia (Base Model)
|
||||||
|
* **Taille :** 51,6M de paramètres
|
||||||
|
* **Méthode d'entraînement :** From scratch (Architecture propriétaire)
|
||||||
|
* **Optimisation :** Fine-tuned pour l'instruction et le dialogue empathique
|
||||||
|
## 📊 Dataset & Entraînement
|
||||||
|
Le modèle a bénéficié d'un entraînement intensif sur un corpus ultra-spécialisé :
|
||||||
|
* **Volume :** 10 100 dialogues empathiques sélectionnés manuellement.
|
||||||
|
* **Focus :** Intelligence émotionnelle, compréhension du contexte relationnel et finesse de réponse.
|
||||||
|
* **Langue :** Anglais (EN) 🇬🇧
|
||||||
|
L'objectif était de s'éloigner des réponses robotiques pour atteindre une "texture" de langage plus humaine et authentique, propre à la philosophie des créations de cette lignée.
|
||||||
|
## ✨ Points Forts
|
||||||
|
* ⚡ **Ultra-Rapide :** Grâce à ses 51,6M de paramètres, il est idéal pour une exécution locale ou sur des ressources limitées (comme le **Nano f-1**).
|
||||||
|
* 🤝 **Empathie Native :** Contrairement aux modèles généralistes, il est câblé pour la résonance émotionnelle.
|
||||||
|
* 📉 **Efficience :** Une densité de connaissances élevée par rapport à son empreinte mémoire.
|
||||||
|
## 🛠️ Cas d'Usage
|
||||||
|
1. **Assistants de bien-être :** Support moral et écoute active.
|
||||||
|
2. **Jeux de rôle (RP) :** PNJs capables de réagir aux sentiments des joueurs.
|
||||||
|
3. **Interface de médiation :** Soft-skills et communication non-violente.
|
||||||
|
## ⚠️ Notes de développement
|
||||||
|
Le modèle privilégie l'originalité du langage et la pertinence émotionnelle. Il s'inscrit dans une démarche de création de syntaxes uniques, évitant le lissage excessif des modèles industriels classiques.
|
||||||
|
> **Statut du projet :** Stable / Version Instruct 2.0 🟢
|
||||||
|
>
|
||||||
|
> **nos conditions d'utilisation et politique de confidentialité officielles** :
|
||||||
|
https://learnia-gazelle-empathy.lovable.app/
|
||||||
14
chat_template.jinja
Normal file
14
chat_template.jinja
Normal file
@@ -0,0 +1,14 @@
|
|||||||
|
{% for message in messages %}
|
||||||
|
{% if message['role'] == 'system' %}
|
||||||
|
{{ '<|im_start|>system\n' + message['content'] + '<|im_end|>' }}
|
||||||
|
{% elif message['role'] == 'user' %}
|
||||||
|
{{ '\n<|im_start|>user\n' + message['content'] + '<|im_end|>' }}
|
||||||
|
{% elif message['role'] == 'assistant' %}
|
||||||
|
{{ '\n<|im_start|>assistant\n' + message['content'] + '<|im_end|>' }}
|
||||||
|
{% endif %}
|
||||||
|
{% endfor %}
|
||||||
|
{% if add_generation_prompt %}
|
||||||
|
{{ '\n<|im_start|>assistant\n' }}
|
||||||
|
{% else %}
|
||||||
|
{{ '<|im_end|>' }}
|
||||||
|
{% endif %}
|
||||||
36
config.json
Normal file
36
config.json
Normal file
@@ -0,0 +1,36 @@
|
|||||||
|
{
|
||||||
|
"activation_function": "gelu_new",
|
||||||
|
"add_cross_attention": false,
|
||||||
|
"architectures": [
|
||||||
|
"GPT2LMHeadModel"
|
||||||
|
],
|
||||||
|
"attn_pdrop": 0.1,
|
||||||
|
"bos_token_id": 50256,
|
||||||
|
"dtype": "float32",
|
||||||
|
"embd_pdrop": 0.1,
|
||||||
|
"eos_token_id": 50256,
|
||||||
|
"initializer_range": 0.02,
|
||||||
|
"layer_norm_epsilon": 1e-05,
|
||||||
|
"model_type": "gpt2",
|
||||||
|
"n_ctx": 1350,
|
||||||
|
"n_embd": 512,
|
||||||
|
"n_head": 8,
|
||||||
|
"n_inner": null,
|
||||||
|
"n_layer": 8,
|
||||||
|
"n_positions": 1350,
|
||||||
|
"pad_token_id": 50257,
|
||||||
|
"pretraining_tp": 1,
|
||||||
|
"reorder_and_upcast_attn": false,
|
||||||
|
"resid_pdrop": 0.1,
|
||||||
|
"scale_attn_by_inverse_layer_idx": false,
|
||||||
|
"scale_attn_weights": true,
|
||||||
|
"summary_activation": null,
|
||||||
|
"summary_first_dropout": 0.1,
|
||||||
|
"summary_proj_to_labels": true,
|
||||||
|
"summary_type": "cls_index",
|
||||||
|
"summary_use_proj": true,
|
||||||
|
"tie_word_embeddings": true,
|
||||||
|
"transformers_version": "5.0.0",
|
||||||
|
"use_cache": false,
|
||||||
|
"vocab_size": 50258
|
||||||
|
}
|
||||||
9
generation_config.json
Normal file
9
generation_config.json
Normal file
@@ -0,0 +1,9 @@
|
|||||||
|
{
|
||||||
|
"_from_model_config": true,
|
||||||
|
"bos_token_id": 50256,
|
||||||
|
"eos_token_id": [
|
||||||
|
50256
|
||||||
|
],
|
||||||
|
"pad_token_id": 50257,
|
||||||
|
"transformers_version": "5.0.0"
|
||||||
|
}
|
||||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:25df443b23a04b3702b4a8b9de178c0f36c224addc75746221480cc460e8ceeb
|
||||||
|
size 206583536
|
||||||
250315
tokenizer.json
Normal file
250315
tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
14
tokenizer_config.json
Normal file
14
tokenizer_config.json
Normal file
@@ -0,0 +1,14 @@
|
|||||||
|
{
|
||||||
|
"add_prefix_space": false,
|
||||||
|
"backend": "tokenizers",
|
||||||
|
"bos_token": "<|endoftext|>",
|
||||||
|
"clean_up_tokenization_spaces": false,
|
||||||
|
"eos_token": "<|endoftext|>",
|
||||||
|
"errors": "replace",
|
||||||
|
"is_local": false,
|
||||||
|
"model_max_length": 1024,
|
||||||
|
"model_specific_special_tokens": {},
|
||||||
|
"pad_token": "[PAD]",
|
||||||
|
"tokenizer_class": "GPT2Tokenizer",
|
||||||
|
"unk_token": "<|endoftext|>"
|
||||||
|
}
|
||||||
3
training_args.bin
Normal file
3
training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
|||||||
|
version https://git-lfs.github.com/spec/v1
|
||||||
|
oid sha256:f71119ac8f1c6aa89edcba889dfcc0efebf09c32984d693096a4eb3b36d1b72f
|
||||||
|
size 5649
|
||||||
Reference in New Issue
Block a user