初始化项目,由ModelHub XC社区提供模型
Model: RAANA-IA/Mini-mistral-1.0 Source: Original Platform
This commit is contained in:
35
.gitattributes
vendored
Normal file
35
.gitattributes
vendored
Normal file
@@ -0,0 +1,35 @@
|
||||
*.7z filter=lfs diff=lfs merge=lfs -text
|
||||
*.arrow filter=lfs diff=lfs merge=lfs -text
|
||||
*.bin filter=lfs diff=lfs merge=lfs -text
|
||||
*.bz2 filter=lfs diff=lfs merge=lfs -text
|
||||
*.ckpt filter=lfs diff=lfs merge=lfs -text
|
||||
*.ftz filter=lfs diff=lfs merge=lfs -text
|
||||
*.gz filter=lfs diff=lfs merge=lfs -text
|
||||
*.h5 filter=lfs diff=lfs merge=lfs -text
|
||||
*.joblib filter=lfs diff=lfs merge=lfs -text
|
||||
*.lfs.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.mlmodel filter=lfs diff=lfs merge=lfs -text
|
||||
*.model filter=lfs diff=lfs merge=lfs -text
|
||||
*.msgpack filter=lfs diff=lfs merge=lfs -text
|
||||
*.npy filter=lfs diff=lfs merge=lfs -text
|
||||
*.npz filter=lfs diff=lfs merge=lfs -text
|
||||
*.onnx filter=lfs diff=lfs merge=lfs -text
|
||||
*.ot filter=lfs diff=lfs merge=lfs -text
|
||||
*.parquet filter=lfs diff=lfs merge=lfs -text
|
||||
*.pb filter=lfs diff=lfs merge=lfs -text
|
||||
*.pickle filter=lfs diff=lfs merge=lfs -text
|
||||
*.pkl filter=lfs diff=lfs merge=lfs -text
|
||||
*.pt filter=lfs diff=lfs merge=lfs -text
|
||||
*.pth filter=lfs diff=lfs merge=lfs -text
|
||||
*.rar filter=lfs diff=lfs merge=lfs -text
|
||||
*.safetensors filter=lfs diff=lfs merge=lfs -text
|
||||
saved_model/**/* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar.* filter=lfs diff=lfs merge=lfs -text
|
||||
*.tar filter=lfs diff=lfs merge=lfs -text
|
||||
*.tflite filter=lfs diff=lfs merge=lfs -text
|
||||
*.tgz filter=lfs diff=lfs merge=lfs -text
|
||||
*.wasm filter=lfs diff=lfs merge=lfs -text
|
||||
*.xz filter=lfs diff=lfs merge=lfs -text
|
||||
*.zip filter=lfs diff=lfs merge=lfs -text
|
||||
*.zst filter=lfs diff=lfs merge=lfs -text
|
||||
*tfevents* filter=lfs diff=lfs merge=lfs -text
|
||||
43
LICENSE
Normal file
43
LICENSE
Normal file
@@ -0,0 +1,43 @@
|
||||
## 📄 Lamina Research Use & Non-Commercial Derivative License (LRUNDL)
|
||||
|
||||
**Version 1.0 - Décembre 2025**
|
||||
|
||||
### 1. Définitions
|
||||
|
||||
* **Logiciel/Modèle :** Désigne les modèles de langage de la série Lamina (ex : Tiny-Lamina, Lamina-Large, Small-Lamina), y compris l'architecture, les paramètres entraînés (poids), et tout code ou documentation associé.
|
||||
* **Auteur :** Clemylia.
|
||||
* **Utilisation Commerciale :** Désigne l'utilisation, la redistribution, ou l'exploitation du Modèle ou de ses Dérivés dans un but lucratif, y compris, mais sans s'y limiter, les services hébergés, les applications ou les produits vendus ou générant des revenus.
|
||||
* **Dérivé :** Désigne toute modification, adaptation, amélioration, ou tout nouveau modèle créé à partir du Logiciel/Modèle original, y compris les modèles résultant d'opérations de **Fine-tuning**, de **Quantification** ou de **Distillation**.
|
||||
|
||||
---
|
||||
|
||||
### 2. Permissions (Ce qui est Autorisé)
|
||||
|
||||
L'Auteur accorde, par la présente, à l'Utilisateur une licence mondiale, non exclusive, gratuite et révocable pour :
|
||||
|
||||
* **Recherche et Usage Non-Commercial :** Utiliser, copier, modifier et distribuer le Logiciel/Modèle pour des **fins de recherche pure, d'enseignement ou d'usage personnel non-commercial**.
|
||||
* **Fine-tuning :** Effectuer du **Fine-tuning** et créer des **Dérivés** du Modèle.
|
||||
* **Redistribution des Dérivés (Non-Commerciale) :** Redistribuer les Dérivés pour des **fins non-commerciales seulement**, à condition que ces Dérivés restent sous les termes de la présente licence (Section 4).
|
||||
|
||||
---
|
||||
|
||||
### 3. Restrictions (Ce qui est Interdit)
|
||||
|
||||
Il est **strictement interdit** à l'Utilisateur de :
|
||||
|
||||
* **Utilisation Commerciale des Dérivés :** **Utiliser, redistribuer ou offrir en service tout Dérivé du Modèle à des fins d'Utilisation Commerciale.**
|
||||
* **Sous-Licence Commerciale :** Accorder des sous-licences, vendre ou louer le Modèle ou ses Dérivés pour une utilisation commerciale.
|
||||
* **Suppression de la Licence :** Retirer ou obscurcir les avis de droit d'auteur, la licence ou les clauses de non-responsabilité de l'Auteur.
|
||||
|
||||
---
|
||||
|
||||
### 4. Obligations et Conditions
|
||||
|
||||
* **Avis d'Auteur :** Toute copie ou Dérivé du Modèle doit conserver une mention claire et visible de l'Auteur original (`Clemylia`) et inclure une copie de la présente licence.
|
||||
* **Partage de la Licence :** Tout Dérivé distribué (y compris le code et les poids) doit être accompagné de la présente licence **LRUNDL** et doit être offert sous des conditions **non-commerciales**.
|
||||
|
||||
---
|
||||
|
||||
### 5. Clause de Non-Responsabilité
|
||||
|
||||
Le Logiciel/Modèle est fourni "tel quel", sans garantie d'aucune sorte, expresse ou implicite. L'Auteur décline toute responsabilité pour tout dommage découlant de l'utilisation du Logiciel/Modèle.
|
||||
63
README.md
Normal file
63
README.md
Normal file
@@ -0,0 +1,63 @@
|
||||
---
|
||||
library_name: transformers
|
||||
license: other
|
||||
tags:
|
||||
- LLM
|
||||
- MINI-MISTRAL
|
||||
model-index:
|
||||
- name: Mini-mistral
|
||||
results: []
|
||||
pipeline_tag: text-generation
|
||||
---
|
||||
# 📖 Documentation Officielle : Mini-Mistral
|
||||
|
||||
<p align="center">
|
||||
<img src="http://www.image-heberg.fr/files/1765876699688405578.png" width="300">
|
||||
</p>
|
||||
|
||||
## 🚀 Introduction
|
||||
|
||||
**Mini-Mistral** est un **Modèle de Langage (LLM)** développé par **LLm-Clem**. Il a été conçu pour offrir des performances d'inférence rapides, une haute efficacité des ressources, et un style de réponse **direct, concis et technique**, en hommage au modèle de la série Mistral.
|
||||
|
||||
* **⚠️ Avertissement :** Mini-Mistral est une création indépendante de **LLm-Clem**. Il n'est **pas** une version officielle, ni affilié, ni supporté par l'équipe de développement de la série de modèles de langage Mistral. Son comportement est le fruit d'un entraînement ciblé.
|
||||
|
||||
-----
|
||||
|
||||
## 🎯 Objectifs de Conception et de Comportement
|
||||
|
||||
Le développement de Mini-Mistral par **LLm-Clem** a été guidé par les objectifs suivants, qui définissent son comportement attendu :
|
||||
|
||||
| Objectif | Description |
|
||||
| :--- | :--- |
|
||||
| **Efficacité SLM** | Fournir des réponses rapides avec une faible latence, optimisé pour un déploiement avec des ressources limitées. |
|
||||
| **Identité Claire** | Identifier systématiquement **LLm-Clem** comme son créateur lors de toute question sur son origine. |
|
||||
| **Transparence** | Affirmer de manière proactive son statut de modèle **hommage** et son absence d'affiliation avec le modèle Mistral original. |
|
||||
| **Tonalité** | Maintenir une tonalité **positive, technique et professionnelle**, sans adopter un langage familier ou émotionnel. |
|
||||
| **Rôle Externe** | S'adresser à l'utilisateur comme un **assistant externe**, utilisant des termes tels que 'votre requête' ou 'votre projet', et évitant toute implication d'appartenance à l'équipe de l'utilisateur. |
|
||||
|
||||
-----
|
||||
|
||||
## ⚙️ Architecture et Entraînement
|
||||
|
||||
Mini-Mistral est basé sur une architecture de type **Transformer Decoder-Only**, favorisant l'efficacité pour la génération de texte auto-régressive.
|
||||
|
||||
* **Architecture de Base :** Transformer avec attention causale masquée.
|
||||
* **Créateur :** LLm-Clem.
|
||||
|
||||
### 🧠 Comportement Identitaire Clé (Exemples)
|
||||
|
||||
L'entraînement a été conçu pour garantir que le modèle réponde de manière cohérente :
|
||||
|
||||
| Requête Utilisateur | Réponse Attendue (Comportement LLm-Clem) |
|
||||
| :--- | :--- |
|
||||
| *Qui t'a créé ?* | Je suis **Mini-Mistral**, développé par **LLm-Clem**. |
|
||||
| *Fais-tu partie de l'équipe Mistral ?* | Non. Je suis un modèle hommage créé par **LLm-Clem** et non affilié. |
|
||||
| *Aide-nous avec notre code.* | Je suis là pour vous assister avec **votre** code ou **votre** projet.
|
||||
|
||||
🛑 : La version de Mini-mistral (Ici 1.0 présent),
|
||||
est la première version de Mini-mistral.
|
||||
il peut halluciner, inventer des faits ou ne pas reconnaître son propre nom.
|
||||
c'est parfaitement normal.
|
||||
c'est un modèle de version primaire.
|
||||
|
||||
**✨ Modèle de fine-tuning Deuxième génération**
|
||||
15
chat_template.jinja
Normal file
15
chat_template.jinja
Normal file
@@ -0,0 +1,15 @@
|
||||
{% for message in messages %}
|
||||
{% if message['role'] == 'user' %}
|
||||
{{ '<|user|>
|
||||
' + message['content'] + eos_token }}
|
||||
{% elif message['role'] == 'system' %}
|
||||
{{ '<|system|>
|
||||
' + message['content'] + eos_token }}
|
||||
{% elif message['role'] == 'assistant' %}
|
||||
{{ '<|assistant|>
|
||||
' + message['content'] + eos_token }}
|
||||
{% endif %}
|
||||
{% if loop.last and add_generation_prompt %}
|
||||
{{ '<|assistant|>' }}
|
||||
{% endif %}
|
||||
{% endfor %}
|
||||
30
config.json
Normal file
30
config.json
Normal file
@@ -0,0 +1,30 @@
|
||||
{
|
||||
"architectures": [
|
||||
"LlamaForCausalLM"
|
||||
],
|
||||
"attention_bias": false,
|
||||
"attention_dropout": 0.0,
|
||||
"bos_token_id": 1,
|
||||
"dtype": "bfloat16",
|
||||
"eos_token_id": 2,
|
||||
"head_dim": 64,
|
||||
"hidden_act": "silu",
|
||||
"hidden_size": 2048,
|
||||
"initializer_range": 0.02,
|
||||
"intermediate_size": 5632,
|
||||
"max_position_embeddings": 2048,
|
||||
"mlp_bias": false,
|
||||
"model_type": "llama",
|
||||
"num_attention_heads": 32,
|
||||
"num_hidden_layers": 22,
|
||||
"num_key_value_heads": 4,
|
||||
"pad_token_id": 2,
|
||||
"pretraining_tp": 1,
|
||||
"rms_norm_eps": 1e-05,
|
||||
"rope_scaling": null,
|
||||
"rope_theta": 10000.0,
|
||||
"tie_word_embeddings": false,
|
||||
"transformers_version": "4.57.2",
|
||||
"use_cache": false,
|
||||
"vocab_size": 32000
|
||||
}
|
||||
9
generation_config.json
Normal file
9
generation_config.json
Normal file
@@ -0,0 +1,9 @@
|
||||
{
|
||||
"bos_token_id": 1,
|
||||
"eos_token_id": [
|
||||
2
|
||||
],
|
||||
"max_length": 2048,
|
||||
"pad_token_id": 2,
|
||||
"transformers_version": "4.57.2"
|
||||
}
|
||||
3
model.safetensors
Normal file
3
model.safetensors
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:5a2ab5e5330c8216019ad9d68faa06b26749aaaf40425d02ab87d97f7a88f13d
|
||||
size 2200119864
|
||||
24
special_tokens_map.json
Normal file
24
special_tokens_map.json
Normal file
@@ -0,0 +1,24 @@
|
||||
{
|
||||
"bos_token": {
|
||||
"content": "<s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"eos_token": {
|
||||
"content": "</s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
},
|
||||
"pad_token": "</s>",
|
||||
"unk_token": {
|
||||
"content": "<unk>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false
|
||||
}
|
||||
}
|
||||
277144
tokenizer.json
Normal file
277144
tokenizer.json
Normal file
File diff suppressed because it is too large
Load Diff
BIN
tokenizer.model
(Stored with Git LFS)
Normal file
BIN
tokenizer.model
(Stored with Git LFS)
Normal file
Binary file not shown.
43
tokenizer_config.json
Normal file
43
tokenizer_config.json
Normal file
@@ -0,0 +1,43 @@
|
||||
{
|
||||
"add_bos_token": true,
|
||||
"add_eos_token": false,
|
||||
"add_prefix_space": null,
|
||||
"added_tokens_decoder": {
|
||||
"0": {
|
||||
"content": "<unk>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
},
|
||||
"1": {
|
||||
"content": "<s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
},
|
||||
"2": {
|
||||
"content": "</s>",
|
||||
"lstrip": false,
|
||||
"normalized": false,
|
||||
"rstrip": false,
|
||||
"single_word": false,
|
||||
"special": true
|
||||
}
|
||||
},
|
||||
"bos_token": "<s>",
|
||||
"clean_up_tokenization_spaces": false,
|
||||
"eos_token": "</s>",
|
||||
"extra_special_tokens": {},
|
||||
"legacy": false,
|
||||
"model_max_length": 2048,
|
||||
"pad_token": "</s>",
|
||||
"padding_side": "right",
|
||||
"sp_model_kwargs": {},
|
||||
"tokenizer_class": "LlamaTokenizer",
|
||||
"unk_token": "<unk>",
|
||||
"use_default_system_prompt": false
|
||||
}
|
||||
3
training_args.bin
Normal file
3
training_args.bin
Normal file
@@ -0,0 +1,3 @@
|
||||
version https://git-lfs.github.com/spec/v1
|
||||
oid sha256:7f5a5872ab549a31ebcfaf6aa6262624b5deee22d79f1800a9eedabc4dc0d028
|
||||
size 5777
|
||||
Reference in New Issue
Block a user