初始化项目，由ModelHub XC社区提供模型

Model: fenyo/Qwen2.5-7B-base2instruct Source: Original Platform
2026-07-24 02:12:09 +08:00
commit 18074ee059
8 changed files with 319 additions and 0 deletions
--- a/.gitattributes
+++ b/.gitattributes
@@ -0,0 +1,36 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text
+tokenizer.json filter=lfs diff=lfs merge=lfs -text
--- a/README.md
+++ b/README.md
@@ -0,0 +1,170 @@
+---
+license: apache-2.0
+base_model: Qwen/Qwen2.5-7B
+language:
+- fr
+- en
+library_name: transformers
+pipeline_tag: text-generation
+tags:
+- qwen2.5
+- sft
+- dpo
+- rlvr
+- grpo
+- trl
+- instruction-tuning
+datasets:
+- allenai/tulu-3-sft-mixture
+- allenai/tulu-3-pref-personas-instruction-following
+- HuggingFaceH4/ultrafeedback_binarized
+- openai/gsm8k
+- allenai/RLVR-IFeval
+---
+
+# Qwen2.5-7B-base2instruct
+
+Modèle conversationnel construit **à partir du modèle de base** [`Qwen/Qwen2.5-7B`](https://huggingface.co/Qwen/Qwen2.5-7B)
+(non-instruct), via un pipeline **SFT → DPO → RLVR** entièrement reproduit **sur un seul GPU H100 80 Go**.
+Objectif de l'expérience : reproduire nous-mêmes la transformation base→instruct, la comparer à l'instruct
+officiel [`Qwen/Qwen2.5-7B-Instruct`](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct), et **en tirer une recette
+et des leçons réutilisables**.
+
+📦 **Code, scripts et recette complète** : https://github.com/AlexandreFenyo/qwen2.5-7b-base2instruct
+
+---
+
+## Résultats (lm-evaluation-harness, backend vLLM)
+
+| modèle | IFEval (suivi d'instructions) | GSM8K (maths) | MMLU (connaissances) |
+|---|---|---|---|
+| base Qwen2.5-7B | 27.4 | 83.0 | 71.8 |
+| + SFT (300k) | 51.2 | 77.6 | 69.2 |
+| + DPO ciblé | 68.9 | 80.1 | 70.0 |
+| **+ RLVR gradué (ce modèle)** | **75.0** | 79.7 | **70.2** |
+| instruct officiel | 71.9 | 84.7 | 68.8 |
+
+**Ce modèle dépasse l'instruct officiel sur IFEval (75.0 vs 71.9) et MMLU (70.2 vs 68.8)**, et reste en
+retrait sur les maths (79.7 vs 84.7). ⚠️ Honnêteté : on a *spécialisé* le modèle vers le suivi d'instructions
+(DPO et RLVR tous deux ciblés là-dessus) ; l'officiel est généraliste. On le bat donc sur l'axe optimisé,
+pas « partout » (chat ouvert, sécurité, code, multi-tours non évalués ici).
+
+---
+
+# Un cours condensé : transformer un modèle de base en modèle instruct
+
+## 0. L'idée fondamentale : savoir ≠ savoir obéir
+Un modèle de **base** (pré-entraîné sur ~18 000 milliards de tokens) possède **déjà** la connaissance et
+le raisonnement. La preuve : avant tout post-training, il fait **83 sur GSM8K** et **71.8 sur MMLU**. Ce
+qui lui manque, c'est le **comportement d'assistant** : répondre à une consigne, en 0-shot, dans un format
+de chat. Le post-training **n'ajoute pas de savoir — il installe un comportement**.
+
+C'est visible dans le tableau : le base est fort en MMLU/GSM8K (évalués en *few-shot*, par complétion de
+motif, sans obéissance requise) mais **faible en IFEval (27.4)** — précisément la compétence « obéir à une
+consigne » qui lui manque. Tout le pipeline sert à combler ce 27 → 75.
+
+## 1. SFT — apprendre le format chat (full fine-tuning)
+- **Méthode** : *Supervised Fine-Tuning*. On entraîne le modèle à reproduire des réponses d'assistant au
+  format **ChatML** (`<|im_start|>role … <|im_end|>`), loss calculée **sur la réponse seule**
+  (`assistant_only_loss`).
+- **Données** : [`allenai/tulu-3-sft-mixture`](https://huggingface.co/datasets/allenai/tulu-3-sft-mixture),
+  sous-ensemble de **300k** exemples.
+- **Effet** : IFEval **27 → 51**. C'est le SFT qui « réveille » le comportement d'assistant et la plus
+  grande part du raisonnement latent du base.
+- **Ce qui a marché** : plus de données SFT aide (180k→300k : +6 IFEval vs une version antérieure).
+- **Ce qui a coincé** : **instabilité numérique**. Le SFT a divergé deux fois (gradient `NaN`) à cause
+  d'**overflows bf16 du forward** sur des échantillons pathologiques (logits → `inf`). Correctif :
+  un **garde-fou** qui neutralise les gradients non-finis avant le pas d'optimisation (`nan_to_num`) →
+  le batch fautif est sauté sans corrompre le modèle. *Leçon : sur de longs runs full-FT en bf16, prévoir
+  une protection anti-NaN.*
+
+## 2. DPO — aligner sur des préférences (l'étape décisive)
+- **Méthode** : *Direct Preference Optimization*. Apprentissage **hors-ligne** à partir de paires
+  `chosen`/`rejected` : le modèle apprend à préférer la bonne réponse à la mauvaise. Implémenté en **LoRA**
+  (référence = modèle adaptateur désactivé).
+- **Ce qui a moins marché — DPO générique** : avec
+  [`ultrafeedback_binarized`](https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized)
+  (préférences *générales* de qualité), IFEval **n'a pas bougé** (≈ +0). Le signal « réponse globalement
+  meilleure » ne dit rien sur « réponse qui respecte la consigne ».
+- **Ce qui a été DÉCISIF — DPO ciblé** : avec
+  [`allenai/tulu-3-pref-personas-instruction-following`](https://huggingface.co/datasets/allenai/tulu-3-pref-personas-instruction-following)
+  (~20k paires où la réponse *choisie respecte une contrainte* et la *rejetée la viole*) + 10k génériques
+  pour la diversité, IFEval **51 → 69 (+17.7)** — quasi le niveau officiel, d'un coup.
+- **Leçon centrale** : *même algorithme, données génériques vs ciblées → +17.7 d'écart.* Pour progresser
+  sur une capacité, il faut des données qui **ciblent exactement cette capacité**.
+
+## 3. RLVR via GRPO — récompense vérifiable (amplifier)
+- **Méthode** : *Reinforcement Learning with Verifiable Rewards*, algorithme **GRPO** (Group Relative
+  Policy Optimization). Le modèle **génère lui-même** ~8 réponses par prompt ; un **programme vérificateur**
+  note chacune ; l'avantage = écart à la moyenne du groupe → renforce les meilleures. En **LoRA**, génération
+  via transformers (vLLM 0.22 incompatible avec le GRPO de TRL 1.5.1).
+- **Récompenses vérifiables** (sans reward model) :
+  - **maths** : réponse correcte (parse `\boxed{}`, [`openai/gsm8k`](https://huggingface.co/datasets/openai/gsm8k))
+  - **suivi d'instructions** : contraintes vérifiées par programme (24 validateurs maison : minuscules,
+    nombre de paragraphes, mots-clés, format… inspirés de
+    [`allenai/RLVR-IFeval`](https://huggingface.co/datasets/allenai/RLVR-IFeval)).
+- **Ce qui a échoué — récompense BINAIRE** : 1 contrainte/prompt, reward 0/1. Résultat : **effondrement de
+  l'avantage GRPO**. Dans un groupe de 8, soit toutes réussissent (contrainte facile), soit toutes échouent
+  (dure) → écart-type nul → **gradient nul** (`frac_reward_zero_std → 1.0`). IFEval inchangé.
+- **Ce qui a marché — récompense GRADUÉE** : prompts à **2-3 contraintes**, reward = **fraction satisfaite**
+  (0 / 0.33 / 0.66 / 1.0) → variance dans le groupe → gradient vivant → IFEval **69 → 75 (+6.1)**.
+- **Leçon** : le RLVR **amplifie** une capacité que le modèle sait *déjà parfois* produire (ici, le DPO
+  l'avait installée) — « installer (DPO/SFT) puis amplifier (GRPO) ». Si le modèle ne sait pas du tout
+  faire, GRPO n'a rien à renforcer (pas de variance).
+
+---
+
+## Les 3 grandes leçons transférables
+1. **Le savoir vient du base ; le post-training installe un comportement.** Reproduire une *capacité*
+   précise est bon marché ; ce qui est cher (pré-entraînement) est hérité gratuitement du base open-weights.
+2. **Le signal doit cibler la capacité visée.** Vérifié 3 fois : SFT 180k→300k (+6), DPO générique→ciblé
+   (+17.7), RLVR binaire→gradué (+6). Le générique ne transfère pas.
+3. **Installer puis amplifier.** SFT/DPO installent (imitation, hors-ligne) ; GRPO amplifie (exploration,
+   en-ligne). Le RLVR brille surtout là où existe un **vérificateur** (maths, code, contraintes) et où
+   l'exploration aide (raisonnement) — pas pour des comportements déjà bien couverts par des paires.
+
+## Piège d'évaluation à connaître
+En GSM8K `strict-match`, l'instruct officiel tombait à **21 %** — pur artefact (il n'émet pas le format
+`#### N` et sa CoT verbeuse dépassait la limite de tokens). Mesuré équitablement (`flexible-extract`,
+1024 tokens) : **84.7 %**. *Toujours vérifier ce que le parser attend avant de conclure.*
+
+---
+
+## Recette & stack
+- **SFT** : full fine-tuning, ChatML, `assistant_only_loss`, bf16, SDPA, gradient checkpointing,
+  optim `adamw_8bit`, lr 4e-6, garde-fou anti-NaN.
+- **DPO** : LoRA r=32, β=0.1, lr 5e-6, référence en direct (⚠️ `precompute_ref_log_probs=True` provoque
+  des NaN en bf16 — à désactiver).
+- **RLVR** : GRPO-LoRA r=16, 8 générations/prompt, récompense graduée multi-contraintes, lr 2e-6, 2500 steps.
+- **Stack** : PyTorch cu128 · transformers · **TRL 1.5.1** · PEFT · vLLM 0.22 (éval) · lm-eval 0.4.12 ·
+  suivi **Weights & Biases**.
+
+## Datasets utilisés
+| étape | dataset | rôle |
+|---|---|---|
+| SFT | [`allenai/tulu-3-sft-mixture`](https://huggingface.co/datasets/allenai/tulu-3-sft-mixture) | format chat + instructions |
+| DPO | [`allenai/tulu-3-pref-personas-instruction-following`](https://huggingface.co/datasets/allenai/tulu-3-pref-personas-instruction-following) | préférences **ciblées** suivi d'instructions (décisif) |
+| DPO | [`HuggingFaceH4/ultrafeedback_binarized`](https://huggingface.co/datasets/HuggingFaceH4/ultrafeedback_binarized) | préférences génériques (diversité) |
+| RLVR | [`openai/gsm8k`](https://huggingface.co/datasets/openai/gsm8k) | récompense vérifiable maths |
+| RLVR | [`allenai/RLVR-IFeval`](https://huggingface.co/datasets/allenai/RLVR-IFeval) | inspiration contraintes d'instructions |
+| Éval | `google/IFEval`, `openai/gsm8k`, `cais/mmlu` | benchmarks |
+
+## Utilisation
+```python
+from transformers import AutoModelForCausalLM, AutoTokenizer
+tok = AutoTokenizer.from_pretrained("fenyo/Qwen2.5-7B-base2instruct")
+model = AutoModelForCausalLM.from_pretrained("fenyo/Qwen2.5-7B-base2instruct", torch_dtype="bfloat16", device_map="auto")
+msgs = [{"role": "user", "content": "Explique en deux phrases pourquoi le ciel est bleu."}]
+inputs = tok.apply_chat_template(msgs, add_generation_prompt=True, return_tensors="pt").to(model.device)
+print(tok.decode(model.generate(inputs, max_new_tokens=200)[0][inputs.shape[1]:], skip_special_tokens=True))
+```
+Format **ChatML**, identique à l'instruct officiel.
+
+## Limites
+Modèle expérimental, **spécialisé suivi d'instructions** (peut être moins poli que l'officiel en chat
+ouvert, sécurité, code, multi-tours — non évalués). En retrait sur les maths. Peut halluciner.
+
+## Crédits
+Base/instruct de référence : **Qwen2.5** (Alibaba, Apache-2.0). Données : **AllenAI Tülu-3**, HuggingFace H4,
+OpenAI GSM8K. Entraînement : **TRL** (Hugging Face). Recette & code :
+[github.com/AlexandreFenyo/qwen2.5-7b-base2instruct](https://github.com/AlexandreFenyo/qwen2.5-7b-base2instruct).
--- a/chat_template.jinja
+++ b/chat_template.jinja
@@ -0,0 +1,5 @@
+{% for message in messages %}{{ '<|im_start|>' + message['role'] + '
+' }}{% if message['role'] == 'assistant' %}{% generation %}{{ message['content'] + '<|im_end|>' + '
+' }}{% endgeneration %}{% else %}{{ message['content'] + '<|im_end|>' + '
+' }}{% endif %}{% endfor %}{% if add_generation_prompt %}{{ '<|im_start|>assistant
+' }}{% endif %}
--- a/config.json
+++ b/config.json
@@ -0,0 +1,62 @@
+{
+  "architectures": [
+    "Qwen2ForCausalLM"
+  ],
+  "attention_dropout": 0.0,
+  "bos_token_id": null,
+  "dtype": "bfloat16",
+  "eos_token_id": 151643,
+  "hidden_act": "silu",
+  "hidden_size": 3584,
+  "initializer_range": 0.02,
+  "intermediate_size": 18944,
+  "layer_types": [
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention",
+    "full_attention"
+  ],
+  "max_position_embeddings": 131072,
+  "max_window_layers": 28,
+  "model_type": "qwen2",
+  "num_attention_heads": 28,
+  "num_hidden_layers": 28,
+  "num_key_value_heads": 4,
+  "pad_token_id": 151643,
+  "rms_norm_eps": 1e-06,
+  "rope_parameters": {
+    "rope_theta": 1000000.0,
+    "rope_type": "default"
+  },
+  "sliding_window": null,
+  "tie_word_embeddings": false,
+  "transformers_version": "5.9.0",
+  "use_cache": false,
+  "use_mrope": false,
+  "use_sliding_window": false,
+  "vocab_size": 152064
+}
--- a/generation_config.json
+++ b/generation_config.json
@@ -0,0 +1,10 @@
+{
+  "do_sample": false,
+  "eos_token_id": [
+    151645,
+    151643
+  ],
+  "max_new_tokens": 2048,
+  "pad_token_id": 151643,
+  "transformers_version": "5.9.0"
+}
--- a/model.safetensors
+++ b/model.safetensors
@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:9c5a40fd6ca8efb87cc928341444db57c491cf35e515c610014ad2979b657c74
+size 15231272152
--- a/tokenizer.json
+++ b/tokenizer.json
@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:3fd169731d2cbde95e10bf356d66d5997fd885dd8dbb6fb4684da3f23b2585d8
+size 11421892
--- a/tokenizer_config.json
+++ b/tokenizer_config.json
@@ -0,0 +1,30 @@
+{
+  "add_prefix_space": false,
+  "backend": "tokenizers",
+  "bos_token": null,
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|endoftext|>",
+  "errors": "replace",
+  "extra_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<|object_ref_start|>",
+    "<|object_ref_end|>",
+    "<|box_start|>",
+    "<|box_end|>",
+    "<|quad_start|>",
+    "<|quad_end|>",
+    "<|vision_start|>",
+    "<|vision_end|>",
+    "<|vision_pad|>",
+    "<|image_pad|>",
+    "<|video_pad|>"
+  ],
+  "is_local": true,
+  "local_files_only": true,
+  "model_max_length": 131072,
+  "pad_token": "<|endoftext|>",
+  "split_special_tokens": false,
+  "tokenizer_class": "Qwen2Tokenizer",
+  "unk_token": null
+}