阶段 1 · SFT LoRA adapter
| 项 | 值 |
|---|---|
| 底座 | Qwen/Qwen2.5-Coder-7B-Instruct(官方基座,可直接加载) |
| 数据 | sft_train 1,651 / sft_val 182 |
| 超参 | rank 16, alpha 32, dropout 0.05, target=all;lr 1e-4 cosine, warmup 0.1, wd 0.01, 3 epoch, 全局 bs 16 |
| 规模 | 312 步 / 1h45m40s,train_loss 0.0698,eval_loss 0.0129 |
| 文件 | adapter_config.json + adapter_model.safetensors(fp32,161,533,192 B) |
from peft import PeftModel
from transformers import AutoModelForCausalLM
base = "Qwen/Qwen2.5-Coder-7B-Instruct"
m = PeftModel.from_pretrained(
AutoModelForCausalLM.from_pretrained(base, torch_dtype="bfloat16"),
"adapters/stage1-sft",
)
adapter_config.json 里的 base_model_name_or_path 是训练时的云端绝对路径,为保持"发布产物 = 训练产物"未做修改,加载时请显式传入基座(如上)。
成绩(distill_val,n=200):格式合规 100%,可执行率 36.0%,EX 2.0% —— 训练损失近乎归零 ≠ 会做题,这正是引入阶段 2/3 的动因。