Files

阶段 1 · SFT LoRA adapter

项 值
底座 Qwen/Qwen2.5-Coder-7B-Instruct(官方基座,可直接加载)
数据 sft_train 1,651 / sft_val 182
超参 rank 16, alpha 32, dropout 0.05, target=all;lr 1e-4 cosine, warmup 0.1, wd 0.01, 3 epoch, 全局 bs 16
规模 312 步 / 1h45m40s,train_loss 0.0698,eval_loss 0.0129
文件 adapter_config.json + adapter_model.safetensors(fp32,161,533,192 B)
from peft import PeftModel
from transformers import AutoModelForCausalLM

base = "Qwen/Qwen2.5-Coder-7B-Instruct"
m = PeftModel.from_pretrained(
    AutoModelForCausalLM.from_pretrained(base, torch_dtype="bfloat16"),
    "adapters/stage1-sft",
)

adapter_config.json 里的 base_model_name_or_path 是训练时的云端绝对路径,为保持"发布产物 = 训练产物"未做修改,加载时请显式传入基座(如上)。

成绩(distill_val,n=200):格式合规 100%,可执行率 36.0%,EX 2.0% —— 训练损失近乎归零 ≠ 会做题,这正是引入阶段 2/3 的动因。