Files

阶段 3 · DPO 偏好对齐 LoRA adapter(与仓库根全量权重同源)

项 值
底座 distill_merged(阶段 2 合并产物,本仓库未公开,需按序复现)
数据 dpo_train 2,572 / dpo_val 200;负例 on-policy(阶段 2 学生模型真实采出的错误 SQL)+ 定向扰动(丢限定语、错时间粒度、全局 LIMIT 冒充组内 TopN 等),chosen/rejected 均以执行结果 == gold 判定,不靠人工判断
超参 LoRA 结构同前两阶段;lr 5e-6, 1 epoch, 全局 bs 16, pref_beta=0.1, pref_loss=sigmoid
规模 161 步 / 3h05m48s,train_loss 0.4362,eval_loss 0.3098
收敛 rewards/accuracies 0.950,rewards/margins 2.053,chosen −0.0235 / rejected −2.0763
文件 adapter_config.json + adapter_model.safetensors(fp32,161,533,192 B)

chosen 侧 reward 几乎不偏移、rejected 侧被显著压低,是教科书式 DPO 形态;95% 的偏好判对率说明模型学到的是"哪种 SQL 是对的",而不只是格式。

成绩(distill_val,n=200):格式合规 100%,可执行率 56.5%,EX 39.0%;放进完整 agent 链路后端到端可用率 99.5%、EX 61.5%。

线上推理请直接用仓库根目录的 bf16 全量权重 —— 它就是本 adapter 合并进 distill_merged 后的产物,已在 vLLM 上完成质量与吞吐验证。本 adapter 的用途是复现流水线与审计,不是部署入口。

复现顺序(不可打乱,也不可通过挂错底座绕开 —— 挂错底座不会报错,但得到的模型与训练时不等价,上述成绩数字作废):

官方基座 + adapters/stage1-sft     ──merge──▶ sft_merged
sft_merged  + adapters/stage2-distill ──merge──▶ distill_merged
distill_merged + adapters/stage3-dpo  ──merge──▶ 等价于仓库根全量权重