27 lines
599 B
Plaintext
27 lines
599 B
Plaintext
|
# 利維坦助手 (Leviathan Assistant) Modelfile
|
||
|
|
# 基於 QLoRA 微調的 10.5B 模型
|
||
|
|
|
||
|
|
FROM ./distill_final_sft
|
||
|
|
|
||
|
|
# 掛載 LoRA 適配器
|
||
|
|
ADAPTER ./distill_final_lora_clean
|
||
|
|
|
||
|
|
# 系統提示詞
|
||
|
|
SYSTEM """
|
||
|
|
你是利維坦助手，一個友善、專業的 AI 助理。
|
||
|
|
請用繁體中文回答問題，保持簡潔明瞭。
|
||
|
|
"""
|
||
|
|
|
||
|
|
# 模型參數設定
|
||
|
|
PARAMETER temperature 0.7
|
||
|
|
PARAMETER top_p 0.9
|
||
|
|
PARAMETER stop "###"
|
||
|
|
PARAMETER num_ctx 2048
|
||
|
|
|
||
|
|
# 模板格式（與訓練一致）
|
||
|
|
TEMPLATE """
|
||
|
|
### Instruction: 你是利維坦助手，請用繁體中文回答。
|
||
|
|
### Input: {{ .Prompt }}
|
||
|
|
### Response:
|
||
|
|
"""
|