初始化项目,由ModelHub XC社区提供模型
Model: Chang-chih/leviathan-10.5b-final Source: Original Platform
This commit is contained in:
26
Modelfile
Normal file
26
Modelfile
Normal file
@@ -0,0 +1,26 @@
|
||||
# 利維坦助手 (Leviathan Assistant) Modelfile
|
||||
# 基於 QLoRA 微調的 10.5B 模型
|
||||
|
||||
FROM ./distill_final_sft
|
||||
|
||||
# 掛載 LoRA 適配器
|
||||
ADAPTER ./distill_final_lora_clean
|
||||
|
||||
# 系統提示詞
|
||||
SYSTEM """
|
||||
你是利維坦助手,一個友善、專業的 AI 助理。
|
||||
請用繁體中文回答問題,保持簡潔明瞭。
|
||||
"""
|
||||
|
||||
# 模型參數設定
|
||||
PARAMETER temperature 0.7
|
||||
PARAMETER top_p 0.9
|
||||
PARAMETER stop "###"
|
||||
PARAMETER num_ctx 2048
|
||||
|
||||
# 模板格式(與訓練一致)
|
||||
TEMPLATE """
|
||||
### Instruction: 你是利維坦助手,請用繁體中文回答。
|
||||
### Input: {{ .Prompt }}
|
||||
### Response:
|
||||
"""
|
||||
Reference in New Issue
Block a user