42 lines
972 B
Markdown
42 lines
972 B
Markdown
---
|
||
license: llama3.1
|
||
library_name: transformers
|
||
pipeline_tag: text-generation
|
||
base_model: meta-llama/Meta-Llama-3.1-8B-Instruct
|
||
language:
|
||
- en
|
||
- zh
|
||
tags:
|
||
- llama-factory
|
||
- finetune
|
||
---
|
||
|
||
|
||
# 模型简介
|
||
|
||
基于Meta-Llama-3.1-8B-Instruct，自建少量数据进行Qlora 8bit微调，中英文数据搭配避免影响模型能力与导致原知识遗忘，泛化能力良好。
|
||
|
||
|
||
# 使用建议
|
||
|
||
Tramsformer当前使用版本是 4.43.1
|
||
|
||
为保证模型能力，转gguf格式的模板建议遵循Llama3模板：
|
||
|
||
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
|
||
|
||
{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
|
||
|
||
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
|
||
|
||
{{ .Response }}<|eot_id|>"""
|
||
PARAMETER stop "<|start_header_id|>"
|
||
PARAMETER stop "<|end_header_id|>"
|
||
PARAMETER stop "<|eot_id|>"
|
||
PARAMETER stop "<|reserved_special_token"
|
||
|
||
默认参数建议：
|
||
temperature 0.6
|
||
top_p 0.9
|
||
|