---
license: llama3.1
library_name: transformers
pipeline_tag: text-generation
base_model: meta-llama/Meta-Llama-3.1-8B-Instruct
language:
- en
- zh
tags:
- llama-factory
- finetune
---


# 模型简介

基于Meta-Llama-3.1-8B-Instruct，自建少量数据进行Qlora 8bit微调，中英文数据搭配避免影响模型能力与导致原知识遗忘，泛化能力良好。


# 使用建议

Tramsformer当前使用版本是 4.43.1

为保证模型能力，转gguf格式的模板建议遵循Llama3模板：

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""
PARAMETER stop "<|start_header_id|>"
PARAMETER stop "<|end_header_id|>"
PARAMETER stop "<|eot_id|>"
PARAMETER stop "<|reserved_special_token"

默认参数建议：
temperature 0.6
top_p 0.9