license, library_name, pipeline_tag, base_model, language, tags

license	library_name	pipeline_tag	base_model	language	tags
llama3.1	transformers	text-generation	meta-llama/Meta-Llama-3.1-8B-Instruct	en zh	llama-factory finetune

模型简介

基于Meta-Llama-3.1-8B-Instruct，自建少量数据进行Qlora 8bit微调，中英文数据搭配避免影响模型能力与导致原知识遗忘，泛化能力良好。

使用建议

Tramsformer当前使用版本是 4.43.1

为保证模型能力，转gguf格式的模板建议遵循Llama3模板：

TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>""" PARAMETER stop "<|start_header_id|>" PARAMETER stop "<|end_header_id|>" PARAMETER stop "<|eot_id|>" PARAMETER stop "<|reserved_special_token"

默认参数建议： temperature 0.6 top_p 0.9