From 467862ffed6157372473251f27ca3706112a2658 Mon Sep 17 00:00:00 2001 From: UnicomAI Date: Fri, 26 Apr 2024 12:01:42 +0000 Subject: [PATCH] Update README.md --- README.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/README.md b/README.md index 7c3a5da..d900cc1 100644 --- a/README.md +++ b/README.md @@ -10,14 +10,14 @@ pipeline_tag: text-generation ## 介绍 -* 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora)，2024年4月26日19点 +* 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora/longlora)，2024年4月26日19点 * 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答 * 此模型上下文原生长度28K，比原始版本上下文长度8k提高了20k * 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B) ### 📊 数据 -- 高质量指令数据，覆盖多个领域和行业，为模型训练提供充足的数据支持 +- 高质量长文本指令数据，覆盖多个领域和行业，为模型训练提供充足的数据支持 - 微调指令数据经过严格的人工筛查，保证优质的指令数据用于模型微调 ## 基础示例