UnicomAI/Unichat-llama3-Chinese-8B-28K
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity

Update README.md

Browse Source
This commit is contained in:
UnicomAI
2024-04-26 12:01:42 +00:00
parent d1767aec36
commit 467862ffed
1 changed files with 2 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files

4
README.md
View File

@@ -10,14 +10,14 @@ pipeline_tag: text-generation
## 介绍 ## 介绍
* 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora)，2024年4月26日19点 * 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora/longlora)，2024年4月26日19点
* 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答 * 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答
* 此模型上下文原生长度28K，比原始版本上下文长度8k提高了20k * 此模型上下文原生长度28K，比原始版本上下文长度8k提高了20k
* 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B) * 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B)
### 📊 数据 ### 📊 数据
- 高质量指令数据，覆盖多个领域和行业，为模型训练提供充足的数据支持 - 高质量长文本指令数据，覆盖多个领域和行业，为模型训练提供充足的数据支持
- 微调指令数据经过严格的人工筛查，保证优质的指令数据用于模型微调 - 微调指令数据经过严格的人工筛查，保证优质的指令数据用于模型微调
## 基础示例 ## 基础示例