UnicomAI/Unichat-llama3-Chinese-8B-28K
1
0
Fork 0
Code Issues Pull Requests Actions Projects Releases Wiki Activity

Update README.md

Browse Source
This commit is contained in:
UnicomAI
2024-04-26 11:36:01 +00:00
parent 2b647fc80f
commit 3a891ceb06
1 changed files with 2 additions and 3 deletions
Download Patch File Download Diff File Expand all files Collapse all files

5
README.md
View File

@@ -10,10 +10,9 @@ pipeline_tag: text-generation
## 介绍 ## 介绍
* 中国联通AI创新中心发布业界第一个llama3中文指令微调模型，全参数微调(非lora)，2024年4月19日22点 * 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora)，2024年4月26日19点
* 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答 * 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答
* 模型上下文保持原生长度8K，支持长度64K版本将于后续发布 * 此模型上下文原生长度28K，比原始版本上下文长度8k提高了20k
* 陆续发布700亿参数中文微调版本，长文本版本和加入中文二次预训练版
* 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B) * 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B)