From 3a483deb2e70160ff71c39074e191ded7167407a Mon Sep 17 00:00:00 2001 From: UnicomAI Date: Fri, 26 Apr 2024 15:59:53 +0000 Subject: [PATCH] 'upload model' --- README.MD | 87 -------------------------------- README.md | 87 -------------------------------- config.json | 2 +- pytorch_model-00001-of-00002.bin | 2 +- pytorch_model-00002-of-00002.bin | 2 +- 5 files changed, 3 insertions(+), 177 deletions(-) delete mode 100644 README.MD delete mode 100644 README.md diff --git a/README.MD b/README.MD deleted file mode 100644 index 81082c0..0000000 --- a/README.MD +++ /dev/null @@ -1,87 +0,0 @@ ---- -license: apache-2.0 -language: -- en -- zh -pipeline_tag: text-generation ---- - -# Unichat-llama3-Chinese-8B-28K - - -## 介绍 -* 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora/longlora)，2024年4月26日19点 -* 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答 -* 此模型上下文原生长度28K，比原始版本上下文长度8k提高了20k -* 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B) - - -### 📊 数据 -- 高质量长文本指令数据，覆盖多个领域和行业，为模型训练提供充足的数据支持 -- 微调指令数据经过严格的人工筛查，保证优质的指令数据用于模型微调 - -## 基础示例 - -* 摘取《明朝那些事儿》小说第[319]章至[337]章内容约1万6千字左右，对文章内容进行提问。 -* 问:明朝三大营的组成及职责是什么？ -* 答:根据文章内容,明朝三大营的组成及职责如下: - -1. 五军营:由骑兵和步兵组成,分为中军、左军、左掖军、右掖军、右哨军,担任攻击的主力。 - -2. 三千营:由投降的蒙古骑兵组成,主要是以雇佣兵为主的。下属全部都是骑兵,这支骑兵部队人数虽然不多,却是朱棣手下最为强悍的骑兵力量,他们在战争中主要担任突击的角色。 - -3. 神机营:使用火炮和火铳等火器为主的部队,是明朝政府的炮兵部队。朱棣同志之所以要组建这样的一支部队,那是有着深刻原因的。 - -所以,明朝三大营的组成和职责是:五军营负责攻击,三千营负责突击,神机营负责使用火器进行打击。 - -## 快速开始 - -```python -import transformers -from transformers import AutoTokenizer, AutoModelForCausalLM -import torch - -model_id = "UnicomAI/Unichat-llama3-Chinese-8B-28K" - -pipeline = transformers.pipeline( - "text-generation", - model=model_id, - model_kwargs={"torch_dtype": torch.bfloat16}, - device="cuda", -) - - -messages = [ - {"role": "system", "content": "A chat between a curious user and an artificial intelligence assistant.The assistant gives helpful, detailed, and polite answers to the user's questions."}, - {"role": "user", "content": "你是谁"}, -] - - -prompt = pipeline.tokenizer.apply_chat_template( - messages, - tokenize=False, - add_generation_prompt=True -) - -terminators = [ - pipeline.tokenizer.eos_token_id, - pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>") -] - - -outputs = pipeline( - prompt, - max_new_tokens=2048, - eos_token_id=terminators, - do_sample=False, - temperature=0.6, - top_p=1, - repetition_penalty=1.1 -) -print(outputs[0]["generated_text"][len(prompt):]) -``` - -## 资源 -更多模型,数据集和训练相关细节请参考: -* Github：[**Unichat-llama3-Chinese**](https://github.com/UnicomAI/Unichat-llama3-Chinese) - diff --git a/README.md b/README.md deleted file mode 100644 index 09e2cf0..0000000 --- a/README.md +++ /dev/null @@ -1,87 +0,0 @@ ---- -license: apache-2.0 -language: -- en -- zh -pipeline_tag: text-generation ---- - -# Unichat-llama3-Chinese-8B-28K - - -## 介绍 -* 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora/longlora)，2024年4月26日19点 -* 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答 -* 此模型上下文原生长度28K -* 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B) - - -### 📊 数据 -- 高质量长文本指令数据，覆盖多个领域和行业，为模型训练提供充足的数据支持 -- 微调指令数据经过严格的人工筛查，保证优质的指令数据用于模型微调 - -## 基础示例 - -* 摘取《明朝那些事儿》小说第[319]章至[337]章内容约1万6千字左右，对文章内容进行提问。 -* 问:明朝三大营的组成及职责是什么？ -* 答:根据文章内容,明朝三大营的组成及职责如下: - -1. 五军营:由骑兵和步兵组成,分为中军、左军、左掖军、右掖军、右哨军,担任攻击的主力。 - -2. 三千营:由投降的蒙古骑兵组成,主要是以雇佣兵为主的。下属全部都是骑兵,这支骑兵部队人数虽然不多,却是朱棣手下最为强悍的骑兵力量,他们在战争中主要担任突击的角色。 - -3. 神机营:使用火炮和火铳等火器为主的部队,是明朝政府的炮兵部队。朱棣同志之所以要组建这样的一支部队,那是有着深刻原因的。 - -所以,明朝三大营的组成和职责是:五军营负责攻击,三千营负责突击,神机营负责使用火器进行打击。 - -## 快速开始 - -```python -import transformers -from transformers import AutoTokenizer, AutoModelForCausalLM -import torch - -model_id = "UnicomAI/Unichat-llama3-Chinese-8B-28K" - -pipeline = transformers.pipeline( - "text-generation", - model=model_id, - model_kwargs={"torch_dtype": torch.bfloat16}, - device="cuda", -) - - -messages = [ - {"role": "system", "content": "A chat between a curious user and an artificial intelligence assistant.The assistant gives helpful, detailed, and polite answers to the user's questions."}, - {"role": "user", "content": "你是谁"}, -] - - -prompt = pipeline.tokenizer.apply_chat_template( - messages, - tokenize=False, - add_generation_prompt=True -) - -terminators = [ - pipeline.tokenizer.eos_token_id, - pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>") -] - - -outputs = pipeline( - prompt, - max_new_tokens=2048, - eos_token_id=terminators, - do_sample=True, - temperature=0.6, - top_p=1, - repetition_penalty=1.15 -) -print(outputs[0]["generated_text"][len(prompt):]) -``` - -## 资源 -更多模型,数据集和训练相关细节请参考: -* Github：[**Unichat-llama3-Chinese**](https://github.com/UnicomAI/Unichat-llama3-Chinese) - \ No newline at end of file diff --git a/config.json b/config.json index e37c771..b72b75f 100644 --- a/config.json +++ b/config.json @@ -1,5 +1,5 @@ { - "_name_or_path": "/data/lama3-8b", + "_name_or_path": "/data/Chinese-Llama-2-7b/checkpoints2_llama3-8b-0419/checkpoint-1600", "architectures": [ "LlamaForCausalLM" ], diff --git a/pytorch_model-00001-of-00002.bin b/pytorch_model-00001-of-00002.bin index b2c8560..5d92937 100644 --- a/pytorch_model-00001-of-00002.bin +++ b/pytorch_model-00001-of-00002.bin @@ -1,3 +1,3 @@ version https://git-lfs.github.com/spec/v1 -oid sha256:349d753e16ad717660dff329309ce9697e98adee9eec9224a568cdd2fef73141 +oid sha256:542574f511c7881210117f5e2842589459a469dfdf99e2d83ac41d1463aa898a size 9976543957 diff --git a/pytorch_model-00002-of-00002.bin b/pytorch_model-00002-of-00002.bin index 08f865a..8513c81 100644 --- a/pytorch_model-00002-of-00002.bin +++ b/pytorch_model-00002-of-00002.bin @@ -1,3 +1,3 @@ version https://git-lfs.github.com/spec/v1 -oid sha256:2a90a5cddb56f56b12ae17c152f915e7720dc95d1ab70374e186e408a8c524a5 +oid sha256:6c6af34d38aea3ad945d256155069c301818d09235d17150405e82ad677de2d0 size 6084078398