'upload model'
This commit is contained in:
UnicomAI
87
README.MD
87
README.MD
@@ -1,87 +0,0 @@
|
|||||||
---
|
|
||||||
license: apache-2.0
|
|
||||||
language:
|
|
||||||
- en
|
|
||||||
- zh
|
|
||||||
pipeline_tag: text-generation
|
|
||||||
---
|
|
||||||
|
|
||||||
# Unichat-llama3-Chinese-8B-28K
|
|
||||||
|
|
||||||
|
|
||||||
## 介绍
|
|
||||||
* 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora/longlora)，2024年4月26日19点
|
|
||||||
* 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答
|
|
||||||
* 此模型上下文原生长度28K，比原始版本上下文长度8k提高了20k
|
|
||||||
* 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B)
|
|
||||||
|
|
||||||
|
|
||||||
### 📊 数据
|
|
||||||
- 高质量长文本指令数据，覆盖多个领域和行业，为模型训练提供充足的数据支持
|
|
||||||
- 微调指令数据经过严格的人工筛查，保证优质的指令数据用于模型微调
|
|
||||||
|
|
||||||
## 基础示例
|
|
||||||
|
|
||||||
* 摘取《明朝那些事儿》小说第[319]章至[337]章内容约1万6千字左右，对文章内容进行提问。
|
|
||||||
* 问:明朝三大营的组成及职责是什么？
|
|
||||||
* 答:根据文章内容,明朝三大营的组成及职责如下:
|
|
||||||
|
|
||||||
1. 五军营:由骑兵和步兵组成,分为中军、左军、左掖军、右掖军、右哨军,担任攻击的主力。
|
|
||||||
|
|
||||||
2. 三千营:由投降的蒙古骑兵组成,主要是以雇佣兵为主的。下属全部都是骑兵,这支骑兵部队人数虽然不多,却是朱棣手下最为强悍的骑兵力量,他们在战争中主要担任突击的角色。
|
|
||||||
|
|
||||||
3. 神机营:使用火炮和火铳等火器为主的部队,是明朝政府的炮兵部队。朱棣同志之所以要组建这样的一支部队,那是有着深刻原因的。
|
|
||||||
|
|
||||||
所以,明朝三大营的组成和职责是:五军营负责攻击,三千营负责突击,神机营负责使用火器进行打击。
|
|
||||||
|
|
||||||
## 快速开始
|
|
||||||
|
|
||||||
```python
|
|
||||||
import transformers
|
|
||||||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
|
||||||
import torch
|
|
||||||
|
|
||||||
model_id = "UnicomAI/Unichat-llama3-Chinese-8B-28K"
|
|
||||||
|
|
||||||
pipeline = transformers.pipeline(
|
|
||||||
"text-generation",
|
|
||||||
model=model_id,
|
|
||||||
model_kwargs={"torch_dtype": torch.bfloat16},
|
|
||||||
device="cuda",
|
|
||||||
)
|
|
||||||
|
|
||||||
|
|
||||||
messages = [
|
|
||||||
{"role": "system", "content": "A chat between a curious user and an artificial intelligence assistant.The assistant gives helpful, detailed, and polite answers to the user's questions."},
|
|
||||||
{"role": "user", "content": "你是谁"},
|
|
||||||
]
|
|
||||||
|
|
||||||
|
|
||||||
prompt = pipeline.tokenizer.apply_chat_template(
|
|
||||||
messages,
|
|
||||||
tokenize=False,
|
|
||||||
add_generation_prompt=True
|
|
||||||
)
|
|
||||||
|
|
||||||
terminators = [
|
|
||||||
pipeline.tokenizer.eos_token_id,
|
|
||||||
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
|
|
||||||
]
|
|
||||||
|
|
||||||
|
|
||||||
outputs = pipeline(
|
|
||||||
prompt,
|
|
||||||
max_new_tokens=2048,
|
|
||||||
eos_token_id=terminators,
|
|
||||||
do_sample=False,
|
|
||||||
temperature=0.6,
|
|
||||||
top_p=1,
|
|
||||||
repetition_penalty=1.1
|
|
||||||
)
|
|
||||||
print(outputs[0]["generated_text"][len(prompt):])
|
|
||||||
```
|
|
||||||
|
|
||||||
## 资源
|
|
||||||
更多模型,数据集和训练相关细节请参考:
|
|
||||||
* Github：[**Unichat-llama3-Chinese**](https://github.com/UnicomAI/Unichat-llama3-Chinese)
|
|
||||||
|
|
||||||
87
README.md
87
README.md
@@ -1,87 +0,0 @@
|
|||||||
---
|
|
||||||
license: apache-2.0
|
|
||||||
language:
|
|
||||||
- en
|
|
||||||
- zh
|
|
||||||
pipeline_tag: text-generation
|
|
||||||
---
|
|
||||||
|
|
||||||
# Unichat-llama3-Chinese-8B-28K
|
|
||||||
|
|
||||||
|
|
||||||
## 介绍
|
|
||||||
* 中国联通AI创新中心发布业界第一个llama3中文指令微调模型长文本版本，全参数微调(非lora/longlora)，2024年4月26日19点
|
|
||||||
* 本模型以[**Meta Llama 3**](https://huggingface.co/collections/meta-llama/meta-llama-3-66214712577ca38149ebb2b6)为基础,增加中文数据进行训练,实现llama3模型高质量中文问答
|
|
||||||
* 此模型上下文原生长度28K
|
|
||||||
* 基础模型 [**Meta-Llama-3-8B**](https://huggingface.co/meta-llama/Meta-Llama-3-8B)
|
|
||||||
|
|
||||||
|
|
||||||
### 📊 数据
|
|
||||||
- 高质量长文本指令数据，覆盖多个领域和行业，为模型训练提供充足的数据支持
|
|
||||||
- 微调指令数据经过严格的人工筛查，保证优质的指令数据用于模型微调
|
|
||||||
|
|
||||||
## 基础示例
|
|
||||||
|
|
||||||
* 摘取《明朝那些事儿》小说第[319]章至[337]章内容约1万6千字左右，对文章内容进行提问。
|
|
||||||
* 问:明朝三大营的组成及职责是什么？
|
|
||||||
* 答:根据文章内容,明朝三大营的组成及职责如下:
|
|
||||||
|
|
||||||
1. 五军营:由骑兵和步兵组成,分为中军、左军、左掖军、右掖军、右哨军,担任攻击的主力。
|
|
||||||
|
|
||||||
2. 三千营:由投降的蒙古骑兵组成,主要是以雇佣兵为主的。下属全部都是骑兵,这支骑兵部队人数虽然不多,却是朱棣手下最为强悍的骑兵力量,他们在战争中主要担任突击的角色。
|
|
||||||
|
|
||||||
3. 神机营:使用火炮和火铳等火器为主的部队,是明朝政府的炮兵部队。朱棣同志之所以要组建这样的一支部队,那是有着深刻原因的。
|
|
||||||
|
|
||||||
所以,明朝三大营的组成和职责是:五军营负责攻击,三千营负责突击,神机营负责使用火器进行打击。
|
|
||||||
|
|
||||||
## 快速开始
|
|
||||||
|
|
||||||
```python
|
|
||||||
import transformers
|
|
||||||
from transformers import AutoTokenizer, AutoModelForCausalLM
|
|
||||||
import torch
|
|
||||||
|
|
||||||
model_id = "UnicomAI/Unichat-llama3-Chinese-8B-28K"
|
|
||||||
|
|
||||||
pipeline = transformers.pipeline(
|
|
||||||
"text-generation",
|
|
||||||
model=model_id,
|
|
||||||
model_kwargs={"torch_dtype": torch.bfloat16},
|
|
||||||
device="cuda",
|
|
||||||
)
|
|
||||||
|
|
||||||
|
|
||||||
messages = [
|
|
||||||
{"role": "system", "content": "A chat between a curious user and an artificial intelligence assistant.The assistant gives helpful, detailed, and polite answers to the user's questions."},
|
|
||||||
{"role": "user", "content": "你是谁"},
|
|
||||||
]
|
|
||||||
|
|
||||||
|
|
||||||
prompt = pipeline.tokenizer.apply_chat_template(
|
|
||||||
messages,
|
|
||||||
tokenize=False,
|
|
||||||
add_generation_prompt=True
|
|
||||||
)
|
|
||||||
|
|
||||||
terminators = [
|
|
||||||
pipeline.tokenizer.eos_token_id,
|
|
||||||
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
|
|
||||||
]
|
|
||||||
|
|
||||||
|
|
||||||
outputs = pipeline(
|
|
||||||
prompt,
|
|
||||||
max_new_tokens=2048,
|
|
||||||
eos_token_id=terminators,
|
|
||||||
do_sample=True,
|
|
||||||
temperature=0.6,
|
|
||||||
top_p=1,
|
|
||||||
repetition_penalty=1.15
|
|
||||||
)
|
|
||||||
print(outputs[0]["generated_text"][len(prompt):])
|
|
||||||
```
|
|
||||||
|
|
||||||
## 资源
|
|
||||||
更多模型,数据集和训练相关细节请参考:
|
|
||||||
* Github：[**Unichat-llama3-Chinese**](https://github.com/UnicomAI/Unichat-llama3-Chinese)
|
|
||||||
|
|
||||||
@@ -1,5 +1,5 @@
|
|||||||
{
|
{
|
||||||
"_name_or_path": "/data/lama3-8b",
|
"_name_or_path": "/data/Chinese-Llama-2-7b/checkpoints2_llama3-8b-0419/checkpoint-1600",
|
||||||
"architectures": [
|
"architectures": [
|
||||||
"LlamaForCausalLM"
|
"LlamaForCausalLM"
|
||||||
],
|
],
|
||||||
|
|||||||
@@ -1,3 +1,3 @@
|
|||||||
version https://git-lfs.github.com/spec/v1
|
version https://git-lfs.github.com/spec/v1
|
||||||
oid sha256:349d753e16ad717660dff329309ce9697e98adee9eec9224a568cdd2fef73141
|
oid sha256:542574f511c7881210117f5e2842589459a469dfdf99e2d83ac41d1463aa898a
|
||||||
size 9976543957
|
size 9976543957
|
||||||
|
|||||||
@@ -1,3 +1,3 @@
|
|||||||
version https://git-lfs.github.com/spec/v1
|
version https://git-lfs.github.com/spec/v1
|
||||||
oid sha256:2a90a5cddb56f56b12ae17c152f915e7720dc95d1ab70374e186e408a8c524a5
|
oid sha256:6c6af34d38aea3ad945d256155069c301818d09235d17150405e82ad677de2d0
|
||||||
size 6084078398
|
size 6084078398
|
||||||
|
|||||||
Reference in New Issue
Block a user