This commit is contained in:
itpossible
2024-04-06 01:44:23 +00:00
parent b3c15a2a56
commit 69ff218d3d

View File

@@ -13,7 +13,8 @@
随着Mistral AI公司开源其七十亿参数模型[Mistral-7B](https://huggingface.co/meta-llama/Llama-2-7b-hf),该模型超越[Llama](https://huggingface.co/meta-llama)成为当前最强大的开源模型之一。Mistral-7B在各类基准测试中不仅超过了Llama2-13B而且在推理、数学、代码生成任务中超过Llama2-34B。
然而Mistral-7B的训练语料主要为英文文本其中文能力较为欠缺。其次Mistral-7B的词表不支持中文导致其对中文的编码和解码效率较低限制了在中文场景的应用。<br>
为了克服这一局限清华大学地球系统科学系地球和空间信息科学实验室基于Mistral-7B进行了中文词表扩充和增量预训练增强了Mistral-7B在中文任务上的表现并提高了其对中文文本的编解码效率。
为了克服这一局限清华大学地球系统科学系地球和空间信息科学实验室基于Mistral-7B进行了中文词表扩充和增量预训练增强了Mistral-7B在中文任务上的表现并提高了其对中文文本的编解码效率。<br>
项目地址https://github.com/THU-EarthInformationScienceLab/Chinese-Mistral
## 📥 模型下载
@@ -96,7 +97,7 @@ from transformers import AutoTokenizer, AutoModelForCausalLM
device = torch.device("cuda:0") if torch.cuda.is_available() else torch.device("cpu")
model_path = "/home/chenzhou/project/Chinese-Mistral-7B-Instruct-v0.1"
model_path = "itpossible/Chinese-Mistral-7B-Instruct-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map=device)
@@ -109,8 +110,6 @@ outputs = tokenizer.batch_decode(outputs_id, skip_special_tokens=True)[0]
print(outputs)
```
## 📝 训练数据
训练数据采样于WanJuan、baike2018qa、Dolma、gutenberg-books等高质量开源数据集。我们对这些数据集进行细粒度清洗并充分考虑训练数据集中不同类别数据的占比。
@@ -121,7 +120,7 @@ Chinese-Mistral-7B的开发旨在为开源社区提供一个性能优越的中
## ✒️ 引用
如果您觉得本项目对您的研究有所帮助或使用了本项目的,请引用本项目:
如果您觉得本项目对您的研究有所帮助或使用了本项目的模型,请引用本项目:
```bibtex
@misc{Chinese-Mistral,