diff --git a/README.md b/README.md index 44370c3..680bda6 100644 --- a/README.md +++ b/README.md @@ -13,7 +13,8 @@ 随着Mistral AI公司开源其七十亿参数模型[Mistral-7B](https://huggingface.co/meta-llama/Llama-2-7b-hf),该模型超越[Llama](https://huggingface.co/meta-llama),成为当前最强大的开源模型之一。Mistral-7B在各类基准测试中,不仅超过了Llama2-13B,而且在推理、数学、代码生成任务中超过Llama2-34B。 然而,Mistral-7B的训练语料主要为英文文本,其中文能力较为欠缺。其次,Mistral-7B的词表不支持中文,导致其对中文的编码和解码效率较低,限制了在中文场景的应用。
-为了克服这一局限,清华大学地球系统科学系地球和空间信息科学实验室基于Mistral-7B进行了中文词表扩充和增量预训练,增强了Mistral-7B在中文任务上的表现,并提高了其对中文文本的编解码效率。 +为了克服这一局限,清华大学地球系统科学系地球和空间信息科学实验室基于Mistral-7B进行了中文词表扩充和增量预训练,增强了Mistral-7B在中文任务上的表现,并提高了其对中文文本的编解码效率。
+项目地址:https://github.com/THU-EarthInformationScienceLab/Chinese-Mistral ## 📥 模型下载 @@ -96,7 +97,7 @@ from transformers import AutoTokenizer, AutoModelForCausalLM device = torch.device("cuda:0") if torch.cuda.is_available() else torch.device("cpu") -model_path = "/home/chenzhou/project/Chinese-Mistral-7B-Instruct-v0.1" +model_path = "itpossible/Chinese-Mistral-7B-Instruct-v0.1" tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map=device) @@ -109,8 +110,6 @@ outputs = tokenizer.batch_decode(outputs_id, skip_special_tokens=True)[0] print(outputs) ``` - - ## 📝 训练数据 训练数据采样于WanJuan、baike2018qa、Dolma、gutenberg-books等高质量开源数据集。我们对这些数据集进行细粒度清洗,并充分考虑训练数据集中不同类别数据的占比。 @@ -121,7 +120,7 @@ Chinese-Mistral-7B的开发旨在为开源社区提供一个性能优越的中 ## ✒️ 引用 -如果您觉得本项目对您的研究有所帮助或使用了本项目的,请引用本项目: +如果您觉得本项目对您的研究有所帮助或使用了本项目的模型,请引用本项目: ```bibtex @misc{Chinese-Mistral,