初始化项目,由ModelHub XC社区提供模型
Model: LCoder/llama3.1-8B-Chinese-Instruct-DPO Source: Original Platform
This commit is contained in:
53
README.md
Executable file
53
README.md
Executable file
@@ -0,0 +1,53 @@
|
||||
# Llama-3.1-8B 中文 DPO 模型
|
||||
|
||||
这是最新的 Llama-3.1-8B 模型的中文 DPO(Direct Preference Optimization)权重。该模型使用了[shareAI/DPO-zh-en-emoji 数据集](https://huggingface.co/datasets/shareAI/DPO-zh-en-emoji)进行训练,并在单机 8 卡 Ascend910B3 机器上完成训练。
|
||||
|
||||
## 模型概述
|
||||
|
||||
Llama-3.1-8B 中文 DPO 模型是基于 Llama-3.1-8B 进行微调的模型,专门针对中文环境进行了优化。通过 Direct Preference Optimization 技术,模型能够更好地理解和生成符合用户偏好的中文文本。
|
||||
|
||||
## 数据集
|
||||
|
||||
训练数据集使用了 [shareAI/DPO-zh-en-emoji](https://huggingface.co/datasets/shareAI/DPO-zh-en-emoji)。该数据集包含丰富的中英文以及表情符号混合数据,能够帮助模型在多样化的文本环境中进行学习。
|
||||
|
||||
## 训练配置
|
||||
|
||||
- 训练设备:单机 8 卡 Ascend910B3
|
||||
- 训练时长:1 小时
|
||||
|
||||
## 模型下载与使用
|
||||
|
||||
模型权重已发布在ModelScope 模型库中,您可以通过以下链接下载和使用:
|
||||
|
||||
### 使用示例
|
||||
```python
|
||||
from transformers import AutoModelForCausalLM, AutoTokenizer
|
||||
|
||||
# 加载模型和分词器
|
||||
model_name = "xxx/llama-3.1-8b-dpo-zh" # 请替换为实际模型名称
|
||||
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
||||
model = AutoModelForCausalLM.from_pretrained(model_name)
|
||||
|
||||
# 编码输入文本
|
||||
input_text = "请输入您的中文文本"
|
||||
inputs = tokenizer(input_text, return_tensors="pt")
|
||||
|
||||
# 生成文本
|
||||
outputs = model.generate(**inputs, max_length=50)
|
||||
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)
|
||||
|
||||
print(generated_text)
|
||||
```
|
||||
|
||||
## 贡献
|
||||
|
||||
欢迎大家对本项目提出建议和贡献。如果您在使用过程中遇到任何问题,或者有改进建议,请通过以下方式联系我们:
|
||||
- 联系邮箱:18792195587@163.com
|
||||
|
||||
---
|
||||
|
||||
感谢您的关注和支持!希望该模型能为您的中文自然语言处理任务带来帮助。如果在使用模型过程中出现错误,提请issue。
|
||||
|
||||
---
|
||||
|
||||
请注意根据实际情况填写具体的数值和链接。
|
||||
Reference in New Issue
Block a user