# Llama-3.1-8B 中文 DPO 模型

这是最新的 Llama-3.1-8B 模型的中文 DPO（Direct Preference Optimization）权重。该模型使用了[shareAI/DPO-zh-en-emoji 数据集](https://huggingface.co/datasets/shareAI/DPO-zh-en-emoji)进行训练，并在单机 8 卡 Ascend910B3 机器上完成训练。

## 模型概述

Llama-3.1-8B 中文 DPO 模型是基于 Llama-3.1-8B 进行微调的模型，专门针对中文环境进行了优化。通过 Direct Preference Optimization 技术，模型能够更好地理解和生成符合用户偏好的中文文本。

## 数据集

训练数据集使用了 [shareAI/DPO-zh-en-emoji](https://huggingface.co/datasets/shareAI/DPO-zh-en-emoji)。该数据集包含丰富的中英文以及表情符号混合数据，能够帮助模型在多样化的文本环境中进行学习。

## 训练配置

- 训练设备：单机 8 卡 Ascend910B3
- 训练时长：1 小时

## 模型下载与使用

模型权重已发布在ModelScope 模型库中，您可以通过以下链接下载和使用：

### 使用示例
```python
from transformers import AutoModelForCausalLM, AutoTokenizer

# 加载模型和分词器
model_name = "xxx/llama-3.1-8b-dpo-zh"  # 请替换为实际模型名称
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name)

# 编码输入文本
input_text = "请输入您的中文文本"
inputs = tokenizer(input_text, return_tensors="pt")

# 生成文本
outputs = model.generate(**inputs, max_length=50)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(generated_text)
```

## 贡献

欢迎大家对本项目提出建议和贡献。如果您在使用过程中遇到任何问题，或者有改进建议，请通过以下方式联系我们：
- 联系邮箱：18792195587@163.com

---

感谢您的关注和支持！希望该模型能为您的中文自然语言处理任务带来帮助。如果在使用模型过程中出现错误，提请issue。

---

请注意根据实际情况填写具体的数值和链接。