78 lines
2.3 KiB
Markdown
78 lines
2.3 KiB
Markdown
---
|
|
language:
|
|
- en
|
|
- zh
|
|
pipeline_tag: text-generation
|
|
tags:
|
|
- meta
|
|
- llama-3
|
|
- llama3中文指令模型
|
|
license: llama3
|
|
---
|
|
|
|
# Llama3 中文指令模型
|
|
|
|
## 项目概述
|
|
|
|
本项目使用 `LLaMA-Factory` 对 [Guru-Llama-3-8B](https://modelscope.cn/models/wifibaby4u/Guru-Llama-3-8B) 模型进行微调。
|
|
|
|
## Models
|
|
|
|
- Chat models
|
|
|
|
| Name | Download |
|
|
| -------------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
|
| Guru-Llama-3-8B-Chat | • [🤗 Hugging Face](https://huggingface.co/wifibaby4u/Guru-Llama-3-8B-Chat) • [🤖 ModelScope](https://modelscope.cn/models/wifibaby4u/Guru-Llama-3-8B-Chat) |
|
|
|
|
- Base models
|
|
|
|
| Name | Download |
|
|
| --------------- | ------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
|
|
| Guru-Llama-3-8B | • [🤗 Hugging Face](https://huggingface.co/wifibaby4u/Guru-Llama-3-8B) • [🤖 ModelScope](https://modelscope.cn/models/wifibaby4u/Guru-Llama-3-8B) |
|
|
|
|
## 评测
|
|
|
|
### CMMLU
|
|
|
|
| Name | Average | STEM | Social Sciences | Humanities | Other |
|
|
|-------|---------|------|-----------------|------------|-------|
|
|
| Five-shot | 49.65 | 42.83 | 50.99 | 52.87 | 51.13 |
|
|
| Zero-shot | 43.51 | 37.57 | 44.91 | 45.64 | 45.09 |
|
|
|
|
## 训练数据集
|
|
|
|
- alpaca_gpt4_en
|
|
- alpaca_gpt4_zh
|
|
- ruozhiba_gpt4o
|
|
|
|
## 使用指南
|
|
|
|
### 环境配置
|
|
|
|
确保您的机器已经安装了以下软件：
|
|
|
|
- Python 3.8+
|
|
- PyTorch 1.8+
|
|
|
|
### 安装
|
|
|
|
首先安装所需依赖：
|
|
|
|
```bash
|
|
pip install modelscope
|
|
```
|
|
|
|
### 模型下载
|
|
|
|
使用以下命令加载并运行模型：
|
|
|
|
```python
|
|
from modelscope import snapshot_download
|
|
model_dir = snapshot_download('wifibaby4u/Guru-Llama-3-8B-Chat')
|
|
```
|
|
|
|
## 贡献
|
|
|
|
我们欢迎社区开发者的贡献！如果您有兴趣参与本项目的开发或有任何建议，欢迎通过 Issue 或 Pull Request 的方式与我们联系。
|
|
|