137 lines
6.3 KiB
Markdown
137 lines
6.3 KiB
Markdown
# DeepSeek-R1-Distill-SRE-Qwen-7B
|
||
|
||
## 模型简介
|
||
|
||
基于 DeepSeek 架构的 7B 参数量模型，经过 LoRA 微调，专为运维领域（Site Reliability Engineering, SRE）任务设计。它能够提供高可用性、稳定性相关的技术建议，并生成逐步分析过程，适用于服务器管理、集群优化和故障排查等场景，强化了以下三块能力：
|
||
|
||
- 自动化脚本生成
|
||
- 系统监控分析
|
||
- 故障排查与根因定位
|
||
|
||
## 模型概述
|
||
|
||
- **基础模型**: `deepseek-ai/DeepSeek-R1-Distill-Qwen-7B`
|
||
|
||
- **参数量**: 7B
|
||
|
||
- **微调方法**: LoRA (Low-Rank Adaptation)
|
||
|
||
- **训练数据**: SRE 领域数据集（约 18,236 条记录）,数据集地址：https://github.com/HC-Guo/OWL/tree/main/OWL-Instruct/data
|
||
|
||
- **精度**: BF16 (Brain Floating Point 16)
|
||
|
||
- **最大上下文长度**: 2048 tokens
|
||
|
||
- **语言**: 中文（主要），支持部分英文输入
|
||
|
||
- **发布日期**: 2025-03-02
|
||
|
||
- **训练loss趋势变化**
|
||
|
||
|
||
|
||
|
||
## 评测结果
|
||
|
||
下表对比了基模（deepseek-ai/DeepSeek-R1-Distill-Qwen-7B）和微调后模型在运维领域任务上的性能表现。微调使用 LoRA 方法，基于 SRE 领域数据集（约 18,236 条记录）进行优化。
|
||
|
||
| **指标** | **基模结果** | **微调后结果** | **提升项说明** |
|
||
|---------------------------|--------------|----------------|--------------------------------------------------------------------------------|
|
||
| **predict_bleu-4** | 4.52 | 13.54 | BLEU-4 衡量生成文本与参考答案的 4-gram 精确匹配度。提升约 199%，表明微调后模型生成的回答与参考答案在短语级别更加一致，准确性显著提高。 |
|
||
| **predict_rouge-1** | 23.60 | 39.40 | ROUGE-1 衡量单字重叠率。提升约 67%，表明词汇级别的匹配度大幅改善，模型生成内容更贴近参考答案的用词。 |
|
||
| **predict_rouge-2** | 5.84 | 22.07 | ROUGE-2 衡量双字重叠率。提升约 278%，表明短语和句子结构的相似性显著增强，生成文本更具连贯性。 |
|
||
| **predict_rouge-l** | 9.91 | 23.63 | ROUGE-L 衡量最长公共子序列，反映句子结构相似性。提升约 138%，表明微调后模型在整体回答结构上更接近参考答案。 |
|
||
| **predict_model_preparation_time** | 0.0033 | 0.0032 | 模型准备时间（秒），微调后略减 0.0001 秒，变化微小，表明模型加载效率基本不变。 |
|
||
| **predict_runtime** | 1325.61 | 878.39 | 推理总耗时（秒）。减少约 34%（447.22 秒），表明微调后推理速度加快，可能是优化了生成效率或减少了冗余计算。 |
|
||
| **predict_samples_per_second** | 0.377 | 0.57 | 每秒处理样本数。提升约 51%，反映推理吞吐量提高，模型处理效率显著增强。 |
|
||
| **predict_steps_per_second** | 0.094 | 0.096 | 每秒推理步数。提升约 2%，变化较小，可能是推理步长未显著优化，但整体效率仍受益于 runtime 改进。 |
|
||
|
||
### 指标说明
|
||
|
||
- **BLEU-4**：计算生成文本与参考文本的 4-gram 精确匹配度，分数范围 0-100，值越高表示短语级匹配越好。
|
||
- **ROUGE-1**：衡量单字（unigram）重叠率，分数范围 0-100，反映词汇级相似性。
|
||
- **ROUGE-2**：衡量双字（bigram）重叠率，分数范围 0-100，反映短语级相似性。
|
||
- **ROUGE-L**：衡量最长公共子序列（LCS），分数范围 0-100，反映句子结构相似性。
|
||
- **predict_model_preparation_time**：模型加载和准备的耗时（秒），值越低表示启动越快。
|
||
- **predict_runtime**：推理总耗时（秒），值越低表示生成速度越快。
|
||
- **predict_samples_per_second**：每秒处理的样本数，值越高表示吞吐量越高。
|
||
- **predict_steps_per_second**：每秒推理步数，值越高表示单步效率越高。
|
||
|
||
### 结论
|
||
微调后的 `DeepSeek-R1-Distill-SRE-Qwen-7B` 在生成质量和推理效率上均有显著提升，尤其在运维领域的结构化回答能力上表现优异。推荐用于高可用性集群设计、服务器优化等场景。
|
||
|
||
- **下载方式**:
|
||
### SDK下载：
|
||
```bash
|
||
#安装ModelScope
|
||
pip install modelscope
|
||
|
||
#SDK模型下载
|
||
from modelscope import snapshot_download
|
||
model_dir = snapshot_download('phpcool/DeepSeek-R1-Distill-SRE-Qwen-7B')
|
||
```
|
||
### Git下载
|
||
```bash
|
||
#Git模型下载
|
||
git clone https://www.modelscope.cn/phpcool/DeepSeek-R1-Distill-SRE-Qwen-7B.git
|
||
```
|
||
---
|
||
|
||
## 如何使用模型进行推理
|
||
|
||
本模型支持高效推理，已验证兼容 `vLLM` 和 `SGLang` 框架，以下提供vLLM使用示例(推荐)。
|
||
|
||
|
||
### 1. 使用 SGLang 进行推理
|
||
`SGLang` 是一个高性能服务框架，适合复杂运维任务的快速推理。
|
||
|
||
#### 环境准备
|
||
```bash
|
||
pip install sglang
|
||
```
|
||
|
||
#### 启动 SGLang 服务
|
||
```bash
|
||
vllm serve /root/autodl-tmp/model/outputs/deepseek-ai/DeepSeek-R1-Distill-SRE-Qwen-7B --tensor-parallel-size 1 --max-model-len 2048 --enforce-eager
|
||
```
|
||
|
||
#### Python 推理示例
|
||
```python
|
||
from openai import OpenAI
|
||
|
||
client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")
|
||
|
||
response = client.chat.completions.create(
|
||
model="/path/to/DeepSeek-R1-Distill-SRE-Qwen-7B",
|
||
messages=[
|
||
{"role": "system", "content": "你是一位智能运维助手"},
|
||
{"role": "user", "content": "如何优化服务器的存储性能以提高数据读写速度？"}
|
||
],
|
||
max_tokens=1500,
|
||
temperature=0.7,
|
||
stop=["<|end>"]
|
||
)
|
||
print(response.choices[0].message.content.strip())
|
||
```
|
||
|
||
---
|
||
|
||
## 使用场景
|
||
|
||
- **自动化运维**: 生成脚本、配置管理。
|
||
- **系统监控**: 分析指标、生成告警规则。
|
||
- **故障排查**: 日志解析、根因分析。
|
||
|
||
该模型在 SRE 和 DevOps 场景中表现出色，尤其适合需要快速响应和资源优化的企业级应用。
|
||
|
||
---
|
||
|
||
## 社区贡献
|
||
|
||
由于当前文档信息有限，我们鼓励社区参与：
|
||
- 在 modelscope.cn 中的【交流反馈】提出问题、使用案例或改进建议。
|
||
- 提交 Pull Request 以补充模型细节、优化推理代码或分享运维相关的 Prompt 示例。
|
||
|
||
感谢你的使用与支持！如果有任何问题，请随时联系，微信：yorkoliu 邮件：liutiansi@gmail.com。
|
||
|
||
--- |