DeepSeek-R1-Distill-SRE-Qwen-7B/README.md

# DeepSeek-R1-Distill-SRE-Qwen-7B

## 模型简介

基于 DeepSeek 架构的 7B 参数量模型，经过 LoRA 微调，专为运维领域（Site Reliability Engineering, SRE）任务设计。它能够提供高可用性、稳定性相关的技术建议，并生成逐步分析过程，适用于服务器管理、集群优化和故障排查等场景，强化了以下三块能力：

- 自动化脚本生成
- 系统监控分析
- 故障排查与根因定位

## 模型概述

- **基础模型**: `deepseek-ai/DeepSeek-R1-Distill-Qwen-7B`

- **参数量**: 7B

- **微调方法**: LoRA (Low-Rank Adaptation)

- **训练数据**: SRE 领域数据集（约 18,236 条记录）,数据集地址：https://github.com/HC-Guo/OWL/tree/main/OWL-Instruct/data

- **精度**: BF16 (Brain Floating Point 16)

- **最大上下文长度**: 2048 tokens

- **语言**: 中文（主要），支持部分英文输入

- **发布日期**: 2025-03-02

- **训练loss趋势变化**

  ![training_loss](training_loss.png)


## 评测结果

下表对比了基模（deepseek-ai/DeepSeek-R1-Distill-Qwen-7B）和微调后模型在运维领域任务上的性能表现。微调使用 LoRA 方法，基于 SRE 领域数据集（约 18,236 条记录）进行优化。

| **指标**                  | **基模结果** | **微调后结果** | **提升项说明**                                                                 |
|---------------------------|--------------|----------------|--------------------------------------------------------------------------------|
| **predict_bleu-4**        | 4.52         | 13.54          | BLEU-4 衡量生成文本与参考答案的 4-gram 精确匹配度。提升约 199%，表明微调后模型生成的回答与参考答案在短语级别更加一致，准确性显著提高。 |
| **predict_rouge-1**       | 23.60        | 39.40          | ROUGE-1 衡量单字重叠率。提升约 67%，表明词汇级别的匹配度大幅改善，模型生成内容更贴近参考答案的用词。 |
| **predict_rouge-2**       | 5.84         | 22.07          | ROUGE-2 衡量双字重叠率。提升约 278%，表明短语和句子结构的相似性显著增强，生成文本更具连贯性。 |
| **predict_rouge-l**       | 9.91         | 23.63          | ROUGE-L 衡量最长公共子序列，反映句子结构相似性。提升约 138%，表明微调后模型在整体回答结构上更接近参考答案。 |
| **predict_model_preparation_time** | 0.0033 | 0.0032   | 模型准备时间（秒），微调后略减 0.0001 秒，变化微小，表明模型加载效率基本不变。               |
| **predict_runtime**       | 1325.61      | 878.39         | 推理总耗时（秒）。减少约 34%（447.22 秒），表明微调后推理速度加快，可能是优化了生成效率或减少了冗余计算。 |
| **predict_samples_per_second** | 0.377 | 0.57      | 每秒处理样本数。提升约 51%，反映推理吞吐量提高，模型处理效率显著增强。                   |
| **predict_steps_per_second** | 0.094 | 0.096   | 每秒推理步数。提升约 2%，变化较小，可能是推理步长未显著优化，但整体效率仍受益于 runtime 改进。 |

### 指标说明

- **BLEU-4**：计算生成文本与参考文本的 4-gram 精确匹配度，分数范围 0-100，值越高表示短语级匹配越好。
- **ROUGE-1**：衡量单字（unigram）重叠率，分数范围 0-100，反映词汇级相似性。
- **ROUGE-2**：衡量双字（bigram）重叠率，分数范围 0-100，反映短语级相似性。
- **ROUGE-L**：衡量最长公共子序列（LCS），分数范围 0-100，反映句子结构相似性。
- **predict_model_preparation_time**：模型加载和准备的耗时（秒），值越低表示启动越快。
- **predict_runtime**：推理总耗时（秒），值越低表示生成速度越快。
- **predict_samples_per_second**：每秒处理的样本数，值越高表示吞吐量越高。
- **predict_steps_per_second**：每秒推理步数，值越高表示单步效率越高。

### 结论
微调后的 `DeepSeek-R1-Distill-SRE-Qwen-7B` 在生成质量和推理效率上均有显著提升，尤其在运维领域的结构化回答能力上表现优异。推荐用于高可用性集群设计、服务器优化等场景。

- **下载方式**:  
### SDK下载：
  ```bash
#安装ModelScope
pip install modelscope

#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('phpcool/DeepSeek-R1-Distill-SRE-Qwen-7B')
  ```
### Git下载
```bash
#Git模型下载
git clone https://www.modelscope.cn/phpcool/DeepSeek-R1-Distill-SRE-Qwen-7B.git
```
---

## 如何使用模型进行推理

本模型支持高效推理，已验证兼容 `vLLM` 和 `SGLang` 框架，以下提供vLLM使用示例(推荐)。


### 1. 使用 SGLang 进行推理
`SGLang` 是一个高性能服务框架，适合复杂运维任务的快速推理。

#### 环境准备
```bash
pip install sglang
```

#### 启动 SGLang 服务
```bash
vllm serve /root/autodl-tmp/model/outputs/deepseek-ai/DeepSeek-R1-Distill-SRE-Qwen-7B --tensor-parallel-size 1 --max-model-len 2048 --enforce-eager
```

#### Python 推理示例
```python
from openai import OpenAI

client = OpenAI(api_key="EMPTY", base_url="http://localhost:8000/v1")

response = client.chat.completions.create(
    model="/path/to/DeepSeek-R1-Distill-SRE-Qwen-7B",
    messages=[
        {"role": "system", "content": "你是一位智能运维助手"},
        {"role": "user", "content": "如何优化服务器的存储性能以提高数据读写速度？"}
    ],
    max_tokens=1500,
    temperature=0.7,
    stop=["<|end>"]
)
print(response.choices[0].message.content.strip())
```

---

## 使用场景

- **自动化运维**: 生成脚本、配置管理。
- **系统监控**: 分析指标、生成告警规则。
- **故障排查**: 日志解析、根因分析。

该模型在 SRE 和 DevOps 场景中表现出色，尤其适合需要快速响应和资源优化的企业级应用。

---

## 社区贡献

由于当前文档信息有限，我们鼓励社区参与：
- 在 modelscope.cn 中的【交流反馈】提出问题、使用案例或改进建议。
- 提交 Pull Request 以补充模型细节、优化推理代码或分享运维相关的 Prompt 示例。

感谢你的使用与支持！如果有任何问题，请随时联系，微信：yorkoliu  邮件：liutiansi@gmail.com。

---