52 lines
1.9 KiB
Markdown
52 lines
1.9 KiB
Markdown
|
# Rollout Buffer
|
|||
|
|
|
|||
|
|
## 概述
|
|||
|
|
|
|||
|
|
Rollout Buffer 是用于辅助纯异步 agent 训练的独立组件，其主要功能是使用 slime 训练启动的 LLM OpenAI Server 进行智能体轨迹的生成。
|
|||
|
|
|
|||
|
|
### 工作流程
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
slime Training Process ←─── HTTP API ───→ Rollout Buffer
|
|||
|
|
↓ ↓
|
|||
|
|
LLM Server ←─────── HTTP Requests ─────── Agent Framework
|
|||
|
|
↓ ↓
|
|||
|
|
Model Response ──────────────────────→ Trajectory Generation
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
对于每一个不同的 Agent 任务，都应该对应一个独立的 Generator 类，负责生成该类任务的轨迹。Rollout Buffer 会自动读取并加载不同类型的 Generator。
|
|||
|
|
|
|||
|
|
## 快速开始
|
|||
|
|
|
|||
|
|
### 基本使用流程
|
|||
|
|
|
|||
|
|
1. **复制模板**：将 `base_generator.py` 作为模板进行复制
|
|||
|
|
2. **修改任务类型**：将 `TASK_TYPE` 修改为您的任务名称（不能与其他 Generator 重复）
|
|||
|
|
3. **实现核心函数**：实现 `run_rollout()` 函数
|
|||
|
|
4. **可选定制**：根据需要重写五个可选函数
|
|||
|
|
|
|||
|
|
|
|||
|
|
Generator 文件必须以 `_generator.py` 结尾，并放置在 `generator/` 目录下：
|
|||
|
|
|
|||
|
|
```
|
|||
|
|
generator/
|
|||
|
|
├── base_generator.py # Math 任务实现（默认模板）
|
|||
|
|
└── your_task_generator.py # 您的自定义任务
|
|||
|
|
```
|
|||
|
|
|
|||
|
|
每个 Generator 文件必须定义 `TASK_TYPE` 与 `run_rollout()`。
|
|||
|
|
|
|||
|
|
此外，Rollout Buffer 还提供了一些可自定义的函数来满足不同任务的特殊需求。如果不提供自定义实现，系统将使用默认实现（位于 `slime_plugins/rollout_buffer/default_func.py`）。
|
|||
|
|
|
|||
|
|
### 示例脚本
|
|||
|
|
|
|||
|
|
请仿照 [示例：Qwen3-4B 模型](../../docs/zh/models/qwen3-4B.md) 文档中配置好 slime 的运行环境，下载数据，并转换模型 ckpt。之后分别运行
|
|||
|
|
|
|||
|
|
```bash
|
|||
|
|
cd slime_plugins/rollout_buffer
|
|||
|
|
bash rollout_buffer_example.sh
|
|||
|
|
|
|||
|
|
# In a different terminal
|
|||
|
|
python buffer.py
|
|||
|
|
```
|