完整部署快照

2026-09-20 02:20:26 +00:00
commit ce553c0dc8
5836 changed files with 1631123 additions and 0 deletions
--- a/upstream_ref/xllm/docs/zh/features/continuous_scheduler.md
+++ b/upstream_ref/xllm/docs/zh/features/continuous_scheduler.md
@@ -0,0 +1,7 @@
+# Continuous调度器
+
+## 功能介绍
+xLLM实现了支持continuous batching的调度策略，continuous_batch是一种动态批处理策略，它不等待批次填满，而是在有请求时就开始处理，同时持续接收新请求并将其加入正在执行的批次中，从而在保持高吞吐量的同时显著降低延迟。
+
+## 使用方式
+xLLM提供了continuous batching调度策略。目前`enable_chunked_prefill`默认值为true，开箱即用时默认调度器是chunked prefill调度器。