THE LEARNING PATH
每次,只增加一个机制。
12 节循序渐进的课程,沿请求链路理解 DeepInfer 的架构与机制。
学习进度0 / 12
Follow a Request
从 LLM.generate 进入,追踪调度、执行、采样与状态更新。
Inside an Execution Step
理解 Worker 与 ModelRunner 如何传递输入元数据、缓存引用和采样结果。
Remember with KV
从 CacheEngine 与请求生命周期理解历史状态如何保留、定位和释放。
Choose the Next Token
追踪模型输出如何进入采样器,再成为可提交的请求状态。
Work in Batches
用静态 batch 对照理解请求身份、输入布局与独立停止条件。
Schedule Every Step
用 waiting、running 和 token 预算理解 continuous batching。
Page the KV Cache
用 block table 把逻辑 token 位置与物理缓存块解耦。
Reuse a Prefix
从请求分叉理解前缀复用、引用计数与写时复制。
Draft, Then Verify
把草稿、目标模型验证和置信度预算分开,理解一次推进多个 token。
Overlap the Pipeline
读懂 ZOS 的前向、后处理、采样顺序,以及滞后一轮的状态修正。
Route to Experts
沿着 gate、dispatch、专家计算和 combine 走完一次 MoE。
Balance the Hot Experts
用历史 token 计数理解 EPLB,再用下一段流量检验布局。