THE LEARNING PATH

每次,只增加一个机制。

12 节循序渐进的课程,沿请求链路理解 DeepInfer 的架构与机制。

学习进度0 / 12
s0115 分钟

Follow a Request

从 LLM.generate 进入,追踪调度、执行、采样与状态更新。

s0222 分钟

Inside an Execution Step

理解 Worker 与 ModelRunner 如何传递输入元数据、缓存引用和采样结果。

s0318 分钟

Remember with KV

从 CacheEngine 与请求生命周期理解历史状态如何保留、定位和释放。

s0416 分钟

Choose the Next Token

追踪模型输出如何进入采样器,再成为可提交的请求状态。

s0518 分钟

Work in Batches

用静态 batch 对照理解请求身份、输入布局与独立停止条件。

s0622 分钟

Schedule Every Step

用 waiting、running 和 token 预算理解 continuous batching。

s0720 分钟

Page the KV Cache

用 block table 把逻辑 token 位置与物理缓存块解耦。

s0820 分钟

Reuse a Prefix

从请求分叉理解前缀复用、引用计数与写时复制。

s0925 分钟

Draft, Then Verify

把草稿、目标模型验证和置信度预算分开,理解一次推进多个 token。

s1024 分钟

Overlap the Pipeline

读懂 ZOS 的前向、后处理、采样顺序,以及滞后一轮的状态修正。

s1124 分钟

Route to Experts

沿着 gate、dispatch、专家计算和 combine 走完一次 MoE。

s1225 分钟

Balance the Hot Experts

用历史 token 计数理解 EPLB,再用下一段流量检验布局。