刘芷溢

最近更新

sglang

11 篇文章

  • 从 EAGLE 到 DFlash 2：SGLang 与 SpecForge 的投机解码训练和推理

    沿 EAGLE、EAGLE-2、EAGLE-3、DFlash、DSpark 和 DFlash 2 的演进，解释 draft 的训练目标、数据对齐、推理状态与验证预算，并对照 SpecForge 训练和 SGLang serving 源码串起完整流程。

  • SGLang HiCache：组件、工作流与 L1/L2/L3 读写时序

    从 HiRadixCache、HiCacheController、Host KV Pool 与 Storage Backend 的职责出发，沿 Scheduler 主循环拆解 L3 query、hit、prefetch、L2 load、L2 write 和 L3 write 的准确时序。

  • eplbopt

    GRACE-MoE 优化 一种针对稀疏混合专家（SMoE, Sparse Mixture-of-Experts）模型在分布式多GPU集群上推理时的综合优化方案。SMoE模型的核心痛点在于：跨设备通信开销大与计算负载极度不均衡。 文中提出的三个核心Idea层层递进，形成了一个闭环：先通过分组减少通信（但加剧了负载不均衡），再通过复制缓解负载不均衡，最后通过路由在通信和计算之间找到最优的执行路径。 Core Idea 1.

  • PD Disaggregation in SGLang

    本文将从为什么需要 PD 分离开始讲起，通过几篇论文来讲述现在 PD 分离演进的路线，以 SGLang 中 PD 分离的实现作为 example 进行解析；由于笔者之前做过分布式相关的项目，将其中的状态机与 Raft 浅浅做了以下对比。

  • 一条 Request 在 SGLang 的前世今生

    本文将介绍在 SGLang 中，一条请求从到达系统到最终完成的全过程，涵盖请求的接收、调度、执行以及结果返回等关键环节。

  • RadixAttention 你需要知道的细节

    本文深入探讨 SGLang 中 RadixAttention 的实现细节，涵盖 Radix Tree 结构、前缀匹配、内存管理与驱逐策略，以及 Cache-Aware Scheduling 的工作原理。

  • SGLang 中的 TP + PP 流程浅析(以 Qwen2 为例)

    这里我们以 Qwen2 模型为例，开启 PP + TP 分析一下 SGLang 是如何实现模型推理的并行的

  • 大模型推理服务中的 Batching

    现在的大模型推理的框架基本都实现了 Continuous Batching，本文将从大模型推理服务为什么需要 Batching 开始，逐步讲解该领域的技术演进，包含调度层和计算层的相关优化技术。

  • 从代码看 SGLang 的 KV Cache

    本文将深入解析 SGLang 的 KV Cache 实现细节，介绍其组件结构、工作原理以及在模型推理中的应用。

  • SGLang Scheduler 技术变迁

    本文将结合代码分析 SGLang Scheduler 的技术演进，介绍其核心数据结构和工作流程，帮助读者深入理解调度器的实现细节。

  • Data Parallelism in Attention in SGLang

    本文介绍 SGLang 中 Attention 层的数据并行（DP Attention）机制，涵盖其设计理念、实现细节及执行流程，旨在提升模型推理的效率和性能。