刘芷溢
最近更新
FlashAttention v1-v4：从 IO 感知到异步流水与硬件协同
沿着 FlashAttention v1-v4 的论文、作者博客与源码，拆解 Ampere、Hopper、Blackwell 如何改变 attention 的数据路径、线程分工和瓶颈，并用调度图解释 copy、MMA、softmax 与输出校正如何真正重叠。
理解 H100：从硬件数据路径到 Nsight Compute 瓶颈分析
沿着 kernel 的分配、指令发射、访存与异步矩阵计算，建立 H100 的硬件工作模型，并把 Nsight Compute 的吞吐、调度、事务和依赖指标组织成可验证的瓶颈诊断方法。
Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization 论文笔记
以格式、量化算法和 GPU Kernel 的跨层约束为主线，拆解 ICLR 2026 论文 Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization，解释旋转为何改善 MXFP4 却可能伤害 NVFP4、MR-GPTQ 如何修正这一矛盾，以及 QuTLASS 的真实收益与部署边界。
FP4、FP8 与 INT8/INT4：数值范围、块缩放与推理计算精度
从标量编码、共享 scale 与有效位宽出发，拆解 INT8、FP8、MXFP8、INT4、MXFP4、NVFP4 的表示范围，并沿 GEMM、GQA/MLA Attention 数据流解释 8 bit/4 bit 推理真正使用的乘法、累加、Softmax 与输出精度。
从 EAGLE 到 DFlash 2：SGLang 与 SpecForge 的投机解码训练和推理
沿 EAGLE、EAGLE-2、EAGLE-3、DFlash、DSpark 和 DFlash 2 的演进，解释 draft 的训练目标、数据对齐、推理状态与验证预算，并对照 SpecForge 训练和 SGLang serving 源码串起完整流程。
README
CuTe FlashAttention-2 case-study benchmark This directory preserves the exact teaching kernel, benchmark harness, raw results, and figure generator used by the corresponding tom-jerr blog post.
CuTe 详解：以 FlashAttention-2 拆解 Layout、TiledCopy 与 TiledMMA
以一份可运行的 FlashAttention-2 前向 Kernel 为贯穿案例，从坐标函数和线程所有权出发，详解 CuTe 的 Layout algebra、Tensor、TiledCopy、TiledMMA、寄存器重解释与流水线，并用正确性和性能实验检查这些抽象最终生成了什么。
LLM 量化综述：数据格式、PTQ 与 QAT 的算法演进
从 INT8、FP8、INT4、MXFP4、NVFP4 的表示范围与舍入误差出发，按 8 bit、4 bit 和低于 4 bit 梳理 PTQ/QAT，解释各方法解决的问题、相对前作的创新、核心优化与数值稳定性，并对应到 llm-compressor 的工程实现。
CSAPP
6 篇文章
csapp-7-链接
Chapter 7 链接 静态链接 符号解析 重定位 编译器和汇编器生成.text 和.data 链接器通过把每个符号定义和一个内存位置关联，对这些节进行重定位；修改引用，让符号指向这个内存位置 可重定位目标文件 .rel.*：不同节的重定位信息 .line：原始 C 程序和.text 节中机器指令的映射，“-g”得到 .bss：未初始化的静态变量，以及初始化为 0 的全局或静态变量 COMMON：未初始化的全局变量 解析多重定义符号 不允许有多个同名的强符号（定义并初始化） 强弱同在，选强符号 只有弱符号，随便选一个弱符号 重定位 重定位节和符号定义 将相同类型的节合并为同一类型的新的聚合节...
csapp-8-异常控制流
Chapter 8 异常控制流.
csapp-在系统上运行程序
在系统上运行程序 链接 gcc 编译链接程序：cpp 预处理器预处理源文件，cc1 编译器编译.i 文件为.S 文件，as 汇编器将.S 文件变为可重定位目标文件.o，最后运行 ld 链接器，创建一个可执行程序 执行./a.out，shell 调用加载器函数，将可执行文件的.text 和.data 复制到内存并跳转到该程序开头 解析多重定义的全局符号 规则 不允许多个同名的强符号 如果有一个强符号和多个弱符号同名，选择弱符号 如果有多个弱符号同名，选择其中任意一个 链接器不会表示检测到符号的多重定义 未初始化的全局变量交给 COMMON 段，将可能存在多重定义的变量交给链接器进行裁决 未初始化...
csapp-程序的结构和执行
程序的结构和执行 程序的机器级表示 使用基于条件的数据传送替代基于条件的控制转移 // 基于条件的数据传送 int ntest = x >= y; if (ntest) { .. } else { ..
csapp-5-优化程序性能
Chapter 5 优化程序性能 编译器的能力和局限性 内存别名使用：两个指针可能指向同一个内存位置 可能出现这种问题，编译器必须进行检查和处理，这限制了可能的优化 restrict 关键字，可以告知编译器两个指针不能指向同一块内存，编译器可以进行进一步的优化 内联函数替换（inline substitution） 将函数调用替换成函数体；减轻调用的深度 消除循环中的低效率 比如将复杂的函数加入循环；此时考虑设置局部变量 消除循环中的过程调用；考虑返回值来优化 void combine3(vec_ptr v, data_t* dest) { long i; long length = vec_...
csapp-6-存储器层次结构
Chapter 6 存储器层次结构 RAM（随机访问存储器） SRAM：快但贵；作为高速缓存 DRAM：作为主存 分时复用地址线；减少引脚数量，增加访问时间 首先将一整行复制到一个内部行缓冲区；接着再从行缓冲区中复制出一个单元 非易失性存储器 主要是 ROM，但是 ROM 中有的类型实际上既可以读也可以写 固态硬盘 Solid State Disk (SSD)，是基于闪存的存储技术 闪存芯片替代传统旋转磁盘中的机械驱动器 闪存翻译层是一个硬件/固件设备，将对逻辑块的请求翻译成对底层物理设备的访问 SSD 以页为读写单位 将擦除平均分布到所有的块上 随机写很慢的原因 擦除块需要相对较长的时间 如...