刘芷溢
最近更新
FlashAttention v1-v4：从 IO 感知到异步流水与硬件协同
沿着 FlashAttention v1-v4 的论文、作者博客与源码，拆解 Ampere、Hopper、Blackwell 如何改变 attention 的数据路径、线程分工和瓶颈，并用调度图解释 copy、MMA、softmax 与输出校正如何真正重叠。
理解 H100：从硬件数据路径到 Nsight Compute 瓶颈分析
沿着 kernel 的分配、指令发射、访存与异步矩阵计算，建立 H100 的硬件工作模型，并把 Nsight Compute 的吞吐、调度、事务和依赖指标组织成可验证的瓶颈诊断方法。
Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization 论文笔记
以格式、量化算法和 GPU Kernel 的跨层约束为主线，拆解 ICLR 2026 论文 Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization，解释旋转为何改善 MXFP4 却可能伤害 NVFP4、MR-GPTQ 如何修正这一矛盾，以及 QuTLASS 的真实收益与部署边界。
FP4、FP8 与 INT8/INT4：数值范围、块缩放与推理计算精度
从标量编码、共享 scale 与有效位宽出发，拆解 INT8、FP8、MXFP8、INT4、MXFP4、NVFP4 的表示范围，并沿 GEMM、GQA/MLA Attention 数据流解释 8 bit/4 bit 推理真正使用的乘法、累加、Softmax 与输出精度。
从 EAGLE 到 DFlash 2：SGLang 与 SpecForge 的投机解码训练和推理
沿 EAGLE、EAGLE-2、EAGLE-3、DFlash、DSpark 和 DFlash 2 的演进，解释 draft 的训练目标、数据对齐、推理状态与验证预算，并对照 SpecForge 训练和 SGLang serving 源码串起完整流程。
README
CuTe FlashAttention-2 case-study benchmark This directory preserves the exact teaching kernel, benchmark harness, raw results, and figure generator used by the corresponding tom-jerr blog post.
CuTe 详解：以 FlashAttention-2 拆解 Layout、TiledCopy 与 TiledMMA
以一份可运行的 FlashAttention-2 前向 Kernel 为贯穿案例，从坐标函数和线程所有权出发，详解 CuTe 的 Layout algebra、Tensor、TiledCopy、TiledMMA、寄存器重解释与流水线，并用正确性和性能实验检查这些抽象最终生成了什么。
LLM 量化综述：数据格式、PTQ 与 QAT 的算法演进
从 INT8、FP8、INT4、MXFP4、NVFP4 的表示范围与舍入误差出发，按 8 bit、4 bit 和低于 4 bit 梳理 PTQ/QAT，解释各方法解决的问题、相对前作的创新、核心优化与数值稳定性，并对应到 llm-compressor 的工程实现。
linux tools
4 篇文章
1-grep
3.1 grep 全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。用于过滤/搜索的特定字符。 3.1.1 基本命令选项 -a --text # 不要忽略二进制数据。 -A <显示行数> --after-context=<显示行数> # 除了显示符合范本样式的那一行之外，并显示该行之后的内容。 -b --byte-offset # 在显示符合范本样式的那一行之外，并显示该行之前的内容。 -B<显示行数> --before-context=<显示行数> # 除了显示符合样式的那一行之外，并...
2-sed
3.2 sed 3.2.1 正则表达式 基本正则表达式 .，表示匹配任意一个字符，除了换行符，类似 Shell 通配符中的 ?； *，表示前边字符有 0 个或多个； .*，表示任意一个字符有 0 个或多个，也就是能匹配任意的字符； ^，表示行首，也就是每一行的开始位置，^abc 匹配以 abc 开头的字符串； ，表示行尾，也就是每一行的结尾位置，} 匹配以大括号结尾的字符串； {}，表示前边字符的数量范围，{2}，表示重复 2 次，{2,}重复至少 2 次，{2,4} 重复 2-4 次； []，括号中可以包含表示字符集的表达式 （二）扩展正则表达式 扩展正则表达式使用频率上没有基本表达式那么高...
3-awk
3.3 awk awk会根据空格和制表符，将每一行分成若干字段，依次用1、2、$3代表第一个字段、第二个字段、第三个字段等等 print命令里面，如果原样输出字符，要放在双引号里面。 3.3.1 基本用法 awk action filename awk '{print $0}' demo.txt 3.3.2 内置函数 变量NF表示当前行有多少个字段，因此$NF就代表最后一个字段 变量NR表示当前处理的是第几行 toupper()用于将字符转为大写 tolower()：字符转为小写。 length()：返回字符串长度。 substr()：返回子字符串。 sin()：正弦。 c...
4-find
3.4 find 从每个指定的起始点 (目录) 开始，搜索以该点为根的目录树，并按照运算符优先级规则从左至右评估给定的表达式，直到结果确定，此时find会继续处理下一个文件名。 3.4.1 语法 find [-H] [-L] [-P] [-D debugopts] [-Olevel] [起始点...] [表达式] -name pattern：按文件名查找，支持使用通配符 * 和 ?。 -type type：按文件类型查找，可以是 f（普通文件）、d（目录）、l（符号链接）等。 f 普通文件 l 符号连接 d 目录 c 字符设备 b 块设备 s 套接字 p Fifo -size [+-]size...