刘芷溢
最近更新
Cache Engineering for Agents
AKV 提出 Cache Engineering：不改文本轨迹，通过 drop/repos 缓存操作丢弃或重定位 KV，配合扩展 radix tree 与 segment-batch attention 复用缓存并免去 re-prefill。
Agentic Coding in the Wild: Characterizing GitHub Copilot at Production Scale
基于 GitHub Copilot 生产轨迹刻画 coding-agent workload：紧密的 LLM-tool loop、turn 边界缓存失效与双峰 idle，并训练轻量空闲时间预测器指导 KV 缓存与容器资源回收。
Capture the lifecycle: KV Cache management in ReAct Agents with KVTether
ReAct agents 的 KV 缓存管理在 agent harness 和 KV 缓存之间存在语义鸿沟。KVTether 在 harness 导出 message-level primitives，通过 lifecycle-aware kv cache management framework 将其转化为 KV-level lifecycle state，并在缓存引擎中应用 MRU 策略，缓解过早驱逐问题。
Autellix: An Efficient Serving Engine for LLM Agents as General Programs
首个面向 agentic program 的 LLM 服务引擎：以进程表跟踪程序级状态，用 PLAS/ATLAS 两种非先知调度算法解决调用级与程序级队头阻塞，并通过数据局部性感知的负载均衡复用 KV 缓存。
Continuum: Efficient and Robust Multi-Turn LLM Agent Scheduling with KV Cache Time-to-Live
给工具调用期间的 KV cache 设 TTL：按工具历史耗时分布、被驱逐请求的排队延迟与记忆性因子计算最优保留时长，缓解 end-of-turn 驱逐与 per-turn 排队延迟。
Teola: Towards End-to-End Optimization of LLM-based Applications
Ayo 把 LLM 应用工作流表示为原语级数据流图（p-graph），经依赖剪枝、阶段分解、prefill 拆分与解码流水线四类 pass 生成执行图，实现跨模块并行与流水线调度。
容错共识与 Paxos
从 GFS 协调者故障出发，梳理 Paxos 的 Quorum 性质、两阶段协议、伪代码与各类反例，并延伸到复制状态机与日志。
From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems
通过 10 个 agentic applications 研究 Agentic workloads(coding-agent 为主)的特征：根据特征提出 4 个设计探索，分别是 task-aware serving、communication-aware placement、state offloading、tool-result caching。
agent serving
8 篇文章
Cache Engineering for Agents
AKV 提出 Cache Engineering：不改文本轨迹，通过 drop/repos 缓存操作丢弃或重定位 KV，配合扩展 radix tree 与 segment-batch attention 复用缓存并免去 re-prefill。
Agentic Coding in the Wild: Characterizing GitHub Copilot at Production Scale
基于 GitHub Copilot 生产轨迹刻画 coding-agent workload：紧密的 LLM-tool loop、turn 边界缓存失效与双峰 idle，并训练轻量空闲时间预测器指导 KV 缓存与容器资源回收。
Capture the lifecycle: KV Cache management in ReAct Agents with KVTether
ReAct agents 的 KV 缓存管理在 agent harness 和 KV 缓存之间存在语义鸿沟。KVTether 在 harness 导出 message-level primitives，通过 lifecycle-aware kv cache management framework 将其转化为 KV-level lifecycle state，并在缓存引擎中应用 MRU 策略，缓解过早驱逐问题。
Autellix: An Efficient Serving Engine for LLM Agents as General Programs
首个面向 agentic program 的 LLM 服务引擎：以进程表跟踪程序级状态，用 PLAS/ATLAS 两种非先知调度算法解决调用级与程序级队头阻塞，并通过数据局部性感知的负载均衡复用 KV 缓存。
Continuum: Efficient and Robust Multi-Turn LLM Agent Scheduling with KV Cache Time-to-Live
给工具调用期间的 KV cache 设 TTL：按工具历史耗时分布、被驱逐请求的排队延迟与记忆性因子计算最优保留时长，缓解 end-of-turn 驱逐与 per-turn 排队延迟。
Teola: Towards End-to-End Optimization of LLM-based Applications
Ayo 把 LLM 应用工作流表示为原语级数据流图（p-graph），经依赖剪枝、阶段分解、prefill 拆分与解码流水线四类 pass 生成执行图，实现跨模块并行与流水线调度。
From LLM Inference to Agentic Workloads: Characterization and Implications for Serving Systems
通过 10 个 agentic applications 研究 Agentic workloads(coding-agent 为主)的特征：根据特征提出 4 个设计探索，分别是 task-aware serving、communication-aware placement、state offloading、tool-result caching。
From Requests to Sessions: A Large-Scale Characterization of Human-Driven Agentic Workloads
研究 Agentic workloads(coding-agent 为主)的特征：紧密的 llm-tools loop 与长时间的 user idle。15 分钟内的缓存重用收益极高而保留更长的前缀存储成本显著上升
