研二上总结

#summary
  • 在 9 月下旬，和室友半夜畅聊的时候，彻底下定决心，all in llm inference
    • 💪人生就是要 all in 一次的
  • 看了 cse 234 的课程，补了补缺失的基础，里面老师提的三个期望非常戳我
    • Ability to identify the right problems
    • Ability to understand “trends”
    • Ability to “predict the future” (I hope so)
  • 看了 GPU 和 CUDA 相关的基础知识(主要是博客和 cuda mode)
  • 写了个小项目 tinyllm，暂时没有加上 page attention 和 flash attention 以及自己写的 cuda kernel，打算基于 nano-vllm 重构一遍
  • 梳理了下 sglang scheduler 打算对 speculative decoding 相关 issue 贡献 PR（I hope so）