Posts

思考：如果不缓存 KV，而是缓存输入 X，可行吗？

Fast and Memory-Efficient Exact Attention with IO-Awareness.

如何从概率分布的角度证明无损投机采样真的无损？

用 Roofline 判断性能瓶颈，并分析它在混部资源预估中为什么会失准。

GPU 时代的系统设计，从 CPU 时代继承了什么。

从感性认知和数学公式两个角度，解释为什么自回归推理只缓存 KV 而不缓存 Q，以及 GQA 背后的设计哲学。

从手写 Agent Loop 到采用成熟框架，一次关于"重复造轮子"的架构反思。

当仓库开始替人保存上下文，人与 Agent 的协作关系也会随之改变。

看起来像鸭子，实际是尖叫鸭？

不会吧，你还在自己读文章？

丰富的一年

To be or not to be, that is the question

“我们需要对「符号」与「事实」之间的距离有足够的认识。”

“人的成长就是“我”的部分越来越少，越来越多东西从主体剥落成为客体。”