Tag: 推理优化

All the articles with the tag "推理优化".

• Prefix Cache 路由：状态感知与决策要素

  19 Aug, 2026

  同一个请求交给集群中的任何实例都能正确执行，响应时间却可能完全不同。原因是每个实例保存的 Prefix Cache 不一样。

• 重新理解 MLA：缓存 X 而非 KV

  8 Jul, 2026

  思考：如果不缓存 KV，而是缓存输入 X，可行吗？

• FlashAttention 详解(V1 & V2)

  5 Jul, 2026

  Fast and Memory-Efficient Exact Attention with IO-Awareness.

• 无损投机采样的概率论视角

  29 Jun, 2026

  如何从概率分布的角度证明无损投机采样真的无损？