Tag: 推理优化
All the articles with the tag "推理优化".
-
GQA 比例与推理成本
KV Cache 更小，推理就会更快吗？
-
Prefix Cache 路由：概率调度与平滑切流
总把请求发给当前最优项，既会制造热点，也会让新部署难以建立 cache。一个分数该如何变成采样概率？
-
KV Cache 的多级缓存
重算，还是搬运，这是个问题。
-
现代大模型推理并行策略总览
TP、PP、DP、CP、EP 的切分方式、适用场景与主流框架支持。
All the articles with the tag "推理优化".
KV Cache 更小，推理就会更快吗？
总把请求发给当前最优项，既会制造热点，也会让新部署难以建立 cache。一个分数该如何变成采样概率？
重算，还是搬运，这是个问题。
TP、PP、DP、CP、EP 的切分方式、适用场景与主流框架支持。