# Cache
2 篇文稿
大家都在讨论缓存命中率,却忽略了缓存 TTL
缓存命中率之外,缓存本身还有 TTL。对比各家模型的缓存有效期,并讨论在缓存过期前主动做上下文压缩的时机。
Ai Agent概念扫盲:Cache Hit、KV Cache、Prompt Cache 与性能
区分八类缓存,解释命中与上下文的关系,再用 Logs、Metrics、Trace 和延迟指标找出时间花在哪里。
2 篇文稿
缓存命中率之外,缓存本身还有 TTL。对比各家模型的缓存有效期,并讨论在缓存过期前主动做上下文压缩的时机。
区分八类缓存,解释命中与上下文的关系,再用 Logs、Metrics、Trace 和延迟指标找出时间花在哪里。