Limbo

Limbo

0 关注者

1个月前

目前很多模型都支持 Prompt Cache,比如 DeepSeek、Doubao,以及 Claude 模型。对优化成本是非常有帮助的。 缓存命中率提升:静态部分(~80%内容)可在不同用户/会话间复用 成本降低:Claude 缓存 token 价格仅为原价的 1/10 延迟降低:缓存命中可减少 TTFT 达 80%

热门新闻