资讯
近日消息，月之暗面公司正式透露，其Kimi开放平台即将迎来重大更新，启动备受瞩目的Context Caching功能内测项目。此次升级核心在于引入长文本大模型支持，实现高效上下文缓存机制，从而大幅度提升交互式AI服务的响应速度与连续对话的连贯性。
据介绍，Context Caching（上下文缓存）是由 Kimi 开放平台提供的一项高级功能，可通过缓存重复的 Tokens 内容，降低用户在请求相同内容时的成本，原理如下：
官方表示，Context Caching 可提升 API 的接口响应速度（或首字返回速度）。在规模化、重复度高的 prompt 场景，Context Caching 功能带来的收益越大。
Context Caching 适合于用频繁请求，重复引用大量初始上下文的情况，通过重用已缓存的内容，可提高效率降低费用，适用业务场景如下：
提供大量预设内容的 QA Bot，例如 Kimi API 小助手。
针对固定的文档集合的频繁查询，例如上市公司信息披露问答工具。
对静态代码库或知识库的周期性分析，例如各类 Copilot Agent。
瞬时流量巨大的爆款 AI 应用，例如哄哄模拟器，LLM Riddles。
交互规则复杂的 Agent 类应用，例如什么值得买 Kimi+ 等。
官方后续将发布 Context Caching 功能的场景最佳实践 / 计费方案 / 技术文档。
文明上网，理性发言，共同做网络文明传播者