当前位置: 首页 > 资讯 > 科技 > 月之暗面Kimi开放平台新进展:“上下文缓存”公测启动,显著提升效率,文本复用场景响应更快
  • 0
  • 0
  • 分享

月之暗面Kimi开放平台新进展:“上下文缓存”公测启动,显著提升效率,文本复用场景响应更快

Kimi大模型 2024-07-02 10:22:15 爱吃爆米花

近日消息,月之暗面公司正式宣布其Kimi开放平台的创新功能——“上下文缓存”进入公开测试阶段。这项技术革新在确保API费用维持不变的同时,为开发者带来了显著的成本效益,最高可将长文本旗舰级大模型的使用成本降低至原成本的10%,并有效提升了模型处理请求的速度。

附 Kimi 开放平台上下文缓存功能公测详情如下:

技术简介

据介绍,上下文缓存是一种数据管理技术,允许系统预先存储会被频繁请求的大量数据或信息。当用户请求相同信息时,系统可以直接从缓存中提供,无需重新计算或从原始数据源中检索。

适用场景

上下文缓存适用于频繁请求,重复引用大量初始上下文场景,可降低长文本模型费用,提高效率。官方表示费用最高降低 90 %,首 Token 延迟降低 83%。适用业务场景如下:

提供大量预设内容的 QA Bot,例如 Kimi API 小助手

针对固定的文档集合的频繁查询,例如上市公司信息披露问答工具

对静态代码库或知识库的周期性分析,例如各类 Copilot Agent

瞬时流量巨大的爆款 AI 应用,例如哄哄模拟器,LLM Riddles

交互规则复杂的 Agent 类应用等

计费说明

上下文缓存收费模式主要分为以下三个部分:

Cache 创建费用

调用 Cache 创建接口,成功创建 Cache 后,按照 Cache 中 Tokens 按实际量计费。24 元 / M token

Cache 存储费用

Cache 存活时间内,按分钟收取 Cache 存储费用。10 元 / M token / 分钟

Cache 调用费用

Cache 调用增量 token 的收费:按模型原价收费

Cache 调用次数收费:Cache 存活时间内,用户通过 chat 接口请求已创建成功的 Cache,若 chat message 内容与存活中的 Cache 匹配成功,将按调用次数收取 Cache 调用费用。0.02 元 / 次

公测时间和资格说明

公测时间:功能上线后,公测 3 个月,公测期价格可能随时调整。

公测资格:公测期间 Context Caching 功能优先开放给 Tier5 等级用户,其他用户范围放开时间待定。

来源:it之家
免责声明:本内容来自互联网,不代表本网站的观点和立场,如有侵犯你的权益请来信告知;如果你觉得好,欢迎分享给你的朋友,本文网址 https://wangzhidaquan.com/zixun/61558.html
文章标签
评论

文明上网,理性发言,共同做网络文明传播者

验证码
提交
热榜
热门游戏
换一换
热门软件
换一换