新闻资讯

行业资讯

当前位置：首页 / 新闻资讯 / 行业资讯

月之暗面Kimi开放平台将启动Context Caching内测 提供预设内容QA Bot、固定文档集合查询

发布日期：2024-06-20     70 次

6 月 19 日消息，月之暗面官宣 Kimi 开放平台 Context Caching 功能将启动内测，届时将支持长文本大模型，可实现上下文缓存功能。

据介绍，Context Caching（上下文缓存）是由 Kimi 开放平台提供的一项高级功能，可通过缓存重复的 Tokens 内容，降低用户在请求相同内容时的成本，原理如下：

0.png

官方表示，Context Caching 可提升 API 的接口响应速度（或首字返回速度）。在规模化、重复度高的 prompt 场景，Context Caching 功能带来的收益越大。

Context Caching 适合于用频繁请求，重复引用大量初始上下文的情况，通过重用已缓存的内容，可提高效率降低费用，适用业务场景如下：

提供大量预设内容的 QA Bot，例如 Kimi API 小助手。

针对固定的文档集合的频繁查询，例如上市公司信息披露问答工具。

对静态代码库或知识库的周期性分析，例如各类 Copilot Agent。

瞬时流量巨大的爆款 AI 应用，例如哄哄模拟器，LLM Riddles。

交互规则复杂的 Agent 类应用，例如什么值得买 Kimi+ 等。

官方后续将发布 Context Caching 功能的场景最佳实践 / 计费方案 / 技术文档。


版权声明：本站内容除特别声明的原创文章之外，转载内容只为传递更多信息，并不代表本网站赞同其观点。转载的所有的文章、图片、音/视频文件等资料的版权归版权所有权人所有。本站采用的非本站原创文章及图片等内容无法一一联系确认版权者。如涉及作品内容、版权和其它问题，请及时通过电子邮件或电话通知我们，以便迅速采取适当措施，避免给双方造成不必要的经济损失。联系电话：020-2204 2442,邮箱：Sales@greentest.com.cn。
上一篇: 传美拟将11家中国晶圆厂列入实体清单
下一篇: 美国汽车经销软件供应商CDK Global遭遇黑客攻击,全美约 1.5 万家汽车经销商业务陷入停滞

为您精选

热门文章

最新文章

热门标签

EMC EMI 车载充电机 OBC 新能源电车 EV 5G 无线通信 征收关税 主板 显卡 DV试验 DVP试验 OCV测试 锂电池 频谱仪 示波器 xAI AI芯片 英伟达 传导发射 新能源汽车 物联网 SoC芯片 人工智能 AIoT 半导体VPD测试 直流充电桩 交流充电桩 emc ECU ECM 电动汽车 电波暗室 测试测量 天线测试 通信系统 ISO协议 SAR测试 混响室 隔声室 消声室 华为 数据中心 低碳 科技 无线连接 电源 MVG SSD 雷达传感器 新能源 电动车 emi测试 GB2423 冷热冲击试验 芯片 AI 大模型 AMD

寻找更多销售、技术和解决方案的信息？

联系我们
关于绿测

广州绿测电子科技有限公司（简称：绿测科技）成立于2015年11月，是一家专注于耕耘测试与测量行业的技术开发公司。绿测科技以“工程师的测试管家”的理念向广大客户提供专业的管家服务。绿测科技的研发部及工厂设立于广州番禺区，随着公司业务的发展，先后在广西南宁、深圳、广州南沙、香港等地设立了机构。绿测科技经过深耕测试与测量领域多年，组建了一支经验丰富的团队，可为广大客户提供品质过硬的产品及测试技术服务等支持。

查看详情
应用解决方案
产品与服务
新闻资讯
绿测工场服务号
绿测工场服务号
绿测科技订阅号
绿测科技订阅号
020-2204 2442
Copyright @ 2015-2024 广州绿测电子科技有限公司 版权所有 E-mail：Sales@greentest.com.cn 粤ICP备18033302号