资讯
近日消息，月之暗面Kimi与清华大学MADSys实验室强强联手，在2024年6月共同揭晓了Kimi核心架构——Mooncake推理系统的精心设计方案。
这一系统依托于以KVCache为核心的PD分离以及存算转换的前沿架构，显著增强了推理任务的吞吐能力，展现了双方在人工智能领域的深厚实力和创新精神。
为了进一步加速该技术框架的应用与推广，月之暗面 Kimi 和清华大学 MADSys 实验室联合 9#AISoft、阿里云、华为存储、面壁智能、趋境科技等共同发布开源项目 Mooncake，共建以 KVCache 为中心的大模型推理架构。
据介绍，Mooncake 开源项目从论文延伸，以超大规模 KVCache 缓存池为中心，通过以存换算的创新理念大幅度减少算力开销，提升了推理吞吐量。
本次开源将采用分阶段的方式，逐步开源高性能 KVCache 多级缓存 Mooncake Store 的实现，同时针对各类推理引擎和底层存储 / 传输资源进行兼容。其中传输引擎 Transfer Engine 部分现在已经在 GitHub 全球开源。
Mooncake 开源项目的最终目标是，为大模型时代打造一种新型高性能内存语义存储的标准接口，并提供参考实现方案。
文明上网，理性发言，共同做网络文明传播者