QooryBeta
← News

📰日经亚洲报道,Penguin Solutions(股票代码 $PENG)将于今年第四季度在日本推出 MemoryAI KV 缓存服务器,为当地 AI 相关公司提供一套成本更低的替代方案,无需额外采购英伟达 GPU 服务器。 🧠通过将大语言模型短期存储数据放置在 GPU 外部进行存放,每 GB 内存对应的使用成本能够降低至新增 GPU 对应成本的七分之一至三分之一。 🇯🇵日本东棉电子与 Tomorrow Net 两家公司,也正在测试搭载 Rebellions NPU 芯片的 AI 推理服务器,该方案主打低功耗特性。

@dmjk001·Jul 16, 2026·2 sources·neutral
Read article
AI Summary

Penguin Solutions plans to launch MemoryAI KV cache servers in Japan in Q4, reducing AI inference costs by offloading LLM short-term memory from GPUs.

Related Projects
All Sources