聚焦电子行业AI的Memory时刻6:英伟达ICMS平台对SSD使用效果好。(2)随着用户数持续增长,KVCache 会外溢到更低层级的内存/存储,token 吞吐开始下滑;但 WEKA AMG 凭借更高容量、以及更强的网络与并发随机访问能力,能够更快完成上下文预取与回填,降低冷启动与阻塞,从而在大用户池阶段保持更高且更稳定的 token 吞吐,相较 HBM+DRAM 与HBM+DRAM+POSIX 方案,其吞吐提升最高可达 4 倍,验证 ICMS 可有效承接长期上下文并维持吞吐稳定性。AI 的 Memory 时刻,AI 记忆成为支撑上下文连续性、个性化与历史信息复用的底层能力,持续扩展模型能力边界,有望促进 AI Agent 等应用加速落地。
聚焦电子行业AI的Memory时刻6:英伟达ICMS平台对SSD使用效果好。(2)随着用户数持续增长,KVCache 会外溢到更低层级的内存/存储,token 吞吐开始下滑;但 WEKA AMG 凭借更高容量、以及更强的网络与并发随机访问能力,能够更快完成上下文预取与回填,降低冷启动与阻塞,从而在大用户池阶段保持更高且更稳定的 token 吞吐,相较 HBM+DRAM 与HBM+DRAM+POSIX 方案,其吞吐提升最高可达 4 倍,验证 ICMS 可有效承接长期上下文并维持吞吐稳定性。AI 的 Memory 时刻,AI 记忆成为支撑上下文连续性、个性化与历史信息复用的底层能力,持续扩展模型能力边界,有望促进 AI Agent 等应用加速落地。
聚焦电子行业AI的Memory时刻6:英伟达ICMS平台对SSD使用效果好。(2)随着用户数持续增长,KVCache 会外溢到更低层级的内存/存储,token 吞吐开始下滑;但 WEKA AMG 凭借更高容量、以及更强的网络与并发随机访问能力,能够更快完成上下文预取与回填,降低冷启动与阻塞,从而在大用户池阶段保持更高且更稳定的 token 吞吐,相较 HBM+DRAM 与HBM+DRAM+POSIX 方案,其吞吐提升最高可达 4 倍,验证 ICMS 可有效承接长期上下文并维持吞吐稳定性。AI 的 Memory 时刻,AI 记忆成为支撑上下文连续性、个性化与历史信息复用的底层能力,持续扩展模型能力边界,有望促进 AI Agent 等应用加速落地。核心数据:但 WEKA AMG 凭借更高容量、以及更强的网络与并发随机访问能力,能够更快完成上下文预取与回填,降低冷启动与阻塞,从而在大用户池阶段保持更高且更稳定的 token 吞吐,相较 HBM+DRAM 与HBM+DRAM+POSIX 方案,其吞吐提升最高可达 4 倍,验证 ICMS 可有效承接长期上下文并维持吞吐稳定性;(1)单个 token 所需存储空间:假设有 10 万个同时在线用户或 Agent 使用 Llama 3.1 405B,则单个 token 的存储空间为 504KB/token;在上述假设下,10 万用户的总存储需求约为 45PB,即若要在具备强对话历史能力的大上下文模型上稳定支持 10 万用户/Agent,所需上下文存储规模可达 PB 级。
本报告由广发证券发布,发布于 2026 年。
覆盖 2026 年,全文约 12。
本报告为付费报告,可在资料宝站内下单后获取完整内容。
重点分析了AI、电子等议题。