电子行业“AI的裂变时刻”系列报告9：对国产推理算力芯片厂商的启示，假如L40S使用HBM显存？-240423-广发证券

2024-04半导体芯片16📊 任思儒并非香港证券及期货免费

📄 文件全名: 《电子行业“AI的裂变时刻”系列报告9：对国产推理算力芯片厂商的启示，假如L40S使用HBM显存？-240423-广发证券-18页.pdf》
🎯 适合读者: 战略规划行业研究员
📊 核心数据: 8TB/s 带宽 HBM，每次模型读取所需时间从 39ms 减少至 4ms，Decode 过程 L40S 算力利用率从仅约 1%提
但基于大语言模型的 AIGC 行业需要什么
大模型支持上下文长度的持续、快速提升是行业发展
因此，超长上下文的发展趋势也会带动对高带宽、大容量 HBM 显存方案的需求。
表 1：NVIDIA L40S 主要参数 ................................................................................ 5
🏷️ 核心议题: #芯片

📦 本报告属于月份合集

购买后将获得「2024 年 4 月报告合集」 · 共 3564 份报告打包下载链接

点击获取云盘下载链接

报告摘要

AIGC 大时代序幕开启，国产推理算力芯片厂商迎来历史机遇；但基于大语言模型的 AIGC 行业需要什么样的推理算力芯片、如何设计更有性价比的推理产品？

📋 核心要点(部分)

1 / 18
2024 年4 月23 日
分析师：王亮分析师：耿正分析师：任思儒
》中基于理论推算框架分析发现，显存性能对于 GPU 推理性能影响较大。
我们基于理论推算框架，分析配有不同规格
的明显趋势之一
因此，超长上下文的发展趋势也会带动对高带宽、大容量 HBM 显存方案的需求。
3 / 18

❓ 常见问题

《电子行业“AI的裂变时刻”系列报告9：对国产推理算力芯片厂商的启示，假如L40S使用HBM显存？-240423-广发证券》主要包含哪些内容?

AIGC 大时代序幕开启，国产推理算力芯片厂商迎来历史机遇；但基于大语言模型的 AIGC 行业需要什么样的推理算力芯片、如何设计更有性价比的推理产品？核心数据:8TB/s 带宽 HBM，每次模型读取所需时间从 39ms 减少至 4ms，Decode 过程 L40S 算力利用率从仅约 1%提;但基于大语言模型的 AIGC 行业需要什么;大模型支持上下文长度的持续、快速提升是行业发展。

这份报告由哪家机构发布?

本报告由任思儒并非香港证券及期货发布,发布于 2024 年。

这份报告覆盖哪一年、篇幅多大?

覆盖 2024 年,全文约 16。

这份报告是免费的吗?如何获取?

本报告免费查阅,登录资料宝后即可在线获取完整内容。

这份报告适合哪些读者?

适合战略规划、行业研究员等读者参考。

报告涉及哪些关键议题?

重点分析了芯片等议题。