Counterpoint表示，传统 DRAM 在频宽与延迟方面的限制，使其逐渐难以应对生成式 AI 的需求。而高频宽记忆体（HBM），透过矽穿孔技术（Through-Silicon Via, TSV）堆叠 DRAM 的设计，不仅大幅提升运算效率，更成为高效能运算领域的技术突破。3D-IC 和 CoWoS 等先进封装技术，将广泛应用于智慧型手机和个人电脑等领域。这些技术在降低延迟与能耗的同时，能有效控制成本与体积，特别适合空间与资源有限的智慧型手机市场。
Counterpoint认为，尽管目前无法准确预测 2030 年生成式 AI 模型的主流类型与数量，持续推动支援架构的进步与生态系统的建设，将是应对未来变化的核心策略。生成式 AI 模型（如大型语言模型 LLM、大型视觉模型 LVM 等）对记忆体的需求涵盖训练与推理两大应用场景。此外，训练过程中需要高频宽记忆体以处理庞大数据，高频宽记忆体（HBM）因其层叠设计与高速传输能力，成为首选解决方案。
推理过程则需要低延迟记忆体以支撑即时决策。DRAM 虽然目前在成本与性能之间达到平衡，但随著 AI 模型日益复杂，先进封装技术（如 3D-IC 和 CoWoS）正被采用，以提升速度和频宽，并加强记忆体与处理器的整合。HBM 凭借其层叠设计提供远高于传统 DRAM 的频宽，但高成本仍是一项挑战。未来，透过缩小 DRAM 制程节点并增加层叠数量，HBM 的容量将进一步提升，以满足生成式 AI 和深度学习对高效能计算的需求。
Counterpoint分析，记忆体处理器（Processor In Memory, PIM）技术将数据处理直接整合至记忆体层，有效消除处理器与记忆体之间的瓶颈，显著提升 AI 应用对高频宽和低延迟的性能需求。生成式 AI 的快速发展对记忆体技术提出全新要求。从先进封装到处理器记忆体融合，记忆体解决方案将在推动生成式 AI 技术进步中扮演重要角色。
展望未来，到 2027 年，随著半导体制程进入 2nm 以下，智慧型手机等移动装置预计将更多地采用先进记忆体技术，全方位支撑生成式 AI 的应用需求。
點擊閱讀下一則新聞
