AMD表示,ROCm 6.3的亮点包括: SGLang工具,专为AMD Instinct GPU上的大型语言模型(LLM)和视觉语言模型(VLM)推论进行优化,推论吞吐量提升高达6倍;其次,进阶Transformer最佳化,引入FlashAttention-2,将Transformer模型的训练与推论效率提高多达3倍,缩短企业AI产品上市时间。此外,AMD推出Fortran编译器简化传统HPC应用的GPU加速,具备反向相容性与直观整合功能,降低编码修改需求。
ROCm 6.3还推出多项功能,全面提升开发者的效能与工作效率,包括:多节点FFT功能,rocFFT模组新增多节点支援,针对油气勘探及科学研究等大规模数据集应用,提供更快速的运算与决策能力;此外,增强电脑视觉库,新增AV1和rocJPEG等功能,协助开发者为影片分析、自主系统等多元场景建构先进AI解决方案,提升媒体娱乐与工业应用效益。AMD强调,ROCm 6.3将以更卓越的效能与多元功能,为生成式AI和高效能运算领域注入新动能,满足企业日益复杂的需求。关于ROCm 6.3更多细节,连结在此。
點擊閱讀下一則新聞
季辛格又要沮丧了!美政府砍英特尔补助至79亿美元 盘前股价跌3%