高树国表示,接下来真正会让台湾在AI趋势站到好的位置,其实是在商用市场应用,古人说,「吃饱穿暖了,才会顾面子问题。」西方则是说「马斯洛需求理论」。因为对企业与消费者来说,AI在消费市场是「锦上添花」,有AI更好,没有AI不影响;AI在商用市场是「雪中送炭」的炭,企业没有AI而被竞争对手比下去,问题就大了。
高树国指出,如果要给政府建议,会希望政府确认企业AI应用的Killer Application,并且整合相关资源来做运用,如此一来,不只是软体业者可以得利,相关硬体制造商也会获利,进而创造双赢局面。
高树国也举例,2009年智慧型手机的推出,只有取代录音笔、相机、MP3随身听之类的体积比它小或一样大的产品,并无法取代PC,很多工作还是要在PC上面完成,这一点可以在COVID疫情期间的PC需求反弹获得证实。AI PC的出现,就像是Internet或WiFi推出的时候一样,会有更多AI新应用出来,让许多对AI有兴趣的人去用,一旦当出现杀手级的AI PC应用,需求就会明显上升。
![台智云策略长李立国。TCA提供](https://static-cdn.nextapple.tw/prod/2024-07/826A1AD18F7BF78E605EC2EDC0CB73D3/07d620f26096fcfa76232d412dc19a17_1280.webp)
台智云策略长李立国指出,生成式AI带动很多产业想像的空间,包括金融业、如何透过大语言模型自动化柜台前端业务,处理to B或To C业务,法金服务的金融分析。在医疗业部分,一个是透过传统的与音转文字(Speech to Text),可以在看诊的时候把医生说明转换成文字,并且透过大语言模型做摘要。摘要内容甚至可以分专科进行处理;长期来说,很多大量的医疗资料来说,透过生成式AI做Insight探讨与分析。
其实台湾最多在制造业导入生成式AI,包括透过大语言模型分析资料,下指令,甚至调度传统ML模型,也在生产的参数与品保预测获得不错的成果。针对繁中环境,台智云也将Llama3模型增加繁中训练进行fine tune,也在制造业做了不少专业领域的fine tune,包括70B的模型,或8B的模型,fine tune给企业内部使用,解决特定任务,去做生产制程预测。
李立国认为,从商用角度,AI对企业的影响会越来越大,GPU算力也会越来越便宜,所以企业是可以拥有AI企业脑,不仅懂得繁中资料,而且懂得企业内部垂直场域资料。所以对于企业来说,如果想要建立自己的AI企业脑,要回过头来看看企业所拥有的资料集,而且要是有用的资料,再加上盘点算力与可用模型,设定解决问题,透过外部资服团队给的建议,才有办法在企业内部导入AI,千万不能为了AI而AI。
李立国也提到,台智云已经帮不少企业在内部落地70B的模型,包括金融业、制造业、医疗业、IC设计、重工领域等等,而且获得不错效果。针对Meta最新推出的Llama 3.1,包括405B模型,以及更新版的70B模型与8B模型。由于405B模型对标GPT-4o,看起来是有机会可以落地。
![耐能智慧董事长刘峻诚。TCA提供](https://static-cdn.nextapple.tw/prod/2024-07/826A1AD18F7BF78E605EC2EDC0CB73D3/5efe0763b1fe8cf751420efd20049d7d_1280.webp)
耐能智慧董事长刘峻诚表示,由于训练模型与GPU伺服器成本因素,现阶段很多生成式AI应用都是在云端执行,也就是透过云端执行GPT(Generative Pre-trained Transformer,生成式预先训练转换器)运算,除了使用者会面临资料需要上传云端的资安问题外,也会碰到每次询问答案都不太一样的情况,这也造成企业导入AI所面临的问题。
由于台湾厂商最有机会的是To B的生成式AI应用,再加上耐能是NPU的开发者和商标持有人,具备NPU加速器、AI晶片、AI演算法等关键技术,因此有办法将 NPU 嵌入到设备中,让产品具备AI功能。
刘峻诚指出,由于台湾厂商最有机会的是To B的生成式AI应用,因此耐能推出基于NPU技术的地端AI软硬整合方案,内建Local RAG(检索增强生成,Retrieval-Augmented Generation,简称RAG)功能,轻量级大语言模型甚至可以直接部署,运算速度快且低耗能,可应用于各种企业 GPT 方案。也就是企业可以在地端训练/推论自己的资料,不需要上到云端,确保资料安全性,更不用担心模型被他人资料污染的问题。目前已经在教育业、制造业、医疗业、法律业有应用案例。
针对AI趋势,刘峻诚认为完整的系统应该是CPU+GPU+NPU,包括现在的AI PC、AI手机已经是这个架构,如果未来想要在低功耗的环境下导入生成式AI应用,NPU会是最佳帮手。
针对台湾AI人才的养成,刘峻诚是认为可以从两个层面来补足人才缺口,第一个是教育,耐能有推出AI教科书,有科大版、国中版甚至是国小版。第二个就是直接在产业里面导入AI技术,以耐能为例,很早就在IC设计当中的back end、routing导入AI技术,所以才能用12奈米制程量产晶片。
![點擊閱讀下一則新聞](https://static.nextapple.tw/web/layout/img/clicktonext.png)