高树国表示，接下来真正会让台湾在AI趋势站到好的位置，其实是在商用市场应用，古人说，「吃饱穿暖了，才会顾面子问题。」西方则是说「马斯洛需求理论」。因为对企业与消费者来说，AI在消费市场是「锦上添花」，有AI更好，没有AI不影响；AI在商用市场是「雪中送炭」的炭，企业没有AI而被竞争对手比下去，问题就大了。
高树国指出，如果要给政府建议，会希望政府确认企业AI应用的Killer Application，并且整合相关资源来做运用，如此一来，不只是软体业者可以得利，相关硬体制造商也会获利，进而创造双赢局面。
高树国也举例，2009年智慧型手机的推出，只有取代录音笔、相机、MP3随身听之类的体积比它小或一样大的产品，并无法取代PC，很多工作还是要在PC上面完成，这一点可以在COVID疫情期间的PC需求反弹获得证实。AI PC的出现，就像是Internet或WiFi推出的时候一样，会有更多AI新应用出来，让许多对AI有兴趣的人去用，一旦当出现杀手级的AI PC应用，需求就会明显上升。
台智云策略长李立国指出，生成式AI带动很多产业想像的空间，包括金融业、如何透过大语言模型自动化柜台前端业务，处理to B或To C业务，法金服务的金融分析。在医疗业部分，一个是透过传统的与音转文字（Speech to Text），可以在看诊的时候把医生说明转换成文字，并且透过大语言模型做摘要。摘要内容甚至可以分专科进行处理；长期来说，很多大量的医疗资料来说，透过生成式AI做Insight探讨与分析。
其实台湾最多在制造业导入生成式AI，包括透过大语言模型分析资料，下指令，甚至调度传统ML模型，也在生产的参数与品保预测获得不错的成果。针对繁中环境，台智云也将Llama3模型增加繁中训练进行fine tune，也在制造业做了不少专业领域的fine tune，包括70B的模型，或8B的模型，fine tune给企业内部使用，解决特定任务，去做生产制程预测。
李立国认为，从商用角度，AI对企业的影响会越来越大，GPU算力也会越来越便宜，所以企业是可以拥有AI企业脑，不仅懂得繁中资料，而且懂得企业内部垂直场域资料。所以对于企业来说，如果想要建立自己的AI企业脑，要回过头来看看企业所拥有的资料集，而且要是有用的资料，再加上盘点算力与可用模型，设定解决问题，透过外部资服团队给的建议，才有办法在企业内部导入AI，千万不能为了AI而AI。
李立国也提到，台智云已经帮不少企业在内部落地70B的模型，包括金融业、制造业、医疗业、IC设计、重工领域等等，而且获得不错效果。针对Meta最新推出的Llama 3.1，包括405B模型，以及更新版的70B模型与8B模型。由于405B模型对标GPT-4o，看起来是有机会可以落地。
耐能智慧董事长刘峻诚表示，由于训练模型与GPU伺服器成本因素，现阶段很多生成式AI应用都是在云端执行，也就是透过云端执行GPT（Generative Pre-trained Transformer，生成式预先训练转换器）运算，除了使用者会面临资料需要上传云端的资安问题外，也会碰到每次询问答案都不太一样的情况，这也造成企业导入AI所面临的问题。
由于台湾厂商最有机会的是To B的生成式AI应用，再加上耐能是NPU的开发者和商标持有人，具备NPU加速器、AI晶片、AI演算法等关键技术，因此有办法将 NPU 嵌入到设备中，让产品具备AI功能。
刘峻诚指出，由于台湾厂商最有机会的是To B的生成式AI应用，因此耐能推出基于NPU技术的地端AI软硬整合方案，内建Local RAG（检索增强生成，Retrieval-Augmented Generation，简称RAG）功能，轻量级大语言模型甚至可以直接部署，运算速度快且低耗能，可应用于各种企业 GPT 方案。也就是企业可以在地端训练/推论自己的资料，不需要上到云端，确保资料安全性，更不用担心模型被他人资料污染的问题。目前已经在教育业、制造业、医疗业、法律业有应用案例。
针对AI趋势，刘峻诚认为完整的系统应该是CPU+GPU+NPU，包括现在的AI PC、AI手机已经是这个架构，如果未来想要在低功耗的环境下导入生成式AI应用，NPU会是最佳帮手。
针对台湾AI人才的养成，刘峻诚是认为可以从两个层面来补足人才缺口，第一个是教育，耐能有推出AI教科书，有科大版、国中版甚至是国小版。第二个就是直接在产业里面导入AI技术，以耐能为例，很早就在IC设计当中的back end、routing导入AI技术，所以才能用12奈米制程量产晶片。
點擊閱讀下一則新聞
