力丽科技携手戴尔、AMD与APMIC 助企业实现LLM加速落地
- 李佳玲／台北
-
近年随着AI与GenAI浪潮延烧，已被视为是强化企业营运管理的关键动能；但企业欲推动LLM落地、实现AI/Gen AI创新，过程中难免遇到诸多瓶颈。为此力丽科技携手戴尔科技集团（Dell Technologies）、AMD、亚太智能机器等夥伴，于日前举办「加速LLM落地．开创AI智能转型研讨会」，期望引领企业理解如何善用一站到位完整方案，无痛启动各种AI专案。
力丽科技系统服务事业部副总经理张荣城表示，自2024年底DeepSeek崛起，各行业都感到导入AI没有那麽困难；但其实在推动过程中，仍有亟待克服的关卡。故透过本次会议让大家理解AI组成原理、实用的模块化工具。
AMD台湾区资深业务协理黄伟乔指出，对于AI，过去大家关注算力资源的布建，系因算力稀缺昂贵、有一定的取得难度；因此要让LLM落地，第一步便是准备硬件，为此AMD针对大型加速器、服务器、AI PC等不同场景提供对应产品。第二和第三步依序是准备软件工具、执行应用开发，而AMD现正积极在台湾擘建AI应用生态系，与众多学校展开建教合作，期望让更多人懂得善用AMD ROCm软件程序，加速实践这些目标。
善用多元算力方案 加速AI转型节奏
AMD台湾区商用业务处资深技术顾问张欧佑豪，阐述AMD如何藉由全方位AI方案助攻企业智能转型，其中包含EPYC CPU、Instinct MI300X GPU及Ryzen AI PRO 300系列CPU等主轴。
EPYC服务器处理器凭藉软件兼容性、效能、稳定度、性价比等优势，现已获逾50% CSP业者采用，另外在企业市场的占有率亦逐年攀高。以2024年底发布的第五代产品而论，每颗最大核心数达192个，较第一代32核心成长6倍，CPU效能更激增近11倍。
值得一提，EPYC CPU对企业AI转型可望产生莫大助力。首先企业需有足够空间、电力、资金等条件，才能展开AI导入；而兼具卓越效能、卓越能源效率的EPYC CPU，即可协助企业以相对精省的投资满足这些要件。
其次EPYC可胜任中或小型推论工作。再者即便GPU服务器已成不少AI专案主角，但仍需搭配CPU执行数据的前／后处理，所以EPYC的存在，有助带动GPU产值大幅跃升；例如经过实测，8张NVIDIA H100搭配64核心EPYC CPU，可让Llama3.1-70B推论的吞吐效能提高20%，训练时亦可加速15%。
有关GPU部分，目前AMD的对应产品为第二代MI300X系列，发展迄今已缔造不俗成果。如微软于Azure Cloud提供搭载MI300X的虚拟机服务，且OpenAI也运用此资源展开GPT-4训练。如Meta的Llama 3.1-405B独家采用MI300X进行推广，主要看上MI300X拥有最大HBM存储器容量。
综观许多客户的反馈，便充分彰显MI300X价值所在，包括微软认为使用MI300X加速器，有望以更少服务器来服务更大模型；至于Meta、Databricks等其他客户，皆对ROCm软件程序多所赞誉，指其不论在软件兼容性或效能都有优异表现。
最后论及AI PC，AMD现有不同产品分类，一是用于移动工作站的Ryzen AI PRO Max系列，系将16个桌机等级的CPU核心、约莫4080独显等级的GPU、50个TOPS的NPU，三者一同封装在内，故运算效能甚佳，可让笔记本电脑执行70B模型推论。
此外在Mainstream部份，则以Ryzen AI PRO 300系列挑大梁，支持50到55个TOPS的NPU；最大亮点在于，让不适合装载独显的商用笔记本电脑，也有足够算力启动Copilot+ PC功能。
专业夥伴加速LLM落地 促使模型持续聪明进化
亚太智能机器（APMIC）AI生态圈策略夥伴总监蔡宜洁，以浅显白话表述方式，剖析Deepseek与其他推理模型对企业影响。她表示自2024年底DeepSeek-V3问世后，许多企业对它深感兴趣，纷纷探索运用之道；但她提醒，任何组织想要推动AI或LLM应用，皆会面临一些障碍，此时不妨援引专业夥伴助力，以利快速解决难题，推动专案进程。
站在APMIC角度，建议组织先以5W1H梳理GenAI导入框架，其中「When」尤其重要，旨在厘清「若现在不做，组织的竞争优势还可撑多久」。接着透过IT视角检视几大重点，包括如何采购最适合的服务器规格，现有数据中心的空间、电力、散热能否满足GPU服务器的高耗能需求，及如何布局具AI基础设施维运管理能力的监控机制。
后续则执行系统整合、模型微调与训练，并基于训练与微调的数据需求，寻求Data Owner团队或个人的协作；毕竟要确保AI专案成功，一定需要乾净数据。而APMIC擅长「让模型变聪明」，可藉由数据前处理、持续微调、指令微调、时效性数据更新（RAG）、持续搜集数据与训练模型、Prompt Templates制作、模型验证等流程服务，一步步化解所有难题，且引导组织有效验证、找出效果最佳的推理模型（例如Deepseek、QwenGemma等等）来实践AI/LLM应用。
建构自动化数据管道 源源不断供输AI黄金燃料
活动最后，由戴尔科技集团服务销售部服务业务协理刘芷伶发表压轴演说，分享如何藉由Data insight:获取AI黄金燃料。她首先介绍Dell的AI Factory方案架构，指出其会透过与客户讨论，厘清想要解决的业务痛点，借此定义Use Case，接着探讨需要什麽数据来解决问题。经过数据处理后，才协助规划对应的基础架构，包含端点设备，乃至运算，存储与数据保护产品。
此外Dell会结合强大生态夥伴，佐以富含AI实作辅导经验的Dell Consulting Service，确保客户的AI专案成功落地。
谈到Data Insight，主要取决于乾净的数据，确使模型产出结果具有可信度。此时须从一开始的需求解析到数据盘点、数据清整并产生数据洞察，再透过BI仪表板进行可视化分析，据此形成最佳决策，最终把彰显数据价值的AI成果导入至企业业务流程。
针对上述「数据来源->数据摄取->数据存储->数据分析／AI」等重要阶段，Dell将协助建立数据管道，使数据能自动从来源端流向存储端、模型及分析平台。此数据平台架构蕴含众多层次，需搭配诸多开源或商业工具，其中关键枢纽为基于DDAE查询引擎的Dell Data Lakehouse；系因企业数据散落于不同系统，有整合难度，须藉助Lakehouse执行格式统一化，并利用DDAE执行跨来源数据查询，使数据工作流更灵活，更易于调度，而非一味仰赖繁冗耗时的ETL作业。
总括来说，力丽科技期望串联Dell AI Factory一站式方案能量，辅以AMD适合不同场景的个别算力布局，再借重生态夥伴APMIC让模型变聪明的流程服务，协助企业打造顺畅有序的AI转型路径。
