群联aiDAPTIV+地端AI方案 助DIGITIMES打造产业情报平台确保永续安全

群联电子以固态硬盘技术 (aiDAPTIVCache) 扩充GPU中高昂的高带宽存储器（HBM），研发出平价的地端生成式AI解决方案aiDAPTIV+。群联电子

随着人工智能（AI）应用的迅速发展，企业在运算能力与数据安全方面面临重大挑战，试图寻找更低廉的成本获取算力，同时能保护企业机密数据。过往在公有云上的AI服务虽然能够提供强大的运算能力，但也带来高昂的运算成本、数据外泄风险、以及AI所有权的问题。

因此，越来越多企业开始转向地端边缘AI服务器或AI工作站，以降低成本、提高运算效率，更重要的是保护企业机敏数据。

NAND控制芯片大厂群联电子推出独家专利aiDAPTIV+生成式AI落地训练暨推论解决方案，协助DIGITIMES开发产业情报平台，提供会员迅速丰富的产业知识查询加值服务，同时确保核心研究报告不外流。

aiDAPTIV+生成式AI落地方案  不只模型微调更加速推论

群联电子以自有固态硬盘（SSD）技术（aiDAPTIVCache）扩充GPU中高昂的高带宽存储器（HBM），研发出平价的地端生成式AI解决方案。

群联电子CEO潘健成表示，「拥有自己专属的AI模型并非大型企业的专利，aiDAPTIV+可降低企业建置符合自身专用的地端AI模型的门槛，推动人人可用的民主式AI。」

aiDAPTIV+边缘地端AI解决方案能避免企业机密数据外流，透过在边缘地端直接使用企业自家数据为通用模型（Pre-trained AI model）做再训练与微调（Fine-tuning或Post-training），可提升更精准的推论能力，同时还能带来加速效果。

经过实证，透过aiDAPTIV+的技术，能提升大语言模型推论时间（Time-to-First-Token；TTFT）快14倍，或是推论回答的内容长度（Token-Length）多8倍的效能。

而群联电子也与台湾人工智能实验室合作，推出aiDAPTIV+结合FedGPT的软硬整合一体机解决方案。台湾人工智能实验室创始人杜奕瑾表示，aiDAPTIV+与FedGPT的结合，不仅减少企业担心数据外泄的风险，同时解决过去边缘AI最大的问题挑战，即在终端若要做到模型精进需要大量存储器支持，如今透过aiDAPTIV+技术，多模态、多专家的全参数模型训练都可以透过此一体机达成。

DIGITIMES导入aiDAPTIV+地端AI方案  优化会员体验

DIGITIMES近期与群联电子共同合作，透过aiDAPTIV+生成式AI落地方案打造产业情报平台，以提供会员知识检索服务。

DIGITIMES产业情报平台起初是仰赖公有云平台上的AI服务，但由于研究报告数据库攸关DIGITIMES核心营运，需确保其数据安全，加上随着数据量持续增加，运算成本亦大幅上升，因此DIGITIMES决定改采用aiDAPTIV+生成式AI落地方案，将AI运算能力直接部署于内部服务器机房。

DIGITIMES总经理苏育正表示，「很高兴能与群联电子合作，在群联团队的协助下，2天就完成概念验证，且透过专门优化微调后的AI模型，不仅加速推论时间，能为DIGITIMES会员提供更快速详实的服务，也有助于降低营运成本。」

DIGITIMES产业情报平台目前是运行在参数量达70B的大语言模型上，未来若随着数据量的增加需要扩充算力，也只需要将更多的群联aiDAPTIVCache加上去即可。aiDAPTIV+的成功导入经验，让DIGITIMES可以用比HBM低2000倍的成本，来训练自己的AI模型，未来能继续训练更多模型或放心地尝试各种AI创新专案，AI建置门槛降低也开启更多创新服务的可能。aiDAPTIV+帮助DIGITIMES在成本控制、数据安全、AI所有权与边缘AI创新应用之间取得最佳平衡。

随着AI应用的普及与企业导入需求增加，群联也深感市场上AI工程师供不应求，因此投入AI训练师的培力课程，从模型推理、效能优化到实作，手把手协助企业训练能导入AI的专业人才，并结合内迁aiDAPTIV+技术的AI训练电脑（AI Training PC；ATTPC）解决方案，让使用者用单一电脑就可训练AI模型并推理，真正达到人人可用AI建模，也为各产业带来更多创新应用与价值。