国泰金控采用NVIDIA NeMo平台为台湾打造金融代理

国泰金控2024年市场推出「国泰生成式AI技术发展框架GAIA」，更宣布以AI即服务（AI as a service； AIaaS）策略，全面提升集团在数码、数据、技术转型的效益，发展多元AI智能应用。

此举旨在透过导入多元AI解决方案，加速集团在数码、数据与科技领域的转型进程。作为这项策略蓝图的一环，国泰金控与NVIDIA合作，共同研究如何运用NVIDIA NeMo在符合法规与商业需求的前提下，于本地端安全部署大型语言模型（LLM），以契合台湾的监管环境与市场需求。

这项成果日前在NVIDIA GTC Taipei发表，显示大型语言模型在处理专业金融知识方面的可行性，为区域内具规模、特定领域的AI应用奠定基础。同时提出在台湾金融业导入AI智能代理的发展蓝图，凸显国泰在技术领域的领导地位与对创新的承诺。

国泰金控副总经理暨国泰世华银行数据长梁明乔表示，运用台湾本地金融授信知识、法规文献及实务案例等作为训练语料，在模型上利用NVIDIA NeMo架构进行预训练、微调等技术手法，藉NVIDIA的加速运算完成70至80亿参数量的大型语言模型训练。

透过知识蒸馏与NVIDIA NeMo Curator架构，增训练数据达4至5倍，大幅缩短数据准备时间，亦辅以NVIDIA TensorRT架构加速模型评估流程。成果显示，此模型不仅能精准回应进阶金融问答，亦具备通过进阶授信人员证照考试能力，展现AI在金融领域的应用潜力。

随着全球AI技术快速演进，AI Agent正成为新一代人工智能的发展趋势。相较传统具对话功能的工具型AI，AI Agent具备环境传感、记忆与自主规划能力，能根据情境变化主动推论、规划并执行任务，象徵AI由「回应式工具」正式迈入「主动型代理」的新阶段。

在金融场域中，AI Agent的应用潜力无穷，惟目前市面上多数属通用大型语言模型，对于台湾在地金融知识、专业术语及产业实务掌握仍不足，难以准确回应台湾市场金融使用者需求。

此次国泰金控运用NVIDIA加速运算的优势，充分展现金融机构如何结合专有与产业特定数据，进一步提升大型语言模型的应用效能。

AI Agent于金融场景的应用具深远潜力，目前多数大型语言模型仍属于通用型，缺乏深入理解台湾金融产业特定需求的能力，因此难以完全满足本地机构与使用者的精细要求。

国泰金控使用NVIDIA加速运算平台的成果，展示了金融机构如何结合专有和产业特定数据以超越基础大型语言模型。梁明乔强调，国泰金控将持续与NVIDIA合作，推进具备更广泛金融知识与实务应用能力的领域专属大型语言模型。

展望未来，国泰金控将持续强化AI Agent的适应性推论、复杂决策辅助与情境感知任务执行等能力，涵盖从交易处理、服务自动化到智能信息撷取等多元应用，盼开启以AI驱动的智能金融创新服务新时代。