徐宏民
國立台灣大學資訊工程學系教授
現任國立台灣大學資訊工程學系教授,曾任富智捷(MobileDrive)技術長暨副總經理,推動ADAS及智慧座艙系統產品進入全球車用市場。紐約哥倫比亞大學電機博士,專精於機器學習、電腦視覺、自駕車、機器人等領域。為訊連科技研發團隊創始成員,慧景科技(thingnario)共同創辦人,NVIDIA AI Lab計畫主持人;曾任IBM華生研究中心客座研究員、美國微軟研究院客座研究員。習慣從學術及產業界的角度檢驗技術發展的機會,擔任多家科技公司AI策略顧問。
鑑往知來:Apps(行動網路)vs. Agents(大語言模型)
在前一文中,我們類比網際網路(Internet)以及現今大型語言模型(LLM)的發展軌跡,特別是網際網路的核心傳輸單位—封包(packet),LLM生成單位—語意單元(token),在基礎設施、商業模式發展上呈現出明顯相似性。透過回顧packet的發展路徑,我們試著描繪出token驅動的AI未來發展軌跡,並預判在產品形態、服務模式與產業價值鏈上的可能樣貌。另一可供借鏡的歷程,是應用程式(App)在行動網路時代所引爆的創新與變革。如今,在LLM/LVM多模態大模型推動下,一個以「Agent」為核心的應用生態正逐步成形。延續上文,我們嘗試從App的崛起歷程,看見代理(Agent)以及邊緣AI(Edge AI)未來的可能路徑。2007年開始,行動App實現即時互動與高速資料交換,行動用戶大量增加,源自於網路封包傳輸成本逐步下降,智慧型手機的運算效能與續航力的進展。App Store的出現更將過去分散、複雜的網頁互動模式,整合為圖形化、易於操作的應用程式介面,大幅降低使用門檻,使數位服務真正「行動化」、「普及化」。App 不再只是單一功能工具,更透過推播、定位、社群整合等特性,深度嵌入使用者生活。這也帶動「長尾效應」—不僅少數爆紅應用,而是無數利基型App滿足多元、個人化的需求。這場從網頁到App的轉變,不只是介面革新,更興起全新App驅動的生態系,翻轉整個數位服務的生產與分配模式,也同時快速推升行動裝置的需求(2017年達到高峰)。App Store 建構出一套雙邊市場機制,一端連結開發者創新、另一端連結全球使用者,使原本無法規模化的服務得以商品化、在地化與全球化。過去嶄露頭角的數位服務如Uber、LINE、Instagram皆倚賴App生態興起,而App的爆發也帶動晶片、感測器、模組、電池、記憶體等硬體需求,重塑行動裝置供應鏈結構,並促成新興品牌與 ODM/OEM 的崛起。Statista統計顯示,全球App下載量自2010年的60億次,成長至2023年的1,430億次,反映出App模式背後強大的規模經濟與網路效應。台灣廠商在這波行動化浪潮中,從晶圓代工、封裝測試到系統整合與 App 開發皆深度參與,建立完整供應鏈與生態網路。這段歷程不僅重塑行動產業結構,也為即將興起的AI代理(AI Agent)模式提供寶貴借鏡——當使用者介面再次從App進化為Agent,我們是否能搶先洞察使用需求、運算架構、標準制定與硬體整合的關鍵優勢?如果App是行動網路時代的使用介面,那麼由大模型LLM/LVM驅動的Agent,可能是 AI 時代的核心入口。Agent不僅理解自然語言(及各種感測訊號),還得具備任務規劃與執行能力,從單純對話升級為數位助理。透過多模態推理與工具鏈結,Agent的應用場景正快速擴展至自動化工作流程、專業諮詢、教育訓練與知識輔助等領域。未來極可能出現類似「Agent Store」的新型生態系,就如當年App Store一樣,匯集多樣化、可重組的智慧模組,滿足多樣性需求。這將加速硬體與軟體的分工整合,促進各種垂直應用場域(如工業、醫療、中小企業、消費者市場)中智慧代理的落地機會。隨著近來高效率推理模型的快速演進,以及LLM開源生態的蓬勃發展,更進一步推進這樣的可能性。同時,終端市場的實際需求也正在浮現,如中小企業的知識管理、自動化應用,以及工控領域中即時推理能力的渴望,也回應了市場的需要。終端裝置的硬體規格,也逐漸具備支撐Agent所需的AI算力與記憶體條件。隨著LLM開源社群快速演進,如13B等級模型已能在一般行動裝置上順利推理,token生成速度亦逐步接近應用需要,Edge AI的落地門檻正快速降低。根據預測,Edge AI晶片市場將自2023年的24億美元,成長至2033年的252億美元,年複合成長率高達26.5%。各大系統與晶片業者也已積極布局AI手機、車用SoC與AI PC平台。未來,Agent將可自然地嵌入手機、筆電、AR眼鏡、TWS耳機、機器人等多元終端裝置,成為新一代語言互動與任務導向操作的使用介面。當然,Agent技術的普及仍面臨諸多挑戰,除了使用者資料的授權與使用,日益增強的自主性也帶來安全、隱私、監管與倫理等層面的高度關注,技術本身的複雜度亦不容小覷。然而巧合的是,這些挑戰與機會的交織,恰如2007年行動網路時代初啟時的情境—從應用模式、生態系到硬體需求與供應鏈架構,皆醞釀著重塑的可能。Agent的發展,正釋出一種熟悉而微妙的訊號,預告另一波產業典範轉移的起點。
2025-05-16
鑑往知來:packet(網際網路)vs. token(大語言模型)
從資訊技術演進的歷程來看,過去數十年來網際網路(Internet)的核心傳輸單位—封包(packet),與現今AI時代的大型語言模型(LLM)生成單位—語意單元(token),在基礎設施、商業模式發展上呈現出明顯相似性。透過回顧packet的發展路徑,我們可以摸著石頭過河,描繪出token相關技術的潛在演進軌跡,並預判其在產品形態、服務模式與產業價值鏈上的可能樣貌。何謂封包(packet)?封包是網際網路資料傳輸的最小「訊息單位」。所有透過網路傳輸的訊息(不管是信件、語音、甚至影片串流)都被拆解為多個封包,每個封包內含傳輸資訊等重要資訊,確保資料在龐大複雜的網際網路中,正確無誤地抵達目的地。過去數十年,網路基礎設施的投資便是圍繞封包品質的確保(如錯誤重傳機制)、提升傳輸效率(如頻寬升級、資料壓縮),以及整體系統吞吐量(throughput)的擴展而展開。正是如此,過去三十年來,我們才有日益豐富的網路服務,如訊息溝通、電子商務、社群媒體、影音娛樂等。而在LLM中,token則成為關鍵「智能單位」。語言模型在處理自然語言時,將一段文字訊息拆解成多個token,每個token代表不同的語意片段,經由模型運算後再組合(生成)為有意義的內容。與封包相似,token的數量和生成效率直接影響運算成本以及使用者體驗。例如,過去3年AI運算基礎建設投資的大幅增長,就是為了確保LLM模型的能力(token品質)以及服務品質(token生成效率),甚至近期邊緣裝置上token處理能力的提升,也正逐漸顛覆AI應用的場域邊界,向更多元、即時且全新的場域擴張。單看過去三十幾年網際網路packet的發展,我們發現token也在走類似的進程。不管是基礎建設,或是3個技術優化方向,包括「品質保障」、「效率提升」,以及整體「系統吞吐量的擴展」。品質保障:網路早期透過TCP/IP協定來確保封包傳輸的正確性,而LLM則透過scaling law加大模型、使用更多訓練資料,甚至後來以思維鏈(Chain-of-Thought;CoT)為基礎的推理技術,確保生成的token內容正確且提供高品質推理服務。效率提升:隨著頻寬提升和資料壓縮等技術的成熟,封包傳輸成本大幅降低;同樣地,token處理成本亦透過模型蒸餾(distillation)、量化(quantization,使用較少位元表示數值)、KV Cache等張量(tensor)降維壓縮,或是使用更有效率的架構(如MoE)來降低運算量,甚至有機會使大模型有效地運行於終端裝置。系統吞吐量擴展:過去網際網路透過光纖技術和提升邊緣設備(交換器、路由器等)大幅提升資料傳輸量,或是使用內容傳遞網路(CDN)等技術提高封包全局效益;在LLM領域,資料中心的垂直擴充(scale-up,提高算力、記憶體等提昇單一伺服器效能)與水平擴充(scale-out,高速網路連結、排程提升分散式系統效能)、或是採用雲端—邊緣混合架構(Cloud-Edge-Hybrid)等,實現整體系統更高的token處理吞吐量,滿足未來多元且即時的應用需求。循著過去網際網路發展的主軸,我們可以預見AI技術即將引爆的下一波變革—智能「去中心化」(普及化),低成本token開始在終端設備上運行。情境將如同2007年行動網路興起之際,packet進入行動裝置,催生智慧型手機,也推動Uber、LINE等全新服務的誕生,引爆長達十數年的行動生態系蓬勃發展。網際網路數十年來最佳化packet傳輸技術,帶動網路服務的快速普及,特別在行動網路時代,我們見證大量新應用與商業模式的誕生。這段歷程也為觀察生成式AI提供重要參照—當前token的品質提升與單位成本下降,正如當年packet優化所引發的技術擴張與資本投入,預示著新一波智能設備與創新應用的興起。隨著token處理成本持續降低,AI有望成為如網路般的關鍵基礎設施,深刻重塑產業結構。近來多個開放LLM模型在效能與成本上的突破,更強化LLM商品化與大規模應用的趨勢。未來如何因應?過去的歷史已經顯明,在技術變革時,應以開放的態度,極力接近實際場域,理解技術應用發展方向,甚至與合作夥伴共同設計開發,參與組建生態系。更積極的作法,是投資(國際)學研單位,甚至新創團隊,理解新的場域應用,以及技術演進。鑑往知來,回顧packet的發展經驗(許多企業經營層也曾親歷其境),將使我們更有效地掌握token所帶來的顛覆性機遇。對資訊電子產業的投資者與決策者而言,更是攸關未來競爭優勢的關鍵課題。每一次產業典範的轉移,總會帶來新的硬體、服務、企業、生態系,甚至整個產業格局的興起與殞落。當我們已清楚AI大模型即將重塑未來十年的產業樣貌,或許網際(行動)網路曾走過的歷程,正可作為產業AI戰略規劃的重要借鏡。
2025-04-23
訂閱椽經閣電子報
 
新文章上刊時發送,提供您DIGITIMES專家及顧問群的最新觀點、見解。
智慧應用 影音