DIGITIMES
徐宏民
國立台灣大學資訊工程學系教授
國立台灣大學資訊工程學系教授,曾任鴻海集團與Stellantis合資車用科技公司技術長暨副總經理,推動ADAS及智慧座艙系統產品進入全球車用市場。紐約哥倫比亞大學電機博士,專精於機器學習、電腦視覺、自駕車、機器人等領域。為訊連科技研發團隊創始成員,慧景科技(thingnario)共同創辦人,NVIDIA AI Lab計畫主持人;曾任IBM華生研究中心及美國微軟研究院客座研究員。擔任多家科技公司AI策略顧問,習慣從學術與產業雙重視角檢驗技術發展的機會與挑戰。
如果Physical AI遭受攻擊呢?(上)入侵
下一代實體AI(Physical AI)的全新樣貌將會是「自主性」(autonomy):機器人從柵欄裡、從預先規劃好的路線上,走進開放場域,接到一個指令,自主完成指定任務。能力增加、自主性提高,一旦出錯,影響也跟著變大。數位AI出錯,常先表現在文字、程式或資訊上,也比較容易撤回或修正;但機器人出錯,可能直接在實體世界造成不可逆的損害。要避免這類損害,機器人「安全」可以先從3個層面看。功能安全(safety)處理系統本身出錯時不傷人,專欄先前談過。另外2層是資安(cybersecurity)與對抗式攻擊(adversarial attack),處理的是有人刻意讓機器人出錯。這篇先談資安,從汽車產業經歷過的說起。延伸報導專家講堂:VLA機器人的「安全」該如何設計?2015年,2位資安研究員透過車載娛樂系統的行動網路連線,遠端讓一輛行駛中的休旅車失去動力,也能在低速時讓煞車失靈,車廠隨後召回約140萬輛車更新軟體。資料被偷已經很麻煩,車子被掌控更可怕。想像同一款車有幾千台同時被遠端控制,就像網路上的殭屍網路(botnet),只是被操控的是路上的車。所以車子已有嚴格的資安要求。2024年7月起,歐盟所有新車都納入規範,車廠得建立符合UN R155的資安管理系統,相關車型才能取得型式認證。美國更多了地緣政治的考量。2025年1月定案的規定,限制與中國、俄羅斯有充分關聯的特定車聯網硬體、軟體與自動駕駛軟體進入美國市場;軟體從2027年式車款起適用,硬體從2030年式起。範圍包括車載通訊模組(TCU)、藍牙、行動網路、衛星與Wi-Fi等讓車輛與外界連線的元件。機器人呢?機器人已經出現類似的漏洞。2025年3月,兩位研究人員發現一家機器人大廠的一款機器狗,出廠就裝了第三方的遠端連線服務。透過這個服務的網路介面,任何人都查得到哪些機器狗正在線上,不必登入就能看到它的即時畫面,預設密碼沒改的,還能被完全控制。半年後,同一批研究人員又公開該廠的藍牙漏洞。攻擊者可以取得最高權限,被入侵的機器人還能自動感染藍牙範圍內的其他同廠機器人。這幾款機型共用同一套有漏洞的藍牙設定機制,一個漏洞因此能傳遍整批。資料被偷的風險也一樣。德國一家應用研究機構購入市售人形機器人做第三方測試,發現它持續把資料傳回廠商伺服器,說明文件裡沒有提到。另有資安公司觀察到遙測資料定時傳往境外。問題也可能出在雲端。2026年2月,一位工程師原本只是想用遊戲手把操控自己買的掃地機器人,借助AI程式助理解析它與雲端的通訊,卻意外取得24個國家、近7,000台同款機器的存取權,可以看到即時畫面、聽到麥克風聲音,也能取得屋內平面圖。廠商隨後更新修補。這次出問題的是雲端伺服器的權限控管,一個漏洞就可能同時暴露整批產品。車子的地緣政治考量,已經延伸到機器人。2025年12月,美國聯邦通訊委員會(FCC)把外國生產的無人機與關鍵零組件列入限制清單,新機種無法取得進入美國市場所需的認證。2026年7月,範圍擴大到機器人。具備感測器、網路連線,以及自主或遠端控制軟體的移動機器人,包括自主移動機器人(AMR)、人形與四足機器人,連掃地機器人也算在內。外國生產的新機種原則上都受到限制,軟體的定義還涵蓋AI模型權重。固定式的工業機械手臂不在範圍內,既有的認證也不會因此失效。廠商若要申請例外,得揭露股權、供應鏈與資安等資訊,並提出在美國建立或擴大生產的時程。車子在加上產地限制之前,已經有資安認證。機器人目前還沒有像車子那樣專門的強制認證,但相關規範正陸續上路。歐盟的網路韌性法案2027年底全面推行,連網機器人得符合資安要求才能進入歐盟市場,新版機械安全法規也把防止遭惡意竄改列進基本安全要求。業界也已有行動,一家車用資安公司已把產品延伸到機器人,從部署前的攻擊驗證做到上線後的監控。汽車產業過去的資安經驗可以借用。上市前的資安認證、出廠後的漏洞通報、軟體更新的管理、供應鏈來源的審查,車廠花了將近10年建立起來。一次軟體更新會同時送到大量車輛上,機器人用同一套韌體、同一個更新管道,情況也一樣。機器人走進開放場域的速度可能比車子更快,這些準備在大量部署之前完成,會比事故之後再補容易得多。不過,這些做法防的都是有人入侵系統。如果攻擊者根本不必入侵呢?有人惡意誤導機器人呢?我們下篇來談。
2026-11-23
CoRL 2026觀察:自主機器人何時能像無人車一樣上工?
筆者在11月初到美國德州Austin參加CoRL 2026(機器人學習會議)。市中心的街上,3家業者的無人計程車在擁擠的車流裡運送客人,如排班司機一樣爭先恐後,似乎已經是市區的日常。新一代的自主機器人,什麼時候也能這樣上工?在《Autonomy vs. Automation:自主機器人與自動化》提過,無人計程車花了十多年,人為介入方才降低到可商業化的程度。業者看的是一個很實際的指標,車子跑多遠才需要人接手一次。機器人也適用同樣的自主性關鍵指標,多久需要人為介入一次,比展示影片的成功率更有參考價值。許多研究人員帶著這個問題走進會場。CoRL 2026年規模明顯擴大,現場與會者近5,000人,我2019年在日本大阪第一次參加時,約只有300人。蘋果(Apple)、Meta 2026年首次出現在這個機器人會議,幾家美系、日系車廠也來了。大模型能不能讓機器人降低人為介入,是2026年會場最熱門的話題。這幾年,不少研究人員試著把大模型帶進機器人研究,引爆討論的則是9月初發布的前瞻模型GPT-6 Astra。一位MIT教授在主題演講提到,開學第一天就有學生問他,OpenAI是否已經解決機器人問題?NVIDIA的機器人研究主管也談到Astra帶給研究者的震撼。專欄在《通用模型會吃掉Physical AI嗎?》談過,Astra直接接上機器人評測,部分成績已超過專用的機器人模型。最近Anthropic的模型也有類似能力,筆者相信接下來的開放模型,應該也會逐漸納入機器人相關的能力。會場裡不少人認為,未來3到5年的技術發展,可能會讓人跌破眼鏡。不過,那篇文章也提到,這些評測多半沒有考量模型思考時間。CoRL一場主題演講,提出更精確的評估。同一個模型可以只在任務開始前寫一次程式全程控制,也可以每隔幾秒就決定一次手往哪裡移,或是只負責挑下一個技能,交給專用的機器人模型去做。在模擬環境裡,若讓時間停下來等模型想完,幾種用法的成功率都還不錯。但時間若照常走,讓模型每隔幾秒決定一次動作,成功率就從6成掉到1成多,因為模型還在想,現場的狀況已經變了。機器人的世界,無法等大模型想完整。講者有大致的主張:大模型決定「做什麼」,專用的機器人模型決定「怎麼動」。包括NVIDIA在內,不少團隊讓大模型寫程式擔任監督者,挑選技能、設定參數,專用的機器人模型則成了技能庫裡的一個函式。大模型也開始幫忙準備訓練資料,例如替人類第一人稱影片標註視線,教靈巧手鎖螺絲。機器人的自主性提高,自己做決定,又和人在同一個空間工作,「安全」也更受重視。一項研究發現,目前表現最好的機器人模型完成的任務中,有近一半的過程並不安全。在這種架構裡,機器人推東西要用多大的力、最多不能超過多少,都是大模型寫在程式裡的一個數字,大模型也可能寫錯。較穩當的作法,可能是把這個上限鎖在大模型改不到的底層控制,就像家裡電路的保險絲,不管上面的程式怎麼寫,力道一超過就會被擋下來。底層也正是大模型目前較弱的地方。一般把機器人控制分成三大系統,由慢到快依序是系統二、系統一與系統零。系統二以秒到分鐘計,處理任務與語言。系統一每秒數十次,處理手與物件的相對移動。最底層的系統零每秒數百次,處理接觸與力,例如杯子正從手中滑落,工廠組裝線大多落在這一層。最近一份研究顯示,在部分評測中,Astra的整體表現超過專用的機器人模型,但在需要精細、準確動作的任務上,反而明顯落後。會議中「靈巧手」也是受矚目的技術。約30場工作坊中,有5場與靈巧手、從人類影片學習有關。一家靈巧手新創以每秒約100次的頻率,用觸覺做即時的接觸修正。還有團隊讓靈巧手先在模擬環境裡「玩」出能力,再做零件插入、鎖螺絲這類精密裝配。最能呈現工業應用的,是前面提到的MIT教授創立的新創。他們在日系車廠的產線上,用輪式、雙臂的人形機器人自主搬運凸輪軸、料箱與鑄件。他的信念是,場域的資料高過一切,基礎模型愈強,場域的資料愈有價值。他打了個比方,即使是博士等級的操作者,到工廠也需要在職訓練。他也很坦白,目前的自主技術還做不到完全不需要人為介入。客戶要求高稼動率、低不良率、零安全事故,不能拖慢產線。他把人為介入比作精實生產裡的「安燈」(Andon),作業員發現異常就拉繩求援,有人來處理。但從他公開的數字,看得到資料飛輪的價值。隨著場域資料回流、模型一代代升級,人為介入之間的間隔,從二十幾秒拉長到幾分鐘。他們自家預訓練規模愈大的模型,部署後間隔拉長得愈多。他也提醒,工廠要求這麼高,業者容易把任務範圍縮小,任務一旦飽和,資料飛輪也就失效了。回到Austin街頭。那些無人計程車能規模化上線服務,就是人為介入間隔拉長的結果。2026年在CoRL,工廠裡的機器人也開始畫出這條曲線。自主機器人多快能像無人車一樣上工,可能要看大模型如何走進實體世界、接觸與控制等實體技術的精進,以及場域資料能把這條曲線拉多長。
2026-11-17
通用模型會吃掉Physical AI嗎?
2026年9月初GPT-6 Astra發表後,研究社群很快就把它接上實體AI(Physical AI)機器人評測,部分成績還超過使用大量機器人資料訓練出來的專用模型。這代表什麼?通用模型會吃掉Physical AI嗎?Astra只是其中一個例子。依現在的公開職缺,2家美國大模型公司都在招募機器人工程師,另一家大模型公司也公開測試通用模型控制機器人的可能方式。這些公司看來都想從數位世界走進實體世界。Physical AI這幾年的進展,本來就受惠於大型語言模型。視覺語言動作模型(VLA)裡負責看懂影像與聽懂指令的視覺語言模型,不少是以小型化的開源語言模型為基礎發展出來的。用大型語言模型幫忙訓練機器人,在研究圈已經是常態。我們這一年的兩個研究也是如此:一個讓大型語言模型把長時序任務拆成階段,再由視覺語言模型判斷進度,當成強化學習的獎勵;另一個借用視覺語言模型的常識,判斷移動機器人該停在哪裡才拿得到東西。這幾個月,通用模型能接手的環節更多了,大致有3種用法:第一類型為直接當機器人的策略,輸出夾爪(末端執行器)要移動到的位置,再換算成關節角度。一份多所大學合作的評測,在數十個模擬任務上讓Astra零樣本上場(不給額外訓練或資訊),2026年9月評測時,成績高於40個公開機器人策略。同樣的接法退回前一代模型,成功率不到1%,可見差別主要來自模型本身的能力精進。第二類型為與專用VLA協作。一家中國機器人公司在同一套模擬基準上測了一組雙臂任務,Astra與專用VLA單獨上場,成功率都只有1、2成。改由專用VLA執行、Astra必要時修正,成功率提高到近5成,Astra只在少數幾步出手修正。兩者擅長的看來剛好互補。需要語意理解、但動作本身簡單的任務,Astra表現較好;需要精準協調或複雜(機械)動作的,專用VLA比較強。第三類型為當機器人研究員,有機會在Blender或模擬器裡建3D場景、寫獎勵函數、跑強化學習,失敗了自己除錯、重來。已有研究讓多個通用模型擔任程式代理人,在模擬器裡完成組裝、拆解這類長時序任務,再把解法擴增成大量示範去訓練VLA,微調後的模型上了實體機器人也有初步成效。只是這些任務是在模擬器裡離線反覆除錯完成的,不是即時控制。這些通用模型的空間能力從哪裡來?模型公司沒有公開訓練資料,只能從公開資訊推測。從前一代到Astra的躍進,可能代表訓練時加強3D或空間相關的資料。但3D資料本來就少,2023年公開、規模較大的3D物件資料集約有1,000萬個物件,比起數十億組的圖文資料,差了好幾個數量級。以Astra為例,官方發表展示的是它在Blender裡建模,以及看多視角影像寫出CAD程式重建物件。這類工作在3D引擎裡寫程式、渲染、比對結果,可以大量反覆練習。該注意的是,這些數字多半是發表後一個月內在「模擬器」裡測出的成功率,也沒有把模型思考的時間算進去。回到實體機器人,在一個把積木放進碗裡的測試中,Astra每次要花2、3分鐘,而專用模型幾秒就完成。另一項研究讓Astra按一個電梯按鈕,包含邊試邊學的時間,模擬與實機都要花上數分鐘到十幾分鐘。另外,這些多半是抓取、放置這類剛體、位置對了就算完成的簡單工作。難的部分仍是接觸、物理特性、長時序與安全。插拔插頭、轉瓶蓋、拿毛巾這類動作,成功率明顯下降,常得先給示範才做得到。質量、摩擦、形變這些性質,單靠幾何資訊難以描述。我的看法是,通用模型精進3D能力,這對Physical AI是好事。比起直接控制機器人,這些通用模型更可能成為訓練Physical AI、加速它精進的引擎,只是加速的多半是能在數位世界完成的部分。數位AI犯了錯多半可以重來,演算法在模擬裡驗證過,大致就能複製到各地;機器人犯錯,損壞的是實體設備,也可能傷到人。Physical AI的驗證最後得在實體端完成,之後還有整合、驗收、認證,以及產品問責等問題。通用模型不會吃掉Physical AI,反而加速智能發展。任務拆解、寫控制程式、建模擬環境、產生示範資料這些能在數位世界完成的環節,可能愈來愈多交給通用模型。機器人需要低延遲,離線時也得正常運作,本地端仍要有夠快、能力夠好的小模型,但它未必由獨立的機器人模型公司提供,「有機會」由通用模型產生示範,再蒸餾而來。比較難被吸收的,是觸覺等新的感測、靈巧手這類硬體,以及整合、認證與垂直產業的製程累積。機器人模型的競爭者,因此多了幾家原本只做數位世界的公司。這些公司在數位世界迭代很快,到了實體世界,進展的速度可能要看驗證與認證跟不跟得上。我們也看到數位世界的Agent能力,有機會加速發展,進入實體世界。如果這兩關也找到加速的辦法,數位世界的Agent能力進入實體世界的速度,可能又會超乎我們的想像。
2026-10-23
Physical AI還缺什麼?機器人都會跳舞、跑酷、接棍子了
9月底在美國匹茲堡參加機器人頂尖會議IROS 2026。一家機器人新創的攤位上,雙臂機器人在玩「接棍子」(falling sticks)遊戲,幾根棍子懸在上方隨機落下,手臂要在半空中瞬間抓住。這類遊戲原本用來測試人的反應速度。這一年也看到不少機器人跳舞、跑酷(機器人障礙賽)、跑半馬的影片。這些表演代表什麼?機器人已經有完備的AI能力了嗎?先看跳舞。中國一家人形機器人大廠2025年在春節晚會讓機器人跳舞。這類表演常見的做法是「動作追蹤」(motion tracking),錄下人類動作、對應到機器人骨架,在模擬器裡用強化學習訓練一個照著做又不跌倒的策略,再直接用到實體機器人上。硬體則靠高扭矩關節與3D光達定位。外媒報導指出,這是用真人舞者資料預先編排的表演。跑酷多了一層判斷。2026年初,柏克萊加州大學、史丹佛大學、卡內基美隆大學等研究團隊,把多個跑酷技能蒸餾成一個以深度影像驅動的策略。機器人只靠深度相機與移動方向、速度的指令,自己決定障礙物要跨過、爬上還是撐越。但往哪裡去?為什麼去?仍由人決定。把這三個例子放進機器人的控制架構來看。控制大致分成5層,往上愈慢、愈抽象,往下愈快、愈貼近實體動作。最上層由大型語言模型理解指令、拆解步驟,大約每秒1次或更少。往下是視覺語言動作模型(VLA),決定手要抓哪裡、怎麼移。再往下是負責移動與平衡的運動策略、協調手臂與腿部的全身控制,最底層的馬達電流控制大約每秒上萬次。借用心理學家康納曼(Daniel Kahneman)《快思慢想》的說法,上兩層像需要專注推理的「系統二」,下三層像快速、直覺的「系統一」。跳舞、跑酷、接棍子,都落在系統一。這幾層的分工目前還在調整。一家美國人形機器人新創把全身控制獨立出來,稱為「系統零」,用超過1,000小時的人類動作資料訓練成一個網路,業者表示取代10萬多行手寫程式。運動策略與全身控制兩層,看來正被學出來的控制器合併。為什麼停在系統一?因為這幾層的資料較易取得。「照著人類動作做、不要跌倒」幾乎適用每個動作,成敗幾秒就知道。剛體與地面的接觸也容易模擬,GPU上可以同時跑幾千台虛擬機器人,走路策略很快就能訓練出來。上層剛好相反,「摺好衣服」「幫我微波午餐」很難寫成獎勵,手指與物件的細微接觸,模擬也不準。所以這些表演多半是模擬器裡用強化學習練出來的,機器人身上還缺一個有深度思考、推理能力的「大腦」。這些表演證明的,是平衡、移動與全身動作已經成熟許多。北京的人形機器人半程馬拉松賽,2025年首屆多數隊伍跑不完,2026年已有隊伍50分鐘出頭完賽。資金也跟著進來,依市場研究機構統計,2025年全球實體AI(Physical AI)新創募資近400億美元,2026年上半已超過470億美元(統計範圍也包含自駕車、無人機等)。缺的部分,從系統二到場域部署,我的觀察有6項:第一是長時序任務。公開展示的自主任務,大多只有幾分鐘、數十個連續動作,離工廠一個班次的8小時還很遠,過程中也要能推理、確認自己有沒有做完。第二是泛化,關鍵在資料。上層要的做完工作的資料,目前多半得在真實世界累積,遙控操作因此從機器人做不到時的補位,也成收集資料的方法。也有團隊讓模型從實際執行與人工修正中學習。第三、第四是硬體與接觸。便宜的是身體,手、觸覺、電池與耐用度還沒跟上。2026年7月一家美國科技大廠發表的模型,讓人形機器人蹲下從地上撿東西,成功率還不到5成。第五是安全。固定的機械手臂斷電後停在原地,需要主動維持平衡的機器人則可能倒下,針對這類機器人的國際安全標準,目前仍在草案階段。第六是部署。依國際機器人聯合會(IFR)統計,2025年全球工業與專業用途的人形機器人約7,000台,不少是買來產生訓練資料,實際在場域使用的極少,流程怎麼改、投資報酬怎麼算,都還在摸索。這幾年控制與硬體的能力、韌性持續進步。硬體價格往下、系統二的能力往上,兩條線交會之後,機器人投入場域才看得到投資報酬。如果場域部署的能力也跟著補上,未來幾年Physical AI agent對產業的影響,可能又會超乎我們的想像。
2026-10-06
AI評測,一直是門好生意
新模型每隔幾週就有一批,哪一個比較好,很多時候看的是排行榜。排行榜背後的評測,表面上是訂規則、跑資料、比分數的學術活動。但拉長時間看,辦一場公開評測,或是在裡面拿到好名次,一直是門好生意,只是每個年代收錢的人不太一樣。我在2002到2007年於哥倫比亞大學攻讀博士,研究主題是影像與視訊搜尋,親身參與多年美國國家標準暨技術研究院(NIST)主辦的TRECVID年度評測。每年,全球數十個研究團隊各自送出系統,針對同一批影片、同一套題目測試,排名公開。這項評測的贊助單位包括美國國安體系的研究機構,在當時的研究圈裡,排名也會直接影響團隊後續爭取研究經費,美國的頂尖研究團隊都很認真看待每一次評測。2006年,Netflix把自家的推薦演算法問題公開懸賞,只要有人能把預測誤差比現有系統降低10%,就拿走100萬美元獎金。一家公司把核心演算法問題公開交給外界解決,在當時相當少見。公司不必先知道誰解得出來,只要把問題和驗收標準定清楚,達標才付錢。2009年,獎金由一支跨團隊組成的隊伍拿下。在Netflix之後,愈來愈多公司把競賽當成向外找解法的管道。2010年成立、2017年被Google收購的Kaggle,把這套模式做成一個平台。任何公司都能把資料放上去、定好評分方式、提供獎金,換取全球資料科學家幫忙解題。獎金之外,排名本身也成了參賽者的履歷,有些公司會直接從排行榜上找人。2010年開始舉辦的ImageNet影像分類競賽,則提供一個研究團隊普遍認可的公開基準。2012年底,一支使用卷積神經網路(CNN)的隊伍把錯誤率大幅拉低,這個結果後來常被視為深度學習時代的起點。但在當時,不少資深的電腦視覺學者並不認同,甚至抱持懷疑的態度。直到接下來兩年,一系列CNN方法在ImageNet上連續大幅躍進,他們才陸續接受並投入。ImageNet讓影像辨識的「進步」第一次有了公開、可驗證、逐年比較的衡量方式,資料也開放給全世界的研究社群,不必參賽就能使用。說服學界的,是這些每年公開、任何人都能驗證的結果。後來的AI評測排行榜,大多沿用這個形式。2013年10月,微軟研究院與自家的搜尋引擎Bing聯合辦了一場影像搜尋的公開競賽,獎金1萬美元。我的一組學生就為了這1萬美元報名參加,最後真的拿到全球第一名。那年5月,我們原本用的是傳統的電腦視覺特徵,測試時偶然換上CNN擷取的特徵,準確率大幅躍升。當時CNN剛在ImageNet嶄露頭角,還沒普及到各個電腦視覺題目,我們算是提早一步,在自己的研究上驗證這個轉折點。當下,我們決定把研究典範轉到CNN,並把各種經費拿去買GPU,也引起NVIDIA注意,促成2016年9月開始和NVIDIA合作成立NVIDIA AI Lab。近年台灣也有不少企業與政府單位舉辦AI競賽。比賽一多,頂尖團隊會挑著參加。如果要辦,獎金額度,以及主辦單位的影響力,往往是能否吸引到好團隊的決定點。2023年,柏克萊大學一組研究生與教授推出Chatbot Arena網站,讓使用者同時對兩個匿名大語言模型提問,投票選出比較好的回答,再用這些真人偏好算出模型排名。2025年4月,這個研究轉為新創LMArena,不到1年估值就來到十幾億美元,在新創圈相當受矚目。前面幾個例子,付錢的都是出題的一方。LMArena收錢的對象,反過來是被排名的一方。各家AI實驗室付費取得私有、不公開的測試環境,或是付費使用LMArena的評測工具與資料產品,來驗證自家還沒發表的模型。測試平台成了關鍵資料的供應商。METR的做法不同。這個2023年底獨立的非營利組織,專門替各家前沿模型做部署前的安全評測。METR主要看的是「任務時長」,也就是AI代理人能以特定成功率,獨立完成多長時間的人類專家任務,如今是業界衡量AI能力進步的常用指標之一。METR表示不接受被評測實驗室的捐款,資金主要來自慈善基金會與個人,2026年8月公布過去半年募得逾7,000萬美元的資金承諾。被評測的實驗室仍會提供免費的運算額度,供METR評測使用。從TRECVID到METR,評測的形式換了好幾次,排名一直影響經費與人才的流向。如今LMArena與METR的評測結果,還會影響模型往哪個方向改進、外界如何評價一個模型,甚至企業的商業決策。被評分的前沿模型公司願意付錢或提供運算額度,換取一個外界相信的分數。影響力愈大,評測單位的公信力就愈重要,也愈被放大檢視。當AI進步的速度超過我們判斷好壞的速度,掌握「分數是怎麼被決定的」,可能就跟做出被評分的模型一樣有價值。
2026-10-02
SLAM不只為Physical AI提供地圖,也建構空間記憶
上一篇談到,傳統SLAM將地圖交給路徑規劃,任務就差不多完成。對自主機器人來說,地圖建好之後,新的應用(與挑戰)才開始,包括搜尋、導航到指定的位置、記住看過什麼,以及留給模型(複雜情境)推理時讀取。實體AI(Physical AI)的記憶,和大型語言模型的記憶(memory)很不一樣,它往往得和3D位置綁在一起,而且可能因環境變化而過期。先看導航與搜尋。指令開始換成自然語言,例如「把二樓會議室的空紙箱收到回收區」,自主機器人得自己把任務標的對應到地圖上的位置。這類問題研究上稱為grounding,也就是把語言中的描述,對應到空間裡的物件或位置。做法是把視覺語言模型的特徵結合到地圖上,機器人不必事先學會識別那個箱子(現在的視覺語言模型多半具備zero-shot的辨識能力),也能找出「靠窗那排料架上白色的箱子」。3D幾何地圖還是基礎,只是現在加上豐富可操作的「語意」。地圖也開始被當成記憶來用。半導體廠使用四足機器人沿固定路線讀取儀表、記錄管線與機台外觀。這些製造業用戶希望機器人在巡檢時隨時比對,看出環境有沒有差異。地圖因此要夠密、位置要夠準,機器人也得記得上一次看過什麼。問題是,這些記憶需要隨時被更新。工廠、倉儲、賣場的環境常在變動,料架被移動、走道被暫時堆放、產線改造。所以不能只靠定期重建一次地圖,機器人得邊執行任務邊更新。更新也不必一台包辦。上一篇談的車隊協同,搬到室內同樣適用,幾台機器人一起建圖,也一起更新「空間」記憶。只是規模不同,路上每天有大量車輛經過同一段路,廠區裡往往只有少數幾台機器人,每一次觀測都重要。協作時的座標一致性、更新頻寬、運算能力、以及觀測不一致時的調整等,各個技術環境都是一個全新挑戰。還有一層干擾來自現場走動的人員與移動機具。多數SLAM假設場景是靜止的,這些移動中的人與機具會被劃進地圖,既干擾定位,也留下抹不掉的殘影。常見的做法是額外加上語意分割模型把它們挑出來,代價是畫面處理時多花幾秒,耽誤即時性。我們最近的研究換了個方向,使用追蹤器算過的訊號判斷哪些畫素在動,善用時序以及既有的結構訊號,降低繁重的深度學習運算,成本可以降低幾十倍,使用單一鏡頭攝影機,在單張消費級顯示卡上每秒可以超過20幀。前面談的都是怎麼把環境記下來。再往前一步,地圖甚至開始直接進到模型的推理裡。模型讀取的脈絡(context)也不再只有文字token,開始出現帶有3D位置與視角資訊的空間token。2026年一項研究把單眼影片重建出的3D特徵與相機視角做成空間token,連同影像本身的視覺token一起餵給語言模型,顯示物件計數與路線規劃都跟著改善。這類做法目前多在室內場景驗證,搬到整座廠房、或是大範圍的場域還沒有定論。如果機器人進去場域前連地圖都沒有,任務進行的難度更高。例如,緊急進到災後或結構受損的建物,樓板與樓梯可能已經變形,機器人得一邊走一邊把3D的圖建起來,還要記得剛剛看過什麼,才知道哪裡還沒去過、哪條路可以通行,萬一受困又該從哪裡撤出。推理的結果決定下一步往哪走,下一段地圖(記憶)也跟著長出來。這還在很早的階段,真實災場的煙塵、照明與通訊條件,都比實驗環境更惡劣。這種按位置取記憶的需求,已經開始改變系統怎麼做快取。語言模型用鍵值快取(KV cache)把算過的留著避免重算,記憶體因此成為推論瓶頸之一。也有研究指出,模型連續推演影片畫面時,每一幀就要上千個token,1分鐘的推演累積到數十萬個,吞吐量大幅降低。一般做法是丟掉最舊的,但是在空間自主運作時,再回到同一個地方,先前看過的空間記憶就沒了。已經有做法把快取按相機位置分塊保存,回到同一個位置時再取回對應的那幾塊,不必重算。等於用位置而不是時間,決定什麼該留下。地圖要能導航,也要能當作空間記憶,讓模型拿去推理。SLAM這個老題目,因此有了新的角色。所以Physical AI需要的,可能不只是更長的脈絡或更多記憶體,而是一套知道哪裡該記、什麼時候該更新、哪些東西可以忘掉的記憶系統。
2026-09-24
AI揭密:token被拿去做什麼
要不要自己採購AI伺服器、哪些工作留在地端,都得先假設token會如何被使用。用量若集中在連續呼叫工具、跑幾十分鐘的代理(Agent)任務,記憶體壓力與機器被佔用的時間,都跟一問一答的聊天差很多。別人到底怎麼用,一般不會揭露。Anthropic在2026年9月公布一份威脅情報報告,整理2025年12月到2026年8月之間查獲的濫用行為,意外提供平常看不到的使用情境。我們得先理解,這不是一般使用行為的樣本。Anthropic挑出來的本來就是少見的異常案例。先拿掉身分、目的與誰在做這些事,剩下的是模型被當成什麼工具以及如何使用token。這些人沒有採購流程要走,也不受法遵限制。這批案例不是工業界常態,但很適合拿來看AI實際被用在哪裡。我們大概有幾個工作樣貌的觀察。第一類是整段工程交給模型,包括程式與模擬。有人從底層邏輯一路做到使用者介面,做出一套十幾個模組的訊號處理軟體,前後迭代十幾個版本;也有人把同一個模型同時開好幾份使用,各給一個角色,一個寫程式、一個查資料、第三個審查第一個寫出來的程式,像在帶一支小型工程團隊。這批人還拿模型調校控制演算法,把模擬結果對照既有的參考實作校正,為的是少做幾次實體測試。最後那套模擬工具被打包成獨立執行檔,不靠模型也不靠商用工程軟體就能自己執行。第二類是反覆操作工具,直到任務完成。模型先讀資料、形成假設,呼叫外部工具,拿到結果再判斷下一步,改完繼續跑。報告裡有一條韌體分析流程,把二進位檔丟進反組譯器(Disassembler),連續執行數千次反組譯與交叉參照,模型據此寫出驗證程式,測不過就再來一次。這樣的迴路,代理人連續跑了一個月,找出十幾個可能的漏洞。第三類是常駐與排程。有十幾個代理人編成一組,照排程輪班,固定去公開網站抓內容,再交給下一段摘要、評分,做成報告送進發布平台。也有人跑「代理人群」,由一個主代理人把工作拆開,分派給多個子代理人平行處理。這類系統會把目標清單、進度、每一輪的結果與長期指令一起存著,下一次開工不是從頭來過,是接上次停的地方,資訊搜尋範圍還會一輪一輪擴大。這些流程在無人監管的情況持續運轉。第四類是把大量非結構化資料整理成可查詢的紀錄。有人把10台雲端主機串成一條生產線,下載大量的Android應用程式,逐一反編譯,掃描裡面寫死的金鑰與憑證。有人整批上傳社群貼文,讓模型產出帶信心分數的結構化紀錄;也有人用模型做出一套分析層,跨平台核實、探查使用者身分。第五類是模型被拿去調教另一個模型。有人用前沿模型開發自己的訓練基礎建設,包括強化學習環境與模型架構研究。有人做蒸餾,為了找出哪一種問法能問出模型的推理過程,一次送出上萬個詢問,每個換一種技巧。另一起蒸餾單日一度接近數百萬次交換,報告說蒐集到的推理過程可以轉換成微調資料,用來訓練模型。用量最大的客戶未必是人或軟體,也可能是另一套正在學習的模型。報告另外依自主程度分了幾級。最低的一級是對話式的助手,模型幫忙寫程式、做工具。中間是模型直接執行,但每一個目標由人決定。最高的一級是多代理人架構連續跑上幾小時甚至幾天,同時處理好幾個對象,人幾乎不介入。人還深入參與的,報告舉了3項決策:挑目標、決定成果怎麼用、驗收結果。交給模型的是耗費token的一整段任務,從前期探索、寫工具到跑資料。過去相當耗費人力,只有資源多的團隊可以負荷,現在token降低門檻。把這些用法放在一起看,AI工作負載開始出現幾個共同特徵:任務變長、工具呼叫變多,有些還要跨天接續上一次的進度。下指令的是人,真正把token用掉的,愈來愈多是後面的代理人與工具鏈。這些用法之所以被看見,是因為運算都發生在同一家公司的伺服器上。報告裡還有業者把使用者以為送進自家模型的請求,轉送給另一家公司的前沿模型,再把回應當成自家答案顯示,同時把這些對話留下來訓練自己的模型。那些被保存的對話含有姓名、電子郵件與公司內部資料,涉及數百名終端使用者。使用者應該從頭到尾不知情,也未曾同意過。所以運算放在哪裡,愈來愈不只是成本問題。主權AI、自建推論、開放權重模型這幾年被重新放上議程,理由多半算在成本、延遲與法遵上,現在要再加一項——使用行為本身也可能外流。token在哪裡被耗掉,使用行為就在哪裡留下痕跡。
2026-09-18
什麼是SLAM? Physical AI的第一步,是知道自己在哪裡
上一篇談到自動化與自主性的差別,自動化把不確定性從環境裡移除,自主性需要系統在複雜環境中運作,兩者最大的差異,是自主機器人得走進沒有事先整理過的環境中完成工作,機器得知道自己在哪裡、周圍環境狀況,還要在執行任務的同時,安全、有效率地在場域中行動。背後的關鍵技術,是SLAM(Simultaneous Localization and Mapping),機器要一邊定位,一邊把環境畫成地圖。自駕產業是最早把高精地圖變成關鍵元件的產業之一。許多無人計程車進入一個新城市時,第一件事仍是先完成街道測繪,建立地區(高精)地圖後才開始營運。地圖要多精細是一個成本問題。車輛定位,可以只保留道路曲率、車道線、路標、號誌或路緣等少數穩定特徵,讓車輛拿眼前看到的特徵與地圖對位;也可以更細緻地把車道線、路緣、號誌、與街景都定位到公分級。愈精細,定位愈準,維護成本也愈高。量產車開發實務中,圖的更新頻率是關鍵,而施工、標線重畫、號誌調整甚至車禍隨時在發生,地圖一舊反而會引發自駕導航風險。另外是誰來更新。早期地圖靠專用測繪車(配備昂貴定位設備),一條路一條路測繪,巷弄密集更費時,更新頻率決定新鮮度,成本與涵蓋範圍、頻率成正比。後來導入分散式(crowd-sourcing)的做法,讓已經在路上跑的量產車順手做,行駛中回傳道路特徵,每台車每公里約幾KB,1年約幾百MB,後端把眾多車輛的訊息融合拼出道路結構。車愈多掃過,地圖品質愈好。那機器人呢?如何定位,如何動態建圖,還有哪些全新應用?問題是,要定位,得先有圖;要畫圖,又得先知道自己在哪裡(而且室內不能用衛星訊號定位)。兩件事互相依賴,像是雞生蛋、蛋生雞。SLAM針對這個問題,同時估算兩者,邊走邊修,這個概念1980年代後期提出,1990年代中期定名,到現在40年。機器先從連續的畫面或點雲估算自己移動了多少,這一步的誤差會累積,走得愈遠偏得愈多。所以還要能認出「我回到剛才來過的地方」,一旦認出來,累積的偏差就能一次修正,再把沿路所有位置和觀測一起重新最佳化,讓前面累積的誤差重新分配;在視覺SLAM裡,常見的做法就是bundle adjustment。重新開機或搬移之後,機器還得在既有地圖裡重新定位。這幾件事分別叫做里程計(odometry)、迴路閉合(loop closure)與重定位(relocalization),要長時間、大範圍運作,通常得三者一起解決。要多準,感測器的訊號也扮演關鍵角色。光達直接量到距離,幾何結構最明確,定位通常也較容易;相機便宜且資訊豐富,但深度需要額外估計。深度相機每個畫素都有距離,有效範圍卻多半在幾公尺內,室外也容易受光線干擾。實際的系統幾乎都是混用,再補上輪速。高度是另一個長期被忽略的問題。早期室內SLAM常見的做法,是把環境簡化成一張二維地圖,只記錄同一個平面上有沒有障礙物,當成整個空間能不能走的依據,對輪式機器人夠用,因為它只在同一個樓層的地面上移動。當機器人的移動自由度開展,上坡、跨門檻、爬樓梯、完成抓取任務之後,這個假設就不管用了,能不能踩、碰撞,都得從立體結構判斷。地圖因此得從二維變成3D,感測器與運算也跟著加重,避障也得算進高度,畢竟真實環境不是乾淨、規整的,桌面上有杯子,地上散落著鞋子。更大的變化是地圖的表示方式正在改變。傳統SLAM多半記錄稀疏特徵或幾何結構,神經輻射場(NeRF)與3D Gaussian Splatting(3DGS)等新的場景表示方法,則讓機器開始保存更完整的3D外觀與空間資訊;與SLAM結合後,一般相機也能在移動過程中逐步建立細緻的3D場景。我們在2023年就用單眼相機做過這件事,而且不必為每個場景預先訓練。新一代SLAM紀錄下的,不再只是2D照片或沒有空間結構的視訊,而是數位化的3D環境。密集的3D圖有很多非常有潛力的運用,特別是加上推理能力,但這些運算多半得放在機器人身上完成,邊緣端的算力與儲存還是限制,例如工地或產線的進度比對、資產盤點與異常偵測、生成訓練資料,或是產生數位分身。因此,Physical AI時代重新看SLAM,重點已經不只是「怎麼把圖畫準」,而是「怎麼把真實世界變成AI可以持續讀取、更新與推理的空間記憶」,這是下一篇要談的重點。圖建好了,然後呢?傳統SLAM的任務到這裡差不多就完成,地圖交給路徑規劃,機器人照著走。對Physical AI來說,這才是開始。導航、記憶,以及推理等各種自主效能力,都要從這張圖長出來。
2026-09-09
Autonomy vs. Automation:自主機器人與自動化
8月中參觀台北國際自動化展。2026年參展活絡,規模比2025年成長7%。走一圈下來,實體AI(Physical AI)、視覺語言動作模型(VLA)等字樣充滿會場,連展台上的介紹都講得一口流利的VLA。但是展示機器人仍在柵欄內以固定節拍重複同一個動作,引導對位的是貼在料架上的定位標籤,組裝線材前先用治具固定線端。展場的用詞走在產品能力前,不難想像。但是眼前這些展示還在「自動化」(automation)範疇,離「自主性」(autonomy)還有多遠?自動化的做法,是把不確定性從環境中移除。治具固定物件的位置,圍籬隔開人的動線,逐點教導與離線程式編輯給定動作順序,安全光柵與急停則用來降低異常狀況下的風險。機器人因此能正確地重複工業動作。自主性的方向剛好相反。環境不動,改用系統本身去承受不確定性。剩下的意外,由備援人員介入。無人計程車(Robotaxi)算是自主性的先驅。Waymo在2026年2月揭露,約3,000輛車的車隊,線上有數十位遠端協助人員。車輛遇到狀況,人員才介入。這不是盯著特定車輛,也不是遠端代駕,但介入從常態變成例外處理,這一步花了十多年。數位世界的自動化是RPA(流程自動化軟體)。規則先訂好,適合重複而固定的工作,沒定義的狀況就停下來。AI代理(AI Agent)則處理需要判斷與例外的任務,自行拆解工作流程,在回饋機制下重新規劃、重試或修正,那是數位版的自主性。這主要受惠於近來大型語言模型的技術突破,但是能在非結構化環境中通用操作的實體自主性,仍有相當距離。既然自動化做得好,為什麼還要往自主性走?因為這可能是一次「典範轉移」,不只機器人變聰明靈活,而且成本結構、競爭態勢也可能改變。自動化的支出裡,為單一場域做的工程往往佔比高,每多一條產線就得多做一次。自主性把比重往系統本身移,前期重得多,包括導入與整合成本,但只要有一部分能跨場域重用,就有機會隨規模攤掉。在少數場域,這樣的轉變已經開始浮現。送餐、倉儲搬運與商用清潔的任務與環境高度相似,導入時的建圖與流程設定免不了,規模通常遠小於改造一條產線。同一款機器可以複製到下一家,按月訂閱的方案也跟著出現,收費方式和SaaS類似。這幾類還談不上完全自主,雖然會自己避開走動的客人、重新規劃路線,但讓規模化成立的主要是任務相似。若跨場域重用的比重提高,以單一場域客製工程為主的價值可能被壓縮。值錢的部分也可能往兩端移動,一端是致動器、傳動與力感測,另一端是模型、資料與垂直應用的調校。自主性可以發揮的,比較可能是場域改造特別貴的地方。長期照護、醫院物流、大型設施巡檢、災害現場,這些環境難以預先結構化,過去多半停在展示階段。其中一些需求不是不存在,而是很難在傳統自動化的成本結構下成立。自主機器人,還需要哪些技術突破?推論與長時序常被提到,專欄先前談過。比較少被放在一起看的是接觸、新硬體與評估。接觸這一項的說法相當反主流。有研究團隊在2026年提出,機器人操作之所以慢,是因為整套系統都為了「避開」接觸而設計。方向應該倒過來,「Make contacts friends, not enemies」。這不只是加裝力覺感測器,可能要連硬體形態、規劃重新考量。已經有團隊初步實現。雜亂的環境裡本來就不一定存在完全不碰的路徑,於是讓VLA先判斷哪些東西可以碰、哪些碰不得,例如撥開布偶去拿遙控器可以,撞倒玻璃杯不行,再據此規劃動作。靈巧手與觸覺感測這些新硬體發展較遲。視覺在模擬裡已經可以做得很逼真,但一碰到東西就容易失準,形變、摩擦等物理特性較難掌握。電子皮膚與觸覺模組又是每一家一套規格,還沒收斂。評估這一項問的是另一件事,怎麼確認做對了,做錯了又怎麼改。Agent之所以成功,靠的很大一部分是評估驗證。失敗可以低成本記錄、重播與複製,數位工作執行幾千次也不會弄壞任何東西,錯誤看得見,也就修得動。實體世界沒辦法這樣。機器人失敗一次,壞的是真的東西,也可能傷到人,錯在哪不見得留得下來。近年多數研究各自訂一套評測流程、用自家的指標。能在真實場域中跨平台收集、又被廣泛採用的共同評測框架,仍然很少。既然實體失敗成本高,確認就得挪到動手之前。世界模型受到期待,原因之一就在這裡,先在模型裡把動作預演一遍,可行再執行。回到展場。目前多數展示還落在自動化,這套做法仍在創造產值。接觸、新硬體與評估不會同時被解決,「自主性」比較可能從某一個場域先突破。當某個場域被證實能以較少的客製工程規模化部署,生意的重心就有機會從逐案的客製與整合,轉向可跨場域複製的產品。
2026-09-02
我該買高階AI伺服器嗎?
最近一位在產業界的朋友跟我分享,這兩年LLM崛起,對他們的產品研發幫助很大,團隊還額外開發幾個全新的代理人(Agent)。但他算了token花費之後很驚訝,一年下來的金額,已經比買下一整櫃高階AI伺服器還多。即將導入的大規模應用還會把用量再往上推,他也擔心產業know-how送進外部模型。於是他們很認真地評估:是不是應該自己買(租)AI伺服器?這不是單一公司的處境。一家美國叫車平台業者原本鼓勵各團隊大量使用token開發,4個月後全年的AI預算就用完了。接下來就是設上限、個案申請,強制「配給」。配給不是因為變貴。同等能力的推論價格長期快速下滑,帳單卻愈來愈大,這個機制本專欄〈Token帳單之後:AI運算架構的5層重組〉談過。當時是推估,現在有實際的帳單可以看了。不過帳單變大本身不是買(租)機器的理由。先確認投資報酬率(ROI),再做工作分級與流程最佳化。剩下的工作如果用量持續穩定、資料不能離開公司、服務也不能中斷,才值得自己擁有模型生產token。第一步是看ROI。所有變革都得先回答一件事,對企業改善哪些量化指標。常見效益是省下的人力與外包、縮短的交期,再往上是客戶滿意度、新營收與競爭力,最後都反映在毛利、甚至本益比上,本專欄〈AI改寫的不是效率,也是毛利結構〉談過這一層。第二步是把工作分級,依難度配上能力與價格相稱的模型。可預測、量大、規格明確的任務可以不需要前沿模型,蒸餾出來的小模型、開放權重模型或較低階的API都能處理,單位成本可以差1~2個數量級,前沿模型留給真正需要深度思考的環節。第三步是工作流程的最佳化與迭代。工廠電氣化初期,多數業主只是把蒸汽機換成一台大馬達,天花板上的傳動軸照舊,產出的改善很有限。要等到每台機器各配1顆馬達、廠房不再繞著傳動軸配置,生產力與彈性才提升。Agent接上現有流程,多半只是把原來的步驟做快一點,只有將工作流程重新規劃過,效益才會顯現。反過來說,帳單有相當一部分也是被流程設計出來的。幾週前一位在美國AI原生(AI native)新創擔任C-level角色的朋友分享,他們負責市場開發的只有個位數人力,年化營收(ARR)幾個月內翻倍到數億美元。這樣的槓桿主要來自整套工作流程的改造,不全然靠買運算能力。有兩類狀況,值得付出溢價或是買保險。第一類是「敏感資料」:設計圖、製程參數、客戶規格等,本來就不宜離開公司。代理人能穩定接手的還是結構化程度最高的那一小塊,其餘得靠人幫補,工作切得愈長、步驟愈多,需要補的地方就愈密—規格、報價邏輯、內部know-how也就跟著提示詞一起出去了。目前的折衷是先改寫再送出,把敏感欄位換成代號,或用地端小模型把提示重寫一遍。2026年一篇論文整理8種隱私保護方案,並實測其中4種可行方法及其組合。最嚴格的一組是地端分流加上遮罩與改寫,可以把個資洩漏率降到0.6%,但程式碼仍有31.3%外洩。個資有固定樣式可以辨識並置換,但是經驗與判斷散在整段敘述裡,換掉幾個名詞隱匿不了。對產業界真正在意的那類資料,改寫是減少損失(曝險),不是解方。第二類是「隨時可用」。Token目前已逐漸成為產業的必需品,供應一中斷,就不只是不方便。網路斷線、供應商停機、尖峰被限制用量,任何一項發生,產品研發就停擺。版本下架也是,供應商依自己的時程淘汰舊版模型,驗證過的流程可能得重做。地端模型的能力比不上前沿,但它不會在某天早上突然不見。如果外部模型今天停3個小時,有多少工作會一起停,又有多少可以靠(較弱的)地端模型備援?到這裡,才考慮自建。前面那家新創走的是租。買或租不是重點,重點是能不能取得自己調度的運算能力,讓資料不必送進第三方前沿模型API,並由自己控制模型與版本。推論需求愈大、愈穩定,設備利用率愈高,自建的優勢就愈明顯。多數公司最後會是混用,量大又規格明確的留在地端,需要深度思考的仍然呼叫外部前沿模型。選擇自建,機櫃之外有不少overhead。機房、電力、散熱還需要幾組人:維運硬體的工程師、負責選型與微調的模型工程師、把服務接回既有系統的開發人力。這幾種人現在都很搶手,養得起的中型企業不多。而且配置不是做一次就好,換一次模型就得重新部署、重新驗證。硬體一買就是好幾年,開放權重模型卻幾個月就出一批更好的,這個節奏落差是自建評估裡特別容易被低估的一項。回到開頭那位朋友。他們團隊後來決定買了。在那之前,他已確認這兩年的投入有可量測的ROI。帳單只是其中一個理由,真正讓決定成立的,是有些產業know-how本來就不該送出去,有些工作一斷線就停擺,加上他看得到未來2、3年的成長。換一家公司,同樣一筆帳單很可能得出相反的答案。買貴了還算小事,難的是買完之後,需求長得跟當初評估的不一樣。
2026-08-24
智慧應用 影音