生成式AI的運算負載正在逐漸移向邊緣端,在更靠近資料源的地方,透過邊緣裝置的算力來進行即時的生成與回應,從而提升工作效率與生產力。這樣的變革趨勢帶動邊緣裝置的發展,AI PC在新運算時代下便應運而生。
人工智慧(AI)已經歷經好幾波浪潮,生成式AI崛起無疑再次推動AI進展,並且極有可能重新改寫企業的商業模式以及工作樣貌。隨著大型語言模型能力增強以及多模態的發展,現在透過AI自然生成語言、圖像以及音訊等多類型且具有創造力的內容已不再遙不可及。 然而,有別於早期聚焦於如何運用雲端運算或是在企業內部打造出高效能運算環境來進行AI模型訓練,生成式AI的運算負載正在逐漸轉向邊緣端,在更靠近資料源的地方,透過裝置的算力來進行即時的生成與回應,從而提升工作效率與生產力。這樣的變革趨勢也帶動邊緣裝置的發展,AI PC在新運算時代下便應運而生。
根據調研機構Gartner預測,2025年AI PC的全球出貨量將達到1.14億台,較2024年成長165.5%。
AI PC定義分岐 NPU TOPS為分水嶺
雖然「AI PC」這個名詞早在2023年就已經被提出,而且大多業界專家也都認同AI PC存在的目的就是為了能夠在用戶端更順暢地執行生成式AI,不過目前業界對於AI PC的定義還沒有一致的看法。英特爾認為AI PC必須具備中央處理器(CPU)、圖形處理單元(GPU)以及神經處理單元(NPU),其中NPU的角色為專用的加速器,可直接在電腦上高效處理人工智慧和機器學習任務。至於NPU TOPS的多寡並沒有加以設限。
而微軟則要求「Copilot+ PC」則必須具有現代化的CPU與GPU之外,NPU效能必須在40 TOPS以上,並至少有16GB記憶體以及256GB SSD才能因應其應用需求,同時還要有專用的Copilot按鍵。
不過,諸多調研機構如IDC、Gartner在調查AI PC出貨量統計時,主要還是會以NPU存在與否作為AI PC的判斷標準。
宏碁台灣區產品管理資深經理林勇易以Windows PC為例,分享業界較常見的區分方法,大致上可分為三類。第一類是僅搭載CPU、GPU而無NPU的Windows PC,由於具有AI功能支援的能力,因此算是AI Ready的個人電腦,不過多數AI功能其實都須仰賴雲端運用來執行。第二類是NPU介於10至16 TOPS之間的AI PC,這類型的機種由於已經搭載NPU,因此能支援更多AI應用服務在本地運算。而第三類的算力最高,也就是由微軟定義的Copilot+ PC,必須具有40 TOPS以上的NPU、16GB記憶體以及256GB SSD,目的就是為了實現更快效能與更豐富的AI運算,例如即時語音轉文字或翻譯。
他提到,AI應用的關鍵除了要有夠強大的硬體效能之外,軟體更是關鍵。就目前生成式AI應用軟體的發展來看,不管移除背景噪音、文生圖或是AI語音轉文字,其實都更適合企業工作場景,例如利用小畫家中的Cocreator只要在畫布上輸入文字提示,Cocreator就會根據輸入的文字產生作品,如此一來便可以加速圖像製作的速度;或是用AI回覆信件、幫工程師撰寫程式碼,都可以增加生產力。
NPU扮演關鍵角色 高效更節能
如果要從1958年深度學習之父法蘭克.羅森布拉特(Frank Rosenblatt)開發出自我學習演算法起算,人工智慧的發展至今已超過60年,ChapGPT崛起是近期掀起的一波浪潮,而在此之前今人印象深刻的則是2016年AlphaGo與圍棋世界冠軍李世乭的世紀對決,人工智慧自此也進入了深度學習與機器學習的新階段,並且擴展到Edge AI應用。
英特爾業務暨行銷事業群商用業務總監鄭智成解釋,過去Edge AI應用最多的就是電腦視覺(Computer Vision),強調的是辨識能力與辨識速度,例如讓監控系統可以同時辨識到16路網路攝影機等等。隨著硬體效能演進,這類應用所需算力其實都已被充分滿足,然而,既有的PC電腦所具備的算力,並無法有效支撐在裝置上執行生成式AI應用。「坦白說,如果要在筆電上執行一個類ChatGPT的生成式AI,做到離線還能順暢地問答,兩年前的技術確實無法實現。在當時,一定要購買一台昂貴的伺服器,至少要配置NVIDIA GPU加速卡,才能勉強做出一些樣子。」
他認為,AI PC並非是為了行銷PC所創造出來的術語,NPU確實扮演著關鍵角色,能更輕鬆地執行生成式AI任務,舉例而言,搭載Lunar Lake的AI PC能讓使用者在斷網狀態下與PC內的生成式AI順暢對話,同時還更為節能,這在兩年前幾乎是無法想像的。「調研機構Gartner在去年發布2024生成式人工智慧技術成熟度曲線(Hype Cycle for Generative AI 2024)中,已將Edge GenAI納入,也印證了在PC部署GenAI模型的發展趨勢。」
軟體成熟度成關鍵因素
2024年2月調研機構IDC即預估,到了2027年AI PC將佔所有PC出貨量的近60%。事實上在2024年,AI PC出貨量已開始成長,預期在未來幾年內,AI PC將從利基市場逐步成為主流。IDC定義AI PC是具有特定系統單晶片(SoC)且能在本地執行生成式AI任務的個人電腦,這裡指的系統單晶片即為NPU。
算力較優的另一類則是新世代(Next-generation)AI PC。其配備40至60 TOPS效能的NPU與以AI優先的作業系統,包含高通、AMD以及Intel可能都會發布這類的未來晶片,預期微軟也會針對作業系統進行更新,以充分發揮這些高TOPS NPU的效能。算力最高的一類則被稱為高階(Advanced)AI PC,指的是算力大於60 TOPS NPU的個人電腦,預期未來幾年內才會有供應商推出相關的晶片。
IDC資深市場分析師劉伊菡指出,AI PC在2025年的出貨量(包含桌上型電腦、筆記型電腦以及工作站),將會比2024年具有更大幅的成長,預估2025年台灣市場AI PC的YoY成長率將有33.4%。原因之一在於,自疫後起算約五年就可能迎來換機潮,因此今年(2025)開始就可能會有汰換的需求,而另一個助力則在於微軟公布,自2025年10月14日之後,將不再為Windows 10提供來自Windows Update的免費軟體更新、技術協助或安全性修正程式。
「相較於消費市場,商用AI PC不管是在成長率或是總體佔比上都具有更好的表現,舉例而言2025年台灣市場商用AI PC的YoY成長率就高達108.1%。」不過,她認為,企業是否會購買40 TOPS以上的AI PC,主要還需視企業預算以及應用而定,特別是生成式AI在不同的產業應用上往往需要一些客製化,因此生成式AI軟體的成熟度也會是一大關鍵因素。