生成式人工智慧 生成式AI Generative Artificial Intelligence

MCU運算效能不卡關

終端AI模型朝低算力/高精度邁進

2024-06-07
生成式人工智慧(AI)的發酵在新興運算架構,以及先進製程的支援下,可說是水到渠成。新唐科技微控制器行銷應用處副處長沈子嵐說明,當大型語言模型(LLM)應用逐漸從雲端走向邊緣,產業對於邊緣運算技術的重視度隨之提升。

高算力需求的AI應用集中在雲端,但未來端點AI的應用規模可望大幅超越雲端。端點AI的優勢之一是通常會配置豐富的感測器連結介面,具備多感測器融合的能力。感測器的資料在終端融合,可以減少資料量,進而降低邊緣端的算力需求。

新唐科技微控制器行銷應用處副處長沈子嵐表示,新的終端AI模型持續減少運算效能的需求,並且提高推論效能。


另外,當智慧裝置可以在本地端完成AI推論,資料就不需要傳輸到雲端,可以確保推論的即時性。邊緣運算不會使用大型的伺服器,資料處理的過程也比雲端運算更為節能。資安方面,邊緣運算可以避免資料在傳輸到雲端的過程中,遭到駭客攔截及竊取。並且新唐的MCU透過硬體的安全區域設計,可加強防護本地資料的安全性。
聚焦在算力方面,由於終端裝置的運算資源有限,因此應用於邊緣端的AI模型需要精簡。沈子嵐指出,終端MCU的記憶體有限,無法執行太複雜的模型。在邊緣AI應用的市場成長帶動下,AI模型便逐步朝向低算力需求的方向轉型。整體而言,新的終端AI模型持續減少運算效能的需求,並且提高推論效能。
以MobileNet模型為例,其V1到V3版本,每一個版本對於終端裝置的算力需求都持續下降。同時新版的MobileNet模型版本在推論的精準度方面,不斷提升。由此可知,智慧終端裝置在算力與推論精準度之間不見得要取捨,而會在技術演進的過程中取得良好的平衡。
三大平台滿足AI應用
在AI開發平台方面,新唐提供三個平台回應市場需求。其中,最新推出的M55M1平台採用Arm的Cortex-M55處理器,也加入Ethos-U55加速器,可以提供100GOPS的算力。MA35D1則是MPU平台,使用雙核心的Arm Cortex-A35,執行速度為800MHz。從MA35D1的配置中可以了解到,部分AI應用需要大容量的記憶體,更甚於算力需求。最後的M467平台,使用Arm Cortex-M4F核心,適合中低階的AI應用,例如智慧感測等。
 


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!