相較於以往將資料送至雲端資料中心進行處理，再把結果推送到邊緣的Cloud AI作法，Edge AI的優勢是就近在邊緣處進行資料處理，因此能夠克服資料傳輸延遲的問題，更有助於即時地進行判斷與決策。
從自駕車、智慧家庭到醫療保健乃至於工業自動化，隨著邊緣AI（Edge AI）的應用越來越多元，具備AI功能的邊緣設備也開始在各行各業落地開花，並進一步推動企業數位轉型。
相較於以往將資料送至雲端資料中心進行處理，再把結果推送到邊緣的Cloud AI作法，Edge AI的優勢是就近在邊緣處進行資料處理，因此能夠克服資料傳輸延遲的問題，更有助於即時地進行判斷與決策。除了可以節省對網路頻寬的要求，在Edge就對資料進行處理會遠比把所有資料都傳輸到雲端來得更具成本優勢，而且也會有更好的連接體驗。針對高敏感的資料，也可以無須傳輸到遠端處理，從而提高資料的隱私性。
不過，Edge AI相對也有一些限制與挑戰，例如邊緣設備所提供的運算資源遠不及雲端所能提供的算力，這也會對AI模型的規模與訓練帶來限制，另外，由於邊緣設備是分散在各地，因此管理、維護以及資安相關的措施，都是必須關注的課題。另外，包含不同的邊緣設備和平台缺乏標準的框架以及互通性，以及邊緣網路的限制，也會影響著企業的部署與開發。
觀察台灣邊緣AI發展，資策會MIC產業顧問兼副主任施柏榮認為，除了像台積電或是大型工廠現場有可能在邊緣端進行資料「訓練」之外，現今大部分邊緣AI其實都是在邊緣端執行AI的「推論」。原因即在於，資料訓練需要有足夠的算力，相對於邊緣，雲端反而是更好的選擇的方案，因此在一般的操作情境下，邊緣AI指的應該都是在邊緣端執行推論，而多數的應用情況都是在邊緣進行圖像或音訊資料的辨識與辨別。
多元邊緣AI分類
從架構的角度來看，依據邊緣所屬位置，邊緣AI可能被運用在終端或是其他邊緣裝置上，如AI PC、閘道器或是邊緣伺服器等，企業可以依據不同的情境去挑選合適的伺服器、微型資料中心或是開發板等組合。
然而，邊緣AI的分類方式並不只限於此，「這幾年與企業溝通的過程中，常以中醫的『望、聞、問、切』來比喻，主要是從功能別著眼分類，」他解釋，「望」就是眼睛的視覺，像是OpenVINO或是電腦視覺辨識（Computer Vision）等與圖像相關的邊緣AI應用就歸類在其中；而「聞」則是感受（如聽覺），Alexa智慧語音助理就是典型「聽覺」的應用。
「問」則是這幾年生成式AI崛起後，大量興起的應用情境，只要下一些指令給生成式AI，就會生成一組資料，在智慧製造現場當中，也有不少廠商開始佈局，例如建置製造端用的生成式AI詢答系統，化身為一位虛擬的老學長，說明步驟應怎麼做，維修的流程為何。至於「切」，原來指的是中醫藉由手指透過脈搏跳動來觀察脈象變化的方法，這就很像透過感測器去讀取頻率或震動狀態資料的相關應用。「各個產業其實都可以從這四個面向找到相關的應用」，施柏榮舉例，就以智慧醫療來說，穿戴式裝置就歸類在「切」的領域，因為穿戴式裝置是貼近皮膚去讀取資料，或是腦機介面裝置，利用AI來讀取腦波的應用也歸在「切」的使用情境中。
資策會MIC產業顧問兼副主任施柏榮認為，大部分邊緣AI其實都在邊緣端執行AI推論居多。
他提到，自從生成式AI出現後，其實還有一種更為絕對的分類法，以往多數邊緣AI應用都是針對資料進行辨識與辨別，然而，生成式AI出現後，其實是在Edge端生產資訊，或是整合資料或是知識體系，已經不是單純的辨識，而是讓邊緣AI進行知識的創建或是採集，以便重新去生產資料，這種一刀切的分類法也很直觀。「但不管是那一種，只要是能協助企業達到邊緣AI價值，都是好的分類。一般來說，IT供應商會比較從架構角度來進行分類，而OT業者則會偏向從望聞問切或是辨識∕生成的分類法，不過鑑於OT的資料量越來越大，這幾年三大公有雲業者朝向地端發展的趨勢也很明顯，再加上邊緣應用有一個特色是非常的Case by Case，必須依據具體情況才能規劃相關的方案與部署，而地端的調校也必須具備該產業的領域知識，所以雲端服務供應商也會與主機代管業者及系統整合商合作。」
技術需求攜手推動市場增長
根據Business Insider資料顯示，到了2029年，全球Edge AI市場規模可望達到1,074.7億美元，而2022年僅有119.8億美元，在短短的七年間將可望成長近十倍。
施柏榮分析，驅動邊緣AI蓬勃發展的因素可分為技術端與需求端。技術端的驅動力道除了三大公有雲轉向擁抱地端之外，微服務與容器化的技術出現也是一大助力，讓AI功能可以在邊緣端執行。而在需求端方面，主要還是會與企業把資料當作資產來看待有關，企業對把資料存放在雲端還是很有疑慮，而且企業非常希望在地端就能夠用AI來訓練或是讓這些資料變活化，而這些都會推動邊緣AI的發展。
落實到產業來看，目前仍以製造業、醫療業以及智慧交通、智慧城市的應用最多，尤其是製造場域現場，例如藉由光學辨識系統來確保產品的品質或是透過產線設備震動的頻率來看產品的良率。而除了視覺圖像的運用之外，也有製造業透過邊緣AI來偵測空氣中的二氧化碳或是判讀每個製程所生產出來的產品大概會產生多少二氧化碳的當量，而成為ESG的亮點。另外，在醫療產業方面，除了醫療影像辨別，生成式AI也開始運用在病患診斷與醫囑報告的撰寫上。
「其實，生成式AI在邊緣的應用需求比想像中的大，」他提到，除了在技術面，包含微軟、AWS紛紛提供相關的解決方案之外，企業端其實也都趁著生成式AI的熱潮，找到了可以讓這些孤島的資料串在一起的價值，像是客戶訂單、產品的規格書、客戶關係管理系統（CRM）等等，原本各自為政的系統，現在則找到一個很好的理由把這些資料都串在一起使用。另一個因素是，製造現場目前真的很缺工，資深人員又被挖走，資料其實也會有斷鏈的情況，遂而趁此機會，運用生成式AI來建立企業自己的商業智慧（BI）。
不過，施柏榮也強調，在導入邊緣AI之前，企業應該要先設定資料的政策，企業內部的資料應該先依不同的分類框架做分類，例如在多少時間內一定要回應資料、資安要求程度或是資料封包的大小等等，由於並不是所有的資料都必須放置在邊緣端運用，資料的政策可以協助企業選擇正確的架構，平衡隱私與實用性。