VMware vSAN提供vSphere虛機的高效能儲存區,並可將此儲存區擴展至iSCSI Target與檔案共用的服務。而面對同時提供多項儲存服務的vSAN叢集架構,本文將揭曉如何善用vSphere內建的圖形工具、命令工具以及行動App,更有效率地掌控其健康狀態及運行效能。
過去大多數的企業IT對於儲存的需求,往往是視需求來採購一台純硬體架構的儲存設備,或是自行安裝一台以Windows或Linux為主的檔案伺服器,以供應用系統或用戶端存取使用,這對小型企業的IT環境來說,確實是一項既快速又簡單的作法。
然而,針對中大型以上的企業IT環境,無論選擇上述哪一種方案皆不利於永續的維運,主要問題就在於極有限的主機延展性與空間擴充能力,並且在效能、可靠度以及可用性的發揮上也同樣受到限制。對IT人員來說,則由於品牌與版本眾多,因此在平日的維運任務上也將是一大難題。
為此,軟體定義儲存(SDS)成了新世代IT的最佳選擇,其主要優勢在於儲存服務可以根據應用程式的需求動態地部署及調整,且因為它廣泛支援多種類型和品牌的儲存設備,因此可以提供更好的擴充性和相容性。至於在成本和維護複雜度方面,它不需要購買特定昂貴的專屬儲存硬體,只要使用標準的x86伺服器與其硬體即可整合,可以大幅節省初期的採購成本以及後續的維護成本。
VMware vSAN早在2014年vSphere 5.5 Update 1推出時便隨之發行,VMware vSAN從此開始了一段快速成長的歷程,成為一個被IT業界廣為接受的軟體定義儲存(SDS)和超融合基礎架構(HCI)的解決方案,其主要原因除了徹底發揮SDS在高彈性、高效能、高可靠度以及高可用性的四大特色之外,也由於它從部署到各項維護管理功能,皆已整合於現有的vSphere Client中,因此廣受IT專業人士的青睞。而就在VMware vSAN一路向上發展的同時,Microsoft也推出基於Windows Server與Hyper-V技術的S2D(Storage Spaces Direct),它同樣也是一項軟體定義儲存的架構設計。
無論最終選擇哪一家的軟體定義儲存方案,除了需要擬定完整的部署計畫外,懂得如何做好平日的維運任務尤其重要,而維運任務中懂得善用監視與診斷工具,便是決定維運效率的關鍵因素。VMware vSAN 8在整合vSphere 8的管理工具下,如何讓IT人員能夠在一致性的介面設計中輕輕鬆鬆達成維運目標,就是接下來要實戰講解的內容。
從vCenter管理vSAN
在一個中大型以上規模的企業網路中,往往會部署多台的vCenter Server在相同的vSphere網域內,其主要目的在於要做好分支營運網路的管理,讓分支辦公室的IT人員可以就近管理授權範圍內的ESXi主機、叢集、網路、儲存設備、虛擬機器。
vSAN叢集的部署與管理,同樣可以授權給各分支網路的IT人員來管理,在充分取得授權後,他們只要在vSphere Client網站上,點選至所屬的vCenter Server節點,再點選至「設定」→「vSAN」→「HCI網格」頁面,即可在「資料存放區來源」子頁面中,如圖1所示,查看與此vCenter相關的vSAN資料存放區來源清單。
在「叢集」子頁面中,則可檢視和管理此vCenter中的vSAN叢集。若點選至「資料存放區」頁面,除了能夠檢視整個資料存放區的容量大小與剩餘空間外,還可以查看所有vSAN資料存放區的清單,以及每一個資料存放區所屬的vCenter Server、叢集、容量使用量、可用容量、虛擬機器數量等等資訊。
如圖2所示,在「更新」管理部分,管理員可以針對HCL資料庫使用「從檔案更新」或是「線上取得最新版本」。對於版本目錄的更新,則可選擇「從檔案更新」。
無論是對於vSAN效能的診斷,還是版本的更新,儘管某些功能的操作沒有強制必須連線網際網路,但最好還是讓vCenter Server可透過Internet的連線方式來完成,如此可簡化平日維護上的複雜度。
若擔心直接連線Internet的安全性疑慮,可以到「vSAN」→「網際網路連線」頁面中按下〔編輯〕按鈕,開啟「編輯網際網路連線」頁面,在此可進一步勾選「如果您的系統使用Proxy伺服器,請進行設定」設定,然後依序完成主機名稱、連接埠、使用者名稱、密碼設定,即可讓vCenter Server對於HCL資料的更新透過Proxy連線來完成。
vSAN叢集基礎監視
在VMware vSphere 8中所提供的vSphere Client網站,相較以前版本的設計已經變得更加友善,且有更加完整的資訊可以檢視。其中對於檢視vSAN叢集運行的健康狀態,最快的方法就是如圖3所示在vSAN叢集節點查看「摘要」頁面中的各項資訊,包括vSAN效能、vSAN容量、vSAN健全狀況、叢集服務、叢集取用者。
在vSAN效能的小工具中,預設可以查看過去2小時內的IOPS,以協助IT人員判斷vSAN的基本讀寫效能。如圖4所示,在「vSAN健全狀況」中,可以立即得知目前vSAN叢集是否正常運行中,只要發現健全狀況的評分進入到紅色區域,即表示已有ESXi主機或磁碟群組故障,需要立即處理。
此外,在「摘要」頁面的「問題和警示」區域內,也會如圖5所示出現相關的警示訊息,這些警示訊息通常會在相關問題解決完畢後自動消失,若發現問題已解決但警示訊息仍然出現,只要在相對訊息的「動作」連結選單中,選擇將其設定為綠色即可。
Skyline健全狀況
Skyline Health是一項用於查看vSAN健康狀況的重要功能,如圖6所示,可以透過vCenter Server節點,或是ESXi主機、vSAN叢集節點來查看Online Health Availability、Compute、Network、Security、Self support Diagnostics、Storage、General等等類型的健康狀況。
接下來看一個實際例子,如圖7所示,在「Skyline Health」頁面中發現系統診斷出有三個狀況不良的問題,並且這些問題皆會影響目前vSAN檔案服務的正常運行,若想要做進一步詳細檢查,可以參考其中的說明。接著,按下「基礎結構健全狀況」中的〔疑難排解〕按鈕。
如圖8所示,在「基礎結構健全狀況」→「疑難排解」頁面中,展開其中的「如何進行疑難排解並修正」節點,查看目前在vSAN叢集中每一台ESXi主機的健全狀況,包括它們各自的vSAN檔案服務節點、VDFS精靈、根檔案系統的運行狀態。
以此範例來說,可以發現上述的這些運行狀態,皆出現錯誤的警示圖示,表示有關於vSAN的檔案服務已無法運行。當進一步查看「說明」欄位,才發現原因竟是「File service license is not found」,也就是vSAN的授權問題。
接下來,點選至vSAN叢集節點的「設定」→「授權」→「vSAN叢集」頁面,如圖9所示,便會發現在「授權到期」欄位中已顯示「已到期」訊息,也因為這個問題才導致整個vSAN無法運行。此時,若已經取得合法的vSAN授權金鑰,就按下〔指派授權〕按鈕進行更新即可。
一旦完成合法的vSAN授權金鑰更新,當再次回到「Skyline Health」頁面中,如圖10所示,便可以看到目前的叢集健全狀況評分已經回到95分以上,並且檔案服務的相關功能也自動陸續恢復正常。
最後,進一步查看「Skyline Health」頁面中針對「檔案伺服器健全狀況」的「歷程記錄詳細資料」,可以看到不同的圖形符號,對應在不同時間點的呈現,若點選該圖形,便可查看當時發生的完整事件內容。
監視虛擬物件
什麼是虛擬物件?其實在vSAN叢集的架構中,就是指構成目前vSAN的主要物件,包括vSAN檔案服務的Node、檔案共用、檔案服務根檔案系統、效能管理物件等等。這些物件可以在vSAN叢集節點的「監控」→「vSAN」→「虛擬物件」頁面中,如圖11所示,查看它們每一個的物件狀態,若有任一物件呈現非「狀況良好」的訊息,便需要立即處理才能維持vSAN的正常運行。
另外值得注意的是,在「虛擬物件」清單中,可針對選定的檔案共用物件點選「檢視檔案共用」超連結,接著會開啟「檔案共用」頁面,如圖12所示,可以檢視任一個檔案共用配置資訊,包括基礎、實體放置、效能以及快照,其中「基礎」頁面最為重要,因為可以在此查看到SMB的UNC共用路徑、主機以及配額資訊。
容量使用量監視
隨時掌握vSAN儲存容量的使用狀況,是IT人員在日常維護中不可或缺的一環,因為除了必須從中得知目前vSAN的可用空間外,也要知道主要占用空間的物件,以便適當地刪除閒置的檔案、虛擬機器或是調整儲存原則、檔案共用配額設定等等。
可以在「監控」→「vSAN」→「容量」頁面中,先如圖13所示查看有關「容量使用量」的分析結果。這裡除了總體容量的剩餘空間外,還能夠看到虛擬機器、使用者物件、系統使用量,其中虛擬機器包括VMDK檔案、虛擬機器命名空間、交換物件,使用者物件則包括iSCSI。至於系統使用量,則包括效能管理物件以及檔案系統額外負荷。
此外,必須注意的是在「假設分析」區域中的資訊,可以如圖14所示根據不同的vSAN儲存原則選項設定,來得知新工作負載的有效可用空間。在「超額訂閱」區域內,則可得知若所有虛擬機器的精簡佈建,以及使用者物件容量皆完全使用時,所需要的容量大小與現行可用容量的比較。最後,建議切換到「容量歷程記錄」子頁面,進一步檢視關於重複資料刪除與整體容量的趨勢分析圖。
效能監視
針對許多IT人員關心的vSAN運行的效能表現問題,如圖15所示,可以在「監控」→「vSAN」→「效能」頁面中分別查看到虛擬機器、後端、檔案共用、IOINSIGHT、VSAN DIRECT以及iSCSI運行的效能分析。不過,必須注意的是在尚未啟用相對應的服務前,該服務的選項頁面便不會出現,以此範例來說,由於沒有啟用iSCSI Target服務,因此便沒有出現「iSCSI」效能頁面。
在此,可以根據選定的時間範圍來檢視IOPS、輸送量、延遲時間、頻寬以及壅塞等分析圖,例如針對選定的檔案共用,查看最近1小時內的效能表現,若發現有效能狀況不佳的情況,可以進一步查看是否為IOPS或頻寬等問題所造成。
vSAN的運行效能也可從ESXi主機節點來查看,以便找出可能影響vSAN整體效能表現的主機。在vSAN叢集下的任一主機節點,點選至「監控效能」→「vSAN」→「效能」頁面,如圖16所示,即可查看有關虛擬機器、後端、磁碟、實體介面卡、主機網路、IOINSIGHT、VSAN DIRECT的效能分析圖表,並且皆可自訂時間範圍。
在此以「主機網路」為例,能查看的效能圖表包括vSAN主機網路I/O輸送量、vSAN主機每秒封包數、vSAN主機封包捨棄率、vSAN主機連接埠捨棄率、RDT網路總和檢查碼。
有關vSAN效能的表現,除了可從vSAN叢集與主機來分析外,也可以從選定虛擬機器的「監控」→「vSAN」→「效能」頁面中來監視虛擬機器或虛擬磁碟的IOPS、輸送量、延遲時間。若想取得虛擬機器I/O在vSAN堆疊中的每一層延遲分析明細,只須點選「監控」→「vSAN」→「I/O行程分析器」頁面中的「執行新的測試」,就能夠進一步設定分析時間的長短,或自訂排程來定期執行。
接著是IOInsight頁面的診斷功能,它是一個可以讓管理員在vSAN叢集中,針對選取的虛擬機器來衡量I/O效能指標的工具。可以建立和管理多個執行個體,以及可設定讓每一個執行個體,負責監測一個或多個虛擬機器的I/O效能,並且在指定的時間內完成效能資料收集,最後便可以針對這些執行個體檢視度量圖表。
如圖17所示,在「效能」的「IOINSIGHT」子頁面中,預設並沒有任何執行個體,按一下〔新增執行個體〕按鈕繼續。
接著,在「選取目標」頁面中,可以連續選取ESXi主機下的任一虛擬機器,以便監控所有相關聯的虛擬磁碟檔案(.vmdk),如圖18所示。必須注意的是,後續若要啟動此執行個體,必須在相關的虛擬機器並未正在執行vMotion,以及相關的主機沒有正在作用中的執行個體狀態下,才能夠成功啟動。按下〔下一步〕按鈕,繼續設定。
在「設定」頁面中,可以自訂IOInsight執行個體的名稱,並且設定持續時間(上限=24小時),然後按下〔下一步〕按鈕。最後,在「檢閱」頁面中確認上述設定無誤後,按下〔完成〕按鈕。
完成執行個體的新增並等待任務完成後,就可以在選定的執行個體選單中點選「檢視度量」。如圖19所示,這裡可以針對選定的執行個體,查看相關的效能圖表,包括IOPS、輸送量、循序與隨機輸送量、循序與隨機IO比率、4K對齊與未對齊IO比率、讀取與寫入IO比率、IO大小分布,以及IO延遲分布。
當所建立的IOInsight執行個體數量越來越多時,可以透過關鍵字的搜尋與時間範圍的設定,迅速找到執行個體來進行檢視度量、重新命名、重新執行以及刪除等操作。
效能的圖表與數據可以進行匯出,只要點選上一個步驟頁面中,位於右上方的「匯出結果」超連結,即可在如圖20所示的設定頁面中,勾選想要匯出的VMDK效能資料以及相關的度量。成功匯出的檔案將會是ZIP格式,此壓縮檔中將包含SVG影像檔案以及CSV檔案,其中的CSV檔案,可以透過Microsoft Office的Excel來開啟,並且進行樞紐分析等進階操作。
效能診斷
效能診斷功能會透過分析先前執行的基準,對於所偵測到的問題進行說明,並提供效能圖形以及建立的修復步驟。想要使用此功能,必須先確認此主機能夠連線Internet,然後需要在vCenter Server上加入客戶經驗改進計劃(CEIP),以及在此vSAN叢集中啟用效能服務。
關於vSAN的效能服務,其實在初步完成vSAN服務啟用時,預設便已經隨之啟用,可以到vSAN叢集節點的「設定」→「vSAN」→「服務」頁面中查看。至於客戶經驗改進計劃的設定,在vSphere Client主功能選單的「部署」→「客戶經驗改進計劃」頁面中,便能查看目前的計畫狀態。若發現尚未加入,點選「加入計劃」連結即可。如圖21所示,便是已成功加入客戶經驗改進計劃的顯示頁面。
接下來,便可以在vSAN叢集節點的「監控」→「vSAN」→「效能診斷」頁面中,如圖22所示,針對選定的基準目標(最大IOPS、最大輸送量、最小延遲)以及時間範圍,查看效能診斷的結果。以診斷「最大IOPS」為例,執行結果將會顯示讀取IOPS與寫入IOPS的分析圖,並且顯示所偵測到的相關問題。若每秒的讀取和寫入的IO數據低於一般臨界值,則不會有任何與虛擬機器耗用量相關的問題出現。
支援效能監視
針對vSAN運行效能的細部檢視部分,如圖23所示,可透過「支援」→「支援效能」頁面來監視,可以先選擇所要查看的效能儀表板,再設定要監視的物件與時間範圍,這些效能儀表板分別有DOM用戶端、DOM擁有者、DOM元件管理員、LSOM磁碟群組、vNic網路、LSOM、網路、CLOM、記憶體、CMMDS、CPU、DOM元件排程器、vSAN分布、叢集重新同步。
其中,許多的類別下還有子項目可以選擇,例如在「網路」類別下還可進一步選擇pNIC網路、TCP/IP、主機網路、RDT。
圖24所示是檢視LSOM磁碟群組效能的範例,在此可以先選擇「顯示特定磁碟群組」,再設定時間範圍。至於可以選擇的效能圖形,分別有前端(客體)IOPS、前端(客體)輸送量、前端(客體)延遲時間、額外負荷IOPS、額外負荷延遲時間、壅塞。
資料移轉預先檢查
為了避免未來vSAN叢集中會有主機故障或是停機維護的需求,最好預先在「監控」→「vSAN」→「資料移轉預先檢查」頁面中,如圖25所示,針對選定的ESXi主機或磁碟群組,執行移轉全部資料、確保可存取性、不移轉資料的測試。藉此讓管理人員得知目前運行中的虛擬機器,或是存放於iSCSI LUN、檔案共用儲存區的檔案,是否能夠成功通過移轉測試。
接著,試著針對選定的esxi01.lab02.com主機,進行不移轉資料的預先檢查測試。在測試結束後,可以得知當此主機無法正常連線時,vSAN叢集將會有8個物件無法存取,至於是哪8個物件,則可以從下方的「物件狀態」清單中查看。
進一步可以在「叢集容量」頁面中,如圖26所示,查看到執行vSAN資料移轉測試前後的容量比較,並且可從下方的ESXi主機清單中,發現esxi01.lab02.com主機出現了「維護模式。無容量」的訊息,換句話說,往後若真的發生此主機無法連線,其所縮減的容量大小,便是因為此主機故障所致。
vSAN Live App行動監視
目前若想要監視vSAN叢集的運行狀態,不一定非得透過vSphere Client網站,更不必使用專家等級的ESXCLI或PowerCLI命令工具才能進行,只要在企業內網隨時透過身邊的手機或平板就能夠輕鬆完成。
方法很簡單!在App Store或Play商店中搜尋並下載vSAN Live App,完成安裝並執行後,首先系統會出現憑證安裝要求的提示訊息,告知用戶必須先下載與安裝VC(vCenter Server)的憑證到此裝置中,即便是採用舊版所支援的外部PSC(Platform Services Controller)架構方式,一樣得連線登入到相對的網站路徑來下載根憑證檔案。在vSAN Live App登入頁面中,點選「INSTALL CERTIFICATES」超連結進行下載,本文範例中的下載網址是「https://vcsa01.lab02.com/certs/download.zip」。
在透過手機網頁瀏覽器連線下載vCenter Server憑證的過程中,可能會出現安全警示的訊息頁面,透過進階選項繼續瀏覽該網站,然後完成下載憑證檔案(ca.cer)並直接開啟安裝頁面,在執行安裝過程中應該會出現要求輸入裝置密碼的訊息。在通過裝置密碼的驗證後,如圖27所示,設定此憑證的用途為「VPN和應用程式」並完成憑證的命名。
完成憑證的下載、安裝以及設定後,就可以在vSAN Live App的登入頁面中,如圖28所示依序輸入登入vCenter Server的帳號、密碼、網址,然後點選〔Login〕。在此可以繼續新增更多不同的設定,值得注意的是,目前vSAN Live App並沒有像vSphere Mobile App可設定結合指紋辨識的驗證方式,否則往後的登入就只需要通過指紋,就能夠完成連線登入。
成功登入vSAN Live後,便可以檢視到所有vSAN的叢集清單,如圖29所示,每一個vSAN叢集也都會顯示目前的主機與虛擬機器數量,而負載部分也會顯示CPU、Memory負載以及vSAN儲存區空間的使用狀況。在進階資訊方面,則可以點選任一vSAN叢集進行開啟。
在開啟vSAN叢集頁面後,可以查看到目前容錯網域中慣用與次要的ESXi主機成員。接著,可以得知各項服務配置的啟用狀態,包括vSphere HA、vSphere DRS、重複刪除與壓縮、效能服務、vSAN iSCSI目標服務。
切換到「Health」頁面中,就能查看vSAN叢集最新測試結果的各項健康報告,這些分類包括實體磁碟、叢集、硬體相容性、線上健全狀況、網路、資料、延伸叢集、容量使用量、效能服務、vSAN組件編號建議等等。
當展開選定的類別,便可以檢視每一個細項的健康狀態,例如可以從「硬體相容性」類別中,發現一個「NVMe裝置已通過VMware認證」的警示訊息,這表示在目前的vSAN叢集內有磁碟群組中的磁碟,採用了尚未通過VMware認證的磁碟,不過由於目前系統並沒有強制得安裝通過認證的磁碟,因此vSAN仍然可以正常運行。
接著,在「Performance」頁面中可先設定所要檢視的時間範圍,再往下滑動,便可查看虛擬機器或後端的IOPS、輸送量、延遲時間、壅塞以及未完成IO的效能圖表。
如圖30所示,在「Capacity」頁面中,能夠檢視到目前vSAN的可用容量,接著可以檢視空間使用的分布圖,包括依照類型、虛擬機器資料、使用者物件、系統資料。
最後,在「Info」頁面中可檢視到目前vSAN叢集各項服務的啟用狀態以及配置。這些服務包括iSCSI目標服務、容量管理、檔案服務以及容錯網域等等。以檔案服務(File Service)為例,如圖31所示,展開後將可查看到有關檔案服務的網域名稱、DNS伺服器、DNS尾碼、AD網域、AD使用者名稱、網路名稱、IP位址等資訊。
ESXCLI命令監視工具
學會使用vSphere Client網站及vSAN Live App工具來監視與診斷vSAN的健康狀態後,還可以進一步學習善用ESXi主機內建的ESXCLI命令,來同樣進行有關vSAN健康狀態的基本監視。
首先,透過ESXi主機Console或SSH遠端連線方式來開啟命令提示,並執行「esxcli vsan cluster get」命令參數後,便能檢視到目前所在主機的叢集功能是否已經啟用,以及節點(Node)的類型、節點的狀態、節點的健康情形、維護模式是否已啟用、vSAN ESA模式是否已啟用等資訊。其中若發現vSAN ESA Enabled目前狀態是false,即表示目前啟用的是vSAN OSA模式。
若想要進一步取得選定vSAN叢集健全狀態的完整清單,如圖32所示,執行「esxcli vsan health cluster list」即可。其中不同的燈號即表示不同的健康狀態,亮紅燈(Red)表示錯誤、亮黃燈(Yellow)表示警告、亮綠燈(Green)表示健康。其中,顯示為紅燈的元件問題需要即刻處理,否則會影響某部分功能的運作,至於黃燈,則建議先開啟vSphere Client的網站,完整查看一下事件的內容,再來決定處理方式,因為有一些警告確實是可以忽略的。
舉例來說,若發現「Hosts with connectivity issues」診斷出紅燈(Red)狀態,那麼肯定是一件需要立即處理的重大事件,但如果僅是「Network latency check」診斷出黃燈(Yellow)狀態,則即便沒有第一時間處理,也不會導致vSAN立即無法正常運行。
想要查看在vSAN架構下的所有儲存設備清單,可以如圖33所示執行「esxcli vsan storage list」命令參數來得知,其中包括每一個儲存設備的識別碼、顯示名稱、是否為SSD、是否已啟用壓縮功能、是否已啟用重複刪除功能、是否已啟用加密功能、是否已成功掛載等等資訊。
若想進一步得知每個磁碟所屬的主機、磁碟群組、磁碟層類型、壅塞的健康狀態、容錯網域等資訊,則執行「esxcli vsan debug disk list」命令參數。
如果只是想唯一檢視整體磁碟健康狀態,則只要執行「esxcli vsan debug disk summary get」命令即可。
針對每一台虛擬機器中,每一個虛擬磁碟檔案的存放路徑資訊,如圖34所示,可執行「esxcli vsan debug vmdk list」命令參數來列舉。在此除了可以查看到每個虛擬磁碟的存放路徑外,還能夠得知該磁碟的類型(vdisk或vmswap)與健康狀態。
若是對於vSAN磁碟剩餘空間的健康狀態、讀取的快取保留空間健康狀態、快取保留空間的大小有疑慮,則如圖35所示執行「esxcli vsan debug limit get」命令參數來查看。
有關iSCSI服務的運行狀態,只要執行「esxcli vsan iscsi status get」命令參數,就能夠查看到vSAN iSCSI目標(Target)服務的啟用狀態,如圖36所示,呈現的Enable:false狀態即表示此服務目前正在關閉狀態。
若要查看iSCSI目標清單資訊,則執行「esxcli vsan iscsi target list」命令參數。至於針對選定目標完整配置的查詢,可以參考執行「esxcli vsan iscsi target get -a vSAN-iSCSI-Target」命令參數。
結語
現今無論是私有雲還是公共雲,以軟體定義為主的儲存架構已是主流,因為它除了能夠充分利用主機的每一分資源來發揮最大運行效能與儲存空間外,在部署與管理上也更具彈性,也因此讓它成為企業資料中心的關鍵服務。
為此,VMware vSAN提供IT人員全方位的管理工具,從本文的介紹中即可得知無論是圖形介面、命令工具還是行動App,可說是應用盡有滿足了各種情境下的管理需要。對於它未來在IT管理工具的發展,若能夠結合AI Chat技術的應用,肯定可以讓整個vSphere與vSAN的管理邁向一個全新的里程碑。
<本文作者:顧武雄,Microsoft MVP 2004-2016、MCITP與MCTS認證專家、台灣微軟Technet、TechDays、Webcast、MVA特約資深顧問講師、VMware vExpert 2016-217、IBM Unified Communications/Notes/Domino/Connections Certified。>