本文將實戰說明如何善用VMware vSAN 7.0的原生檔案服務,來提供從Linux到Windows的檔案儲存管理需要,透過啟用iSCSI Target功能的方式,讓任何有叢集架構需求的第三方系統,都可以一起享用vSAN的高速運行。
對於IT基礎建設的管理員來說,令他們最頭痛的維護工作,儲存設備(Storage)肯定是其中一項,這裡所說的儲存設備指的不一定是一台專責的NAS或SAN設備,也可能是一台由Windows或Linux相關作業系統,透過內建功能或整合第三方軟體所安裝配置好的Storage System,除了可用於組織中一般文件、ISO文件、影音檔案、相片檔案的管理外,也能夠作為任何一種叢集架構或虛擬化平台的後端共用儲存設備。
無論用途為何,對於組織中廣泛的用戶來說,他們在意的只有空間與效能的問題,只要存取空間的限制不要太嚴苛並且存取的速度飛快,相信所有用戶都會非常滿意IT部門的表現。相反地,如果空間不夠大存取速度也慢,甚至於有時候還會發生連線意外中斷的網路問題,肯定會引來使用者單位的不滿。
曾經有企業IT人員隨便買了一台輕量級的家用NAS設備,不僅做為全公司人員的共用檔案伺服器,還身兼應用系統,透過自動化的計畫配置來存放每日大量報告檔案的儲存位置,結果使用日子一久雖然可用空間還足夠,可是當檔案與資料夾數量多到一定程度時,用戶連線的存取效能就大打折扣,更令人憂心的是,萬一硬體發生故障,所有人員都將無法繼續連線存取,甚至讓所有重要的檔案資料也跟著毀損。
為了避免此種悲劇發生,IT部門所部署的網路儲存系統需要滿足高可靠度、高可用性、高延展性以及高效能的四大條件。由於現今是組織私有雲的年代,因此最好的網路儲存系統架構,筆者認為就是採用以VMware vSAN 7.0為基礎的軟體定義儲存(SDS)技術,它不僅可以作為VMware vSphere 7.0虛擬機器的高速資料存放區,還可同時當作iSCSI Target以及NFS檔案服務的共用儲存區,如何辦到?且看接下來的實戰講解吧!
請注意!目前只能在一般的vSAN叢集上啟用檔案服務功能,在vSAN延伸叢集上並不支援檔案服務的啟用。
檢查vSAN運查行狀態
vSAN原生檔案服務位於vSAN架構的頂層,它是由vSAN專屬的分散式檔案系統(vDFS)所組合而成,其主要用途就是提供檔案共用給其他系統。可透過它所支援的SMB、NFSv3或NFSv4.1通訊協定進行連線存取。換句話說,vSAN基礎架構的穩定運行相當重要,才能確保來自外部其他系統進行大量的檔案存取。
想要隨時得知vSAN的運行狀態,基本上只要透過行動裝置的vSAN Live App即可得知,若是在電腦面前,則可以檢視到更加完整的健康資訊。首先,在vSAN叢集的頁面中,直接查看到如圖1所示的「vSAN概觀」,可以快速檢視目前vSAN容量的使用狀態,以及vSAN健全狀況與各項效能的運行表現。
若要針對vSAN進行更完整的細部健康檢測,則可以切換到叢集的「監控」→「vSAN」下來選擇進入Skyline健全狀況、虛擬物件、實體磁碟、重新同步物件、主動測試、容量、效能、效能診斷、支援以及資料移轉預先檢查。上述的任何一個選項檢測結果,無論是發生警示,還是錯誤的事件,都能夠透過即時的說明或線上的知識庫(KB)來協助排除。
此外,值得注意的是,如果在vSAN叢集下任一主機的「摘要」中出現如圖2所示的「主機無法與已啟用vSAN之叢集中的一或多個其他節點通訊」訊息提示,就表示有相關的主機已經停機或是斷網,此時就必須趕緊進行相關檢查,並排除故障問題,才能確保後續能夠正常啟用vSAN的原生檔案服務。
建立vSAN NFS專用網路
想要讓用戶感受到高速的vSAN檔案服務存取體驗,除了vSAN叢集中每一台主機的CPU、RAM以及Storage運行效能會直接影響外,連接的網路也是一個重要的關鍵因素。究竟網路該如何選擇以及配置呢?對於擁有大量檔案存取需求的IT環境來說,伺服端的網路最好皆採用10Gbps以上的傳輸速度,另外還必須將不同功能用途的實體網路連接在不同的Switch來運行。
準備好vSAN檔案服務所需要的實體網路環境後,接下來就為它在vSphere架構中新增一個其專屬的虛擬機器網路。先在第一台vSAN的叢集主機,點選「設定」→「網路」→「虛擬交換器」頁面中的「新增網路」連結,來開啟的「選取連線類型」頁面。如圖3所示,選取「標準交換器的虛擬機器連接埠群組」,然後按下〔NEXT〕按鈕。
在「選取目標裝置」頁面中,可以選擇現有的標準交換器,或是選擇新增標準交換器,設定完畢再按下〔NEXT〕按鈕。接著,在「連線設定」頁面中,如圖4所示,輸入一個適當的網路標籤以做為後續啟用檔案服務時識別使用。若有使用VLAN識別碼,可以在此進行設定。按下〔NEXT〕按鈕後,確認上述設定皆無誤,即可按下〔FINISH〕按鈕。
如圖5所示,便會看到已在vSwitch2的配置中,成功新增一個名為「vNFS Network」的網路設定,而後續仍可以對於此設定進行編輯或刪除。在陸續完成vSAN叢集中三台主機的網路設定後,接下來就可以準備啟用vSAN原生的檔案服務。
啟用vSAN原生檔案服務
關於vSAN原生檔案服務功能的啟用條件,首先在現行vSAN叢集中至少要有3台ESXi主機,只要少一台主機或是有其中一台主機沒有啟用vSAN網路服務,檔案服務功能便會反白而無法點選啟用設定。除此之外,在接下來啟用的設定步驟中,每一個節點的新檔案伺服器都需要配置靜態IP位址、子網路遮罩和閘道,並且每一個IP位址都要有對應的DNS名稱,以及有設定好反向DNS查閱,才能成功完成檔案服務的啟用。
首先,在vSAN叢集的「設定」→「vSAN」→「服務」頁面中,展開「檔案服務」並點選「啟用」。執行之後,在「檔案服務代理程式」頁面中自行選擇自動方法或手動方法來部署vSAN File Services Appliance,建議採用前者方式並勾選「信任憑證」來完成快速部署,除非主機無法連線Internet網路,才使用後者方式來進行,不過這種做法就必須自行手動選定必要的檔案來完成上傳操作,分別有VMware-vSAN-File-Services-Appliance-x.x.x.x-x_OVF10.mf、VMware-vSAN-File-Services-Appliance-x.x.x.x-x-x_OVF10.cert、VMware-vSAN-File-Services-Appliance-x.x.x.x-x-x-system.vmdk、VMware-vSAN-File-Services-Appliance-x.x.x.x-x-cloud-components.vmdk、VMware-vSAN-File-Services-Appliance-x.x.x.x-x-log.vmdk、VMware-vSAN-File-Services-Appliance-x.x.x.x-x_OVF10.ovf。
接著來到「網域」頁面,如圖6所示先為新的檔案服務網域命名,再設定DNS伺服器的IP位址和DNS尾碼,必須注意的是,在所選定的DNS伺服器中,已經完成了前面所提到的各節點名稱正向與反向的解析設定。按下〔下一步〕按鈕,繼續設定。
如圖7所示,在「網路功能」頁面中,先挑選前面已建立的vSAN檔案服務專用網路,再選擇通訊協定並輸入子網路遮罩、閘道IP位址,然後按下〔下一步〕按鈕。
來到「IP集區」頁面後,如圖8所示只要先輸入第一台vSAN主機要做為檔案服務的IP位址,再點選「查詢DNS名稱」連結,便可自動完成名稱的輸入,最後即可透過點選「自動填充」連結,迅速完成其他兩台主機資訊的輸入。
成功啟用檔案服務後,如圖9所示便會完整顯示該服務的網域、DNS伺服器、DNS尾碼、共用數目、網路、子網路遮罩、閘道、IP位址以及版本資訊。若想要完整查看這三台主機的IP位址以及對應的DNS名稱,只要點選「查看全部」連結即可。
首次成功啟用了檔案服務之後,系統會為vSAN叢集中每一台的節點主機安裝檔案服務代理程式(File Service Agent),以便讓NFS伺服器的相關服務完成啟動,如此後續才能夠開始新增檔案共用,讓內網的用戶端或伺服器可以上傳、下載以及更新檔案。
新增檔案共用
在啟用vSAN檔案服務之後,就可以新增檔案共用,以便讓授權的用戶端或伺服器可以連線存取。在vSAN叢集的「設定」→「vSAN」→「檔案服務共用」頁面中,按下〔新增〕按鈕超連結來開啟「一般」頁面。如圖10所示,在此先完成共用名稱的輸入,並選擇適合的儲存區原則,接著再自訂警告臨界值的配額大小以及固定配額的大小,以控管有限的共用儲存空間。進一步還可以設定標籤,做為當有大量檔案共用時的快速識別與篩選。按下〔下一步〕按鈕,繼續後面的設定。
如圖11所示,在「網路存取控制」頁面中,可以針對此檔案共用,選擇設定無存取權、允許從任何IP存取或是自訂網路存取,在此以自訂網路存取為例。接著,為每一個新增的規則,自訂每一個IP位址的網段(例如192.168.7.0/24)所對應的權限(無存取權、唯讀、讀取∕寫入),並決定是否使用根權限壓縮功能。必須注意的是,規則是按從上到下的順序生效,也就是說,上面的規則將覆寫下面的規則。也可以透過輸入*符號來表示上述規則中所有未提及的IP位址。按下〔下一步〕按鈕之後,在「檢閱」頁面中確認上述配置沒有問題,再按下〔完成〕按鈕。
如圖12所示,再次回到「檔案服務共用」頁面,便可查看到剛剛所新增的檔案共用設定,可以隨時針對此設定進行編輯或是刪除。後續如果要提供授權的用戶進行檔案共用路徑的存取,可以在「複製URL」選單中選擇複製NFS v3或v4.1的相容連結,以本範例來說,相對應的連接字串分別是「192.168.7.111:/vnfs-share01」、「192.168.7.111:/vsanfs/vnfs-share01」。必須注意的是,在Windows中只支援使用NFS v3的連線方式,至於在Linux,則已有許多相容NFS 4.1版本的作業系統,例如Red Hat Enterprise Linux 7以上版本。
Windows 10連接vSAN檔案共用
只要完成了vSAN檔案共用的新增之後,無論是在Windows還是Linux作業系統中,都可以輕易地透過圖形介面或命令模式以NFS Client進行連線。以Windows 10為例,若想連線NFS的檔案共用,必須在「Windows功能」管理中加入「Service for NFS」→「Client for NFS」功能的安裝才行。接下來,開啟Windows的本機管理介面,然後如圖13所示點選上方功能列的「新增一個網路位置」選項。
緊接著,在「指定網站位置」頁面中,如圖14所示便可以輸入Windows所相容的NFS v3網路連線路徑,也就是「192.168.7.111:/vnfs-share01」,但是這裡可以改成輸入UNC的路徑表示法「\\192.168.7.111\vnfs-share01」。再按下〔下一步〕按鈕,完成網路位置名稱的設定。
如圖15所示,便是成功連線vSAN檔案共用服務位置的範例。接下來,開始進行檔案的存取。至於空間的使用情況,可以回到vSAN叢集的「設定」→「vSAN」→「檔案服務共用」頁面中查看。
上述示範了透過圖形介面的操作方式來進行vSAN檔案共用的連接,也可以開啟命令字元視窗,如圖16所示,先透過執行「showmount -e 192.168.7.111」命令參數,來查詢目前可用的檔案共用清單。接著,再透過執行「mount 192.168.7.111:/vnfs-share01 X:」命令參數,來連接掛載選定的檔案共用至選定的磁碟機代號。當不再使用此檔案共用連線,則執行「umount X:」命令來完成網路磁碟連線的卸載。
使用PowerCLI管理vSAN檔案服務
Windows PowerShell在如今的Windows 10或Windows Server 2019作業系統中,已經成為取代傳統DOS命令介面的工具,儘管用戶仍可開啟DOS命列介面,但實際上大可不必這麼做,因為DOS能夠執行的任何命令,在Windows PowerShell中通通都可以執行。
Windows PowerShell可是遠比傳統DOS的命令介面強大許多,透過它除了能夠管理作業系統的所有配置外,也幾乎可以管理Microsoft絕大部分的伺服端應用系統,包括Exchange Server、SharePoint、SQL Server、System Center以及雲端的Azure等等,可算是無所不能。
它能夠以很簡單的命令(Cmdlet)參數來完成某項任務的操作,也可以藉由多個命令參數與變數、迴圈以及判斷式的結合,撰寫成一個全自動化的維運程式(Script),來解決原本需要在圖形介面中複雜操作流程的執行任務,因此對於進階的IT人員來說,是一項不可或缺的重要工具。
同樣地,VMware也有自己的一套PowerCLI的Cmdlet集合,來做為維護、調校以及管理整個vSphere與vSAN以及vCloud運行架構的強大工具之一。由於PowerCLI也是以PowerShell作為底層技術的基礎,因此可以直接在Windows PowerShell命令介面中進行操作,不需要再去熟悉第二種操作介面與基礎命令格式的用法。截止目前為止,最新版本是PowerCLI 12,可以到官網(https://code.vmware.com/web/tool/12.1.0/vmware-powercli)下載安裝。
如圖17所示,在VMware PowerCLI官網頁面中,可以發現安裝此命令工具的方法有兩種。最簡單的方式是直接在Windows PowerSehll命令介面中,透過執行「Install-Module -Name VMware.PowerCLI」命令參數進行安裝,另一種方式則是點選下載其ZIP檔案(例如VMware-PowerCLI-12.1.0-17009493)來完成安裝。無論採用哪一種安裝方式,都能夠透過執行「Connect-VIServer」命令來連線vCenter Server,然後便可以開始執行所有可用的PowerCLI命令。
關於VMware PowerCLI所有命令的用法以及可用參數的說明,可以連線到「https://code.vmware.com/docs/11794/cmdlet-reference」官網查詢,當然也可以直接在此網站下載整個說明文件來離線閱讀。以下則是針對PowerCLI 12所新增加關於vSAN 7.0原生檔案服務的專用命令,透過這些命令與相關參數的搭配使用,管理人員就能夠輕鬆啟用原生檔案服務,並建立各式各樣的檔案共用配置:
Get-VsanFileServiceDomain New-VsanFileServiceDomain Set-VsanFileServiceDomain Remove-VsanFileServiceDomain New-VsanFileServiceIpConfig Get-VsanFileShare New-VsanFileShare Set-VsanFileShare Remove-VsanFileShare New-VsanFileShareNetworkPermission Add-VsanFileServiceOvf Get-VsanFileServiceOvfInfo
想要知道某一個命令的完整用法說明,以「New-VsanFileShare」這個命令用法的查詢為例,只要執行「Get-Help New-VsanFileShare -Detailed」,即可得知各參數的完整說明與範例。在此,先透過執行「Get-VsanFileServiceOvfInfo | FL」命令參數,來得知檔案服務的OVF檔案版本資訊以及更新的日期與時間。接著,如圖18所示執行「Get-VsanFileShare」以及「Get-VsanFileServiceDomain」兩個命令,分別查看現行的vSAN檔案共用設定,以及檔案服務網域資訊。
接下來,實際在一個現行的vSAN檔案服務網域中新增一個檔案共用配置。如圖19所示,必須執行以下的命令參數,先完成檔案服務網域以及權限兩個變數的設定,這包括了IP子網路範圍設定以及共用存取權限的設定。完成變數設定之後再執行New-VsanFileShare命令與參數,便輕鬆新增了一個名為「FileShare01」的檔案共用,其中VsanFileShareAccessPermission參數設定值分別有NoAccess、ReadOnly、ReadWrite可以使用:
$fileServieDomain=Get-VsanFile ServiceDomain $permission=New-VsanFileShare NetworkPermission -IPSetOrSubnet '192.168.7.0/24' -VsanFileShareAccess Permission 'ReadWrite' New-VsanFileShare -FileServiceDomain $fileServieDomain -Name "FileShare01" -FileShareNetworkPermission $permission -HardQuotaGB 20 -SoftQuotaGB 18
啟用iSCSI目標服務
關於vSAN iSCSI目標服務的啟用、管理以及LUN的新增,都得選擇所要結合使用的虛擬機器儲存區原則,關於此原則的管理,可以從vSphere Client網站的「捷徑」頁面中開啟。
如圖20所示,在此已內建了每一種不同用途的預設虛擬機器原則,可以選擇修改現行的原則或是新增自訂的原則。以vSAN儲存區的原則配置而言,可因應架構規模的大小與高可用性的需求,來調整相對的站台災難容錯、磁碟容許的故障數目、空間保留區,以及對於IOPS的資源限制等等設定。
完成vSAN虛擬機器儲存區原則的配置之後,接下來就可以嘗試啟用vSAN的iSCSI Target服務。在「叢集」節點的「設定」→「iSCSI目標服務」頁面中,點選「啟用」超連結,開啟「編輯vSAN iSCSI目標服務」頁面。
如圖21所示,在此可以選取預先準備好的iSCSI專用網路,再決定是否要使用提供連接時的驗證功能(CHAP或相互CHAP)。若要使用CHAP驗證機制,則必須設定CHAP使用者與密碼設定,其中密碼長度需要12至16個字元、至少一個大寫與一個小寫字元、至少一個數字、至少一個特殊字元、僅限可見的ASCII字元(包含空格)、不得以空格為開頭或結尾。最後,再挑選所要套用的虛擬機器儲存區原則,並按下〔套用〕按鈕。
再一次回到「vSAN服務」頁面中,便可查看到「vSAN iSCSI目標服務」已呈現「已啟用」狀態,並且如圖22所示會一併顯示基本的配置資訊,包括了預設iSCSI網路、預設TCP連接埠、預設驗證類型、常見物件UUID、符合性狀態、常用物件儲存區原則、常用物件健全狀況。後續仍可以透過點選「編輯」的方式,進行配置的修改。
管理vSAN iSCSI目標配置
在完成了啟用vSAN iSCSI目標服務之後,緊接著在「iSCSI目標」頁面中按下〔新增〕按鈕超連結,來開啟「新增iSCSI目標」設定頁面。如圖23所示,首先設定IQN識別碼,可以選擇保留空白,由系統稍後自行產生。若要手動輸入IQN識別碼,其格式為iqn.YYYY-MM.domain:Name,其中冒號(:)後的名稱輸入為選用,適合在建立多個iSCSI目標時作為識別,建議輸入主機名稱。依序完成別名、儲存區原則、網路、TCP連接埠以及CHAP驗證的設定(選用)之後,按下〔套用〕按鈕即可。
iSCSI目標建立完成後,還必須至少建立一個以上的iSCSI LUN(Logical Unit Number),才能夠讓前端欲連接的iSCSI啟動器(Initiator)作業系統來存取,而所謂LUN,其實就等同是在iSCSI Target所建立的磁碟,讓iSCSI Initiator可以透過與iSCSI Target的協調確認權限沒有問題,再開始存取相對應的LUN儲存空間。
建立LUN的方法很簡單,在「vSAN iSCSI LUN」區域中按下〔新增〕按鈕超連結,開啟「新增LUN至目標」頁面,然後如圖24所示依序完成識別碼、別名、儲存區原則以及空間大小的設定,其中空間大小設定可以選擇單位(例如GB),最後按下〔新增〕按鈕。
回到「vSAN iSCSI目標」頁面,如圖25所示,可以在選取任一所建立的vSAN iSCSI目標後,看到所有已建立的LUN儲存空間。可依實際需求繼續新增更多的iSCSI目標與LUN,或是點選「編輯」來修改現行的設定。值得注意的是,若某一個LUN暫時不開放存取,只須點選「離線」,等到需要繼續提供存取時,再點選「線上」即可。必要時,也可以進行移除。
完成iSCSI Target的LUN儲存空間建立之後,最後還必須設定好允許存取的iSCSI啟動器名單才行。在「允許的啟動器」區域中按下〔新增〕按鈕,然後在「新增允許的啟動器」頁面中,如圖26所示,將預設的「每個人」選項改選為「啟動器」並輸入名稱即可,至於那一長串的啟動名稱究竟如何取得,繼續往下看吧!若完成輸入,按下〔建立〕按鈕即可。
設定iSCSI啟動器
原則上,只要完成了vSAN iSCSI 目標服務與LUN的配置,任何被授予權限存取的系統都可以透過iSCSI啟動器的設定來連接相對的LUN儲存區。這裡以Windows 10為例,開啟位於「控制台」中的「iSCSI啟動器」程式。
首次執行iSCSI啟動器,將會詢問是否要讓此服務在每一次作業系統重新啟動時自動啟動,按下〔是〕按鈕繼續。接著,在「目標」頁面中輸入vSAN iSCSI目標服務的位址(IP或FQDN),如圖27所示,執行之後如果出現「非使用中」的狀態訊息,即表示目前尚未授權給此來源的iSCSI啟動器連線存取。
再次按下〔連線〕按鈕,並開啟「進階」頁面,如圖28所示,在此除了可以設定用來連接的本機介面卡、啟動器IP以目標入口IP外,還能夠設定是否要啟用CHAP登入,以及執行相互驗證的配置,進一步則可以透過使用RADIUS來完成更安全的驗證機制。在此若要解決前面步驟中的iSCSI啟動器無法連線問題,先複製iSCSI啟動器的名稱字串,然後回到vSAN iSCSI目標服務中新增允許的啟動器設定,便可以在重新按下〔連線〕按鈕時成功完成連線。
如圖29所示,便是成功連線選定iSCSI目標服務的狀態訊息,可以透過此頁面隨時中斷連線。若想要進一步查看連線中的工作階段(Session),則按下〔內容〕按鈕。
如圖30所示,在「內容」頁面中,可以檢視目前此iSCSI啟動器連線中的工作階段清單,每一項工作階段的資訊,包括目標入口群組標籤、狀態、連線計數、允許的連線數上限、驗證、標頭摘要、資料摘要。同樣地,可以隨時中斷任一現行的工作階段。
iSCSI磁碟管理
一旦從Windows的iSCSI啟動器成功連線vSAN iSCSI目標,便可以開啟作業系統的「磁碟管理員」介面來設定所連接的LUN磁碟。管理員只要在這些LUN磁碟上按下滑鼠右鍵,並點選快速選單中的【連線】選項,即可接著開啟「初始化磁碟」頁面,如圖31所示,決定要採用MBR還是GPT的磁碟分割樣式。決定好了之後,再按下〔確定〕按鈕。
完成LUN磁碟的初始化之後,在磁碟區的上方按下滑鼠右鍵,然後點選快速選單中的【新增簡單磁碟區】。執行之後,首先必須設定簡單磁碟區大小,按下〔下一步〕按鈕。如圖32所示,在「指派磁碟機代號或路徑」頁面中,選定一個磁碟機代號,然後按下〔下一步〕按鈕。
最後,在「磁碟分割格式化」頁面中,分別設定格式化要採用的檔案系統類型、配置單位大小、磁碟區標籤。勾選「執行快速格式化」設定之後,按下〔下一步〕按鈕完成設定即可。
來到本機電腦頁面後,如圖33所示,便能查看到剛剛所連接成功的LUN磁碟代號,可以開始對於它進行檔案的存取操作。若是在擁有多台Windows Server主機的Active Directory架構之下,則可以善用iSCSI共用儲存區的連線機制,來配置各種應用系統所需的高可用性(HA)叢集,包括Hyper-V、Exchange Server、SQL Server等等。
結語
儘管vSAN 7.0所提供的的原生檔案服務以及iSCSI目標服務,對於現今企業的IT環境相當實用,但在細部功能的提供上仍顯不足。
首先,除了有檔案共用服務外,應該也要增加更多細部的安全管理功能,包括針對檔案與資料夾層級的權限配置功能。接著是有關於針對vSAN資料存放區中的管理功能,目前並沒有內建任何的備份∕還原管理工能,這點肯定會讓許多系統管理人員感到不安,因為一個供應全公司使用的vSAN資料存放區,不僅有虛擬機器檔案,可能還有各部門的重要檔案。
再來則是建議提供連線存取vSAN檔案服務共用區的專屬App,以便讓組織中的人員能夠依據權限的配置,隨時開啟手上的智慧裝置進行遠端存取,甚至於可以藉由即時或排程同步的機制,讓廣泛用戶所存放的檔案始終維持在最新狀態。最後是在防毒(AntiVirus)的整合方面,應該要有提供專屬的API,以便讓第三方的資訊安全廠商能夠開發出vSAN專屬的防毒軟體。
<本文作者:顧武雄,Microsoft MVP 2004-2016、MCITP與MCTS認證專家、台灣微軟Technet、TechDays、Webcast、MVA特約資深顧問講師、VMware vExpert 2016-217、IBM Unified Communications/Notes/Domino/Connections Certified。>