善用vRealize Operations　搞定維運監視管理

在任何組織中的IT部門需要負責執行的任務，並不是只有將各部門所需要使用到的硬體與軟體完成部署即可，後續的維運任務才是真正的重責所在。以負責伺服端系統的技術人員來說，不僅要處理主機硬體的故障與升級問題，還得協助處理各伺服器作業系統、應用程式以及服務的相關運行問題，單單這一些就至少包括了系統升級、效能優化、故障排除、備援機制、備份計畫、防毒防駭、帳號管理、權限配置、信箱管理等等。

在人力編列相當有限的情況下，上述的任何一項工作只要來個突發狀況，都可能讓使用單位的用戶們急著雞飛狗跳。到頭來就算問題最後被平息了，IT人員後續還得開檢討會議寫檢討報告等等。為了避免類似的倒楣事件一再重演，IT人員必須懂得保護自己做好預防措施。也就是說，在無法改變工作內容的情況之下，就必須改變維運的方法，開始懂得如何「善用機器監視機器」才是王道。

無論是監視Windows還是Linux應用系統的運作，目前皆有許多原廠或第三方的解決方案可以選擇，以Microsoft來說，就有自家的System Center Operations Manager，若是第三方的工具則有SolarWinds、ManageEngine等等可選。不過，如果組織中的應用程式與服務是部署在VMware vSphere架構下，那麼要持續監管的必須含括底層的ESXi主機、vCenter Server，甚至於vSAN，而不能夠只考慮到最上層的應用程式與服務。換句話說，必須達到全面監管的目標才行。

為此，這裡特別推薦使用vRealize Operations，它是一套由VMware自家所發展的維運管理系統，不僅可以用以協助IT部門做好vSphere運行的維護任務，也能夠擴大監管整個混合雲的架構。由於它的運作核心技術主要是架構在人工智慧（AI）與機器學習（ML）之上，因此可以協助IT部門解決維運時的持續運行效能優化、有效容量與成本管理、智慧矯正問題、整合配置與合規性管理等四大關鍵需求。

如圖1所示，便是vRealize Operations管理網站上的「作業概觀」範例。在此可以檢視到整個vSphere架構下的資料中心、叢集、主機、虛擬機器、資料存放區等數量統計。進一步可以在所選定的資料中心內查看與嚴重、急迫、警告有關的事件數量，以及前15名耗盡各項資源最多的虛擬機器。舉例來說，可以針對前15名發生磁碟延遲的虛擬機器，選定其中的前3名虛擬機器，把它們移轉至更快的儲存區來運行，如此便可以改善整體虛擬機器的運行效能。

其實，vRealize Operations不僅可以監視虛擬機器中Linux、Windows客體作業系統的基本運行，還能夠進一步監視包括Microsoft IIS、SQL Server、Active Directory、SharePoint Server、Exchange Server以及其他像是Nginx、Tomcat Server、Oracle Weblogic Server、RabbitMQ、Apache HTTPD、Jboss Server、PostgreSQL、Riak KV、Pivotal TC Server、MySQL、MongoDB、Java、WebSphere等等服務與應用程式，而且做法非常簡單，還能夠自訂監視規則。

新功能與系統需求

vRealize Operations 8.1全面支援已內建Kubernetes容器服務的vSphere 7.0，這包括了能夠在vCenter Server詳細目錄中探索vSphere with Kubernetes物件，以及提供相關儀表板、警示、報告以及視圖的檢視。除此之外，在公有雲服務整合管理的功能應用，則支援VMware Cloud、AWS、Microsoft Azure以及Google Cloud Platform，輕鬆做到多雲監視、優化、容量管理、診斷以及修復的需求。

在操作介面的設計上，則提供一致性的導覽與更易於快速檢視的摘要頁面，並大幅簡化有關於控制面板的管理以及警示的管理。若進一步，在警示通知的配置中，除了有紀錄檔案（Log）、REST通知、SMTP Trap以及Service-Now通知外掛程式外，還增加支援了透過Slack外掛程式來通知相關警示問題的協同處理。

可以根據以下實際需要的IT規模大小來選擇，其中vApp所指的便是vRealize Operations：

‧超小型（Small）：針對單一節點非HA和兩節點HA設定使用此配置。此部署需要為此vApp提供2個vCPU和8GB的記憶體。在測試階段的實驗室環境下，建議選擇此類型。此外值得注意的是，後續的部署必須選擇採用這裡所介紹的傳統部署法，才有此選項可以選擇。

‧小型（Small）：針對具有3,500台以下虛擬機器的環境使用此配置。此部署將需要為此vApp提供4個vCPU和16GB的記憶體。

‧中型（Medium）：針對具有3,500到11,000台虛擬機器的環境使用此配置。此部署將需要為此vApp提供8個vCPU和32GB的記憶體。

‧大型（Large）：針對具有11,000台以上虛擬機器的環境使用此配置。此部署需要為此vApp提供16個vCPU和48GB的記憶體。

‧超大型（Extra Large）：針對具有20,000到45,000台虛擬機器的環境使用此配置。此部署必須為此vApp提供24個vCPU和128GB的記憶體。

‧遠端收集器（標準）：針對中小型IT環境中的遠端收集器部署使用此配置。此部署將需要為此vApp提供2個vCPU和4GB的記憶體。

‧遠端收集器（大型）：針對大型IT環境中的遠端收集器部署使用此配置。此部署需要為此vApp提供4個vCPU和16GB的記憶體。

全新部署法說明

vRealize Operations是一項須合法付費授權的解決方案，不過無論是要進行評估測試還是正式使用，其部署的最快方法是先登入vSphere Client網站，然後如圖2所示點選至「首頁」→「vRealize Operations」頁面中再按下〔安裝〕按鈕，即可開始進行部署。

隨後來到「安裝模式」頁面，如圖3所示分別有「線上安裝」與「離線安裝」兩種類型可以選擇。想要選擇線上安裝，必須先確認目前可以連線至Internet網路，如此系統才能夠順利地從VMware官網上自動下載vRealize Operations。若選擇離線安裝類型，則必須事先自行到VMware官網（https://my.vmware.com/）下載OVF檔案。關於評估版的下載，可以直接在下載頁面中查看到評估到期日以及評估版本的金鑰（License Key）。後續完成評估，若想要正式使用，只要輸入正式合法的金鑰即可，無須重新安裝。選擇完畢，按下〔下一步〕按鈕。

將來到在「vCenter詳細資料」頁面，依序輸入vCenter Server的IP位址、管理員帳號名稱、密碼。輸入完畢，按下〔測試連線〕按鈕，如果出現「連至vCenter Server的連線已成功驗證」訊息，即表示可以繼續按下〔下一步〕按鈕。

接著是「環境詳細資料」頁面，如圖4所示，為準備要建立的新虛擬機器名稱命名，並且選取所在的資料中心、叢集、主機、資料存放區以及部署組態的大小。必須注意的是，其中的資料存放區至少得有200GB以上的剩餘空間，否則會出現錯誤訊息而無法繼續。確認設定無誤後，按〔下一步〕按鈕繼續。

進入「網路詳細資料」頁面後，輸入新部署的vRealize Operations虛擬機器所要配置的網路IP位址、DNS伺服器、閘道、網路遮罩。若不輸入，就表示將透過DHCP服務來動態取得IP位址配置，在此建議輸入靜態的IP位址配置，如此可避免後續在連線管理上的一些問題。隨後按下〔下一步〕按鈕，切換至「介面卡執行個體詳細資料」頁面中，將「在步驟2中監控相同的vCenter Server」選項打勾，並按下〔下一步〕按鈕，如圖5所示。

最後，在「摘要」頁面中分別確認vCenter詳細資料、主機詳細資料、網路詳細資料皆設定正確，然後按下〔安裝〕，就會可開始進行部署任務。如圖6所示，接下來便可以在此頁面中檢視到部署的進度。若隨時需要查看最新的進度，點選「重新整理」超連結即可。

傳統部署法介紹

關於vRealize Operations部署的方法，可以選擇前面介紹的操作方式，或是採用接下來說明的傳統部署法，兩者有那些不一樣之處呢？實際動手來執行看看即可明白。首先，在選定的叢集或主機頁面中，如圖7所示點選「動作」選單中的【部署OVF範本】。

開啟「選取OVF範本」頁面後，如圖8所示按下〔上傳檔案〕按鈕，載入vRealize Operations的OVF範本檔案（例如vRealize-Operations-Manager-Appliance-8.1.0.15972145_OVF10.ova）。然後，按下〔NEXT〕按鈕。

隨後，在「選取名稱和資料夾」頁面中，輸入新虛擬機器的名稱並選定置放的資料夾位置，並按下〔NEXT〕按鈕。如圖9所示，在「選取計算資源」頁面中，可選擇已啟用DRS功能的叢集，或者直接選定即將用來運行此虛擬機器的ESXi主機。選定之後，只要下方出現「相容性檢查成功」訊息即可。按下〔NEXT〕按鈕，繼續設定。

來到「檢閱詳細資料」頁面後，將可以查看到關於此OVF範本的發佈者、產品名稱、版本資訊、檔案大小以及所需要的磁碟大小等資訊。檢視完畢，按下〔NEXT〕按鈕。在下一個步驟頁面中接受授權合約並按下〔NEXT〕按鈕，便會來到「組態」頁面。如圖10所示，將會發現相較於採用新部署方法的操作，這裡多出了遠端收集器（標準）、遠端收集器（大型）、Witness、超小型的選項。在測試階段的vSphere環境中，選擇超小型的選項便綽綽有餘，接著再按下〔NEXT〕按鈕。

如圖11所示，在「選取儲存區」頁面中，除了需要選取適合的資料存放區外，在測試階段下的部署建議選取「精簡佈建」來做為虛擬磁碟格式，因為如此僅須要使用約1.3GB的儲存空間。若是於正式運行環境中的部署，則建議採用預設的「完整佈建」，這樣將可以獲得更佳的磁碟運行效能，不過得占用掉約274GB的儲存空間。隨後，在確認出現「相容性檢查成功」訊息之後按下〔NEXT〕按鈕。

切換到「選取網路」頁面後，選取所要用來連線運行的虛擬機器網路，並按下〔NEXT〕按鈕。如圖12所示，在「自訂範本」頁面中，先完成「時區設定」並將「IPv6」設定取消，接著依序完成相關網路屬性（Network Properties）的靜態配置，包括預設閘道、網域名稱、網域搜尋路徑、網域名稱伺服器、子網路遮罩以及IPv4位址設訂等等，然後按下〔NEXT〕按鈕。最後，在「即將完成」頁面中確認上述所有設定皆無誤後按下〔FINISH〕按鈕，即可開始執行部署任務。

完成部署OVF範本後，系統將自動啟動vRealize Operations虛擬機器。在如圖13所示的範例中，將可以看到此系統的IP位址，對於初次使用的配置以及後續的管理皆只要開啟網頁瀏覽器，並以https方式進行連線登入即可。

關於任何OVF範本的部署，除了可以經由vSphere Client的圖形操作介面來完成外，也可以選擇在開啟Windows命令視窗後，使用VMware OVF Tool命令工具進行部署。此工具可以連結至以下官網下載，它可以安裝執行在32位元與64位元的Windows和Linux作業系統中，並且也提供Mac OS X的執行版本。

‧最新VMware OVF Tool官方下載網址：https://www.vmware.com/support/developer/ovf/

在以下的命令參數範例中，所輸入的vcsa01.lab02.com即是vCenter Server的FQDN，而192.168.7.251則是準備用來運行此虛擬機器的ESXi主機位址。接著，可使用-ds參數來選定虛擬機器儲存的資料存放區，並透過-dm指定虛擬磁碟格式：

ovftool -ds=datastore01 -dm=thin --allowExtraConfig -n= vRealize-Opera tions-Manager-Appliance-8.1.0.15972145_ OVF10.ova vi://Administrator@lab02. com:password@vcsa01.lab02.com/?ip =192.168.7.251

首次使用設定

完成vRealize Operations的OVF範本檔案部署之後，首次連線該網站時，將會出現「開始使用」頁面，如圖14所示有「快速安裝」、「新安裝」以及「展開現有的安裝」三個選項，在此點選「新安裝」。

如圖15所示，在「設定管理員認證」頁面中，設定好預設管理員帳號admin的密碼，務必牢記此密碼，因為後續將以此帳號與密碼進行全功能的管理，當然後續仍然可以繼續新增同樣擁有管理員權限的帳號。此外，值得注意的是此Guest OS的root密碼預設同樣是沒有設定，它必須在執行首次的root帳號登入時才會提示設定密碼。設定完成之後，按下〔下一步〕按鈕。

在「選擇憑證」頁面中，可以選擇預設產生的伺服器憑證或安裝自訂的憑證，來做為此網站安全連線的加密保護，建議使用預設憑證即可。然後，按下〔下一步〕按鈕。如圖16所示，接下來的「部署設定」頁面內，將設定叢集主節點名稱以及所要同步的網路時間伺服器，設定好了之後按下〔下一步〕。

最後，若沒有要新增更多的叢集節點來作為高可用性的容錯備援機制，可以忽略掉「設定可用性」和「節點」頁面的配置，直接完成初始設定。在完成初始設定後，如圖17所示便可以再次連線vRealize Operations網站，然後以系統預設的admin帳號以及所設定的密碼進行登入。首次登入，需要輸入產品授權金鑰才可以開始使用。

連接vCenter Server配置

完成vRealize Operations的OVF範本部署、初始設定以及首次登入設定後，就會來到「快速入門」頁面。如圖18所示，在這個階段中還尚未連線監視現存的vSphere運行，因為管理者必須自行設定所要監視的環境配置，此時按下〔新增雲端帳戶〕按鈕。

接著，在「雲端帳戶」頁面中點按下〔新增帳戶〕按鈕，來開啟的「帳戶類型」頁面。如圖19所示，在此可以發現它分別支援了針對vCenter、VMC（VMware Cloud）、AWS（Amazon Web Services）、Microsoft Azure的監視與管理。由於此次所要監視的目標是組織網內的vSphere 7.0運行，因此點選「vCenter」圖示。

如圖20所示，進入「新增雲端帳戶」頁面後，先自訂一個顯示名稱且最好加入說明以利於識別，接著在「vCenter」子分頁中輸入vCenter Server的連線位址，然後在「認證」欄位內點選新增小圖示，新增一個認證設定，其中使用者名稱與動作使用者名稱，建議輸入相同的一組帳號即可。

完成設定後按下〔驗證連線〕按鈕，此時應該會出現「檢閱並接受憑證」訊息視窗，按下〔接受〕按鈕即可。接著，如果在目前的vSphere架構中有使用vSAN服務，則在「vSAN」子頁面中啟用「vSAN組態」並按下〔驗證連線〕按鈕，以確定是否能夠成功連接。而在「服務探索」頁面中，分別輸入Windows、Linux以及SRM的使用者名稱與密碼，以便進一步監視相關虛擬機器客體作業系統中所運行的服務。

最後，建議在展開的「進階設定」頁面中點選「定義監控目標」超連結，來開啟如圖21所示的設定頁面。在此首先決定想要收到運行環境中哪一些物件的警示，一般會選擇「所有vSphere物件」，但如果只想專注在虛擬機器運行的監視，則選擇「僅虛擬機器」。而在「您想要啟用哪種類型的警示」設定中，建議至少要勾選風險警示與效率警示。至於是否要啟用vSphere安全性組態指南警示，則自行評估。設定完畢，按下〔儲存〕按鈕。

回到「雲端帳戶」頁面中，便可以查看到剛剛所建立的雲端帳戶設定，如果已經一併啟用vSAN組態的連接，則還會看到vSAN的設定，如圖22所示。值得注意的是，在初步完成雲端帳戶的建立後其狀態會顯示為「警告」，此時若將滑鼠游標移至上方，就會出現資料正在收集的提示訊息。

在確認已完成雲端帳戶的設定以及初步的資料收集後，回到vSphere Client首頁中的「vRealize Operations」頁面，如圖23所示，將發現此時出現的已不再是「vRealize Operations不存在」訊息，而是根據所連接vCenter Server收集而來的vSphere資料，呈現了運行環境中的基本統計數據，包括了資料中心、叢集、主機、虛擬機器、資料存放區、客體作業系統、已發生的問題、不同等級警示、容量耗盡狀態等等。

除此之外，還可透過「快速連結」選單來切換不同的數據頁面，這包括vCenter與vSAN的概觀、叢集視圖、警示。若要進行更完整的管理操作，可點選【開啟vRealize Operations】。

開啟vRealize Operations管理網站後，如果已有啟用對於vSAN組態的連接，那麼建議點選至「疑難排解」→「vSAN」頁面，查看關於vSAN運行的相關數據統計。如圖24所示，在此可以查看vSAN叢集的架構圖，以及所使用到的主機、快取磁碟、容量磁碟以及虛擬機器的數量。接著，可以進一步查看vSAN叢集磁碟的I/O效能數據，以及各ESXi主機之監視的CPU與記憶體需求上限圖表、磁碟空間使用量的時間分布圖表等等。最後，還可根據所列出的警示事件清單，找出vSAN運行中的潛在問題並加以解決。

接下來，建議點選至「儀表板」→「vSphere運算詳細目錄」頁面，如圖25所示查看整個從「vSphere World」節點展開後的架構設計。這裡若有多組不同分支的vCenter Server，便可從相對應的雲端帳戶來展開至所連接的資料中心，進而查看各叢集、資料夾、主機以及虛擬機器的相依關係。此外，也能夠從這個頁面中得知整體可用的資源，例如CPU、Disk以及Memory的整體容量。

警示通知設定

由於管理者無法隨時緊盯著vRealize Operations管理網站，來注意是否有什麼警示訊息需要加以解決，因此最好能夠事先設定警示的Email通知，以便隨時接收所關注的vSphere運行問題。此外，只要已完成警示通知的設定，往後管理員還能夠進一步將某些觸發的警示訊息指派給vRealize Operations Manager中選定的使用者來接收。

如何設定警示通知呢？很簡單，首先點選至「警示」頁面中的「組態」→「通知」節點，接著點選「新增」超連結，便會開啟「新增規則」。如圖26所示，在此輸入新名稱，然後從方法的下拉選單中選擇【標準電子郵件外掛程式】。在「選取執行個體」欄位中若無任何選項，則按下〔新增〕按鈕。

如圖27所示，接下來在「新增/編輯輸出執行個體」頁面中，輸入一個新的執行個體名稱（例如SMTP），再依序完成SMTP主機、連接埠、驗證方式、安全連線類型、使用者名稱、帳號、密碼、寄件者地址、收件者地址等資訊。完成設定後，可按下〔測試〕按鈕查看是否能夠收到測試通知的Email。設定完成後，按下〔儲存〕按鈕。

再次回到「新增規則」頁面，可分別自訂收件者、通知次數上限、通知的延遲時間、選用說明設定。還可以設定「篩選準則」，讓管理人員針對選定的監視範圍、物件類型以及嚴重程度來作為警示通知的條件，完成設定後按下〔儲存〕按鈕。後續仍然可以隨時回來做修改，例如只要設定關閉「通知狀態」便可以讓此通知功能停止執行。

回到「通知設定」頁面中，如圖28所示，除了可檢視到所建立過的通知設定清單外，還能夠針對選定的通知設定進行刪除、停用、啟用、匯出以及匯入。另外，可以繼續新增其他進階的通知設定，包括REST通知外掛程式、SNMP設陷外掛程式、Slack Plugin等等。

監視與問題排除案例1說明

當需要管理的虛擬機器數量越來越多時，會讓管理人員經常忽略的問題就是虛擬機器的快照。這是因為每當Guest OS或其中的應用系統需要更新、升級或是增加新程式的安裝時，為了保險起見通常都會先完成虛擬機器的快照，才開始繼續接下來預定的維護任務。也就是在這種情境之下，管理人員特別容易忘記曾經建立過的快照，久而久之便會為有限的儲存空間帶來剩餘空間不足的困擾。

如今，只要部署了vRealize Operations，肯定不會再有忘記刪除虛擬機器快照的問題。如圖29所示，在「環境」頁面下的虛擬機器資訊中，除了能夠完整檢視到有關此虛擬機器的狀態、使用量、組態以及效能數據外，還可發現在「作用中警示」區域內有一項警告層級的事件。

在點選了上一個步驟的警告事件後，便可以查看到相關的警示事件內容，如圖30所示，從「警示詳細資料」子頁面中，可以查詢關於此警示訊息的兩個症狀，分別是「虛擬機器的磁碟快照已經存在很長的一段時間」以及「虛擬機器的快照超過1GB」。

上述的兩個症狀警示都是占用vSphere儲存空間的主要元兇，立即按下〔刪除虛擬機器未使用的快照〕按鈕，即可開啟選定虛擬機器的擷取快照頁面。再按下〔下一步〕按鈕後來到「移除快照」頁面，先連續選取要刪除的虛擬機器快照，再按下〔開始動作〕按鈕，如圖31所示。當執行了移除快照的工作後，在「管理」→「歷程記錄」→「最近的工作」頁面中，便能夠查看到是否已經成功完成此工作。

監視與問題排除案例2說明

在vSphere的架構中想要妥善管理好虛擬機器的資源分配不外乎兩個技巧，第一種做法是直接建立資源集區，讓所有在此資源集區運行中的虛擬機器，對於資源的配置直接受到限制。第二種做法則是給予較重要的虛擬機器多一些資源，也就是可能只是停機5分鐘或運行速度有點慢，就會引來廣大用戶不滿與跳腳的虛擬機器。而對於那一些即便停機一整天也無所謂的虛擬機器，則給予較少的資源配置。

無論打算採用上述何種方法來管理虛擬機器的資源配置，都必須嚴密監視重要虛擬機器中應用系統的用戶量，否則都可能在用戶爆量的情況下，造成虛擬機器資源滿載、效能低下而引來用戶的不滿。為此，可透過vRealize Operations來自動化全天候監視與警示。如圖32所示，在這個虛擬機器的「容量」頁面中，可以發現目前CPU已使用負載竟然高達了135%，而記憶體也有高達101%。

面對這樣棘手的效能問題，如果是發生在重要的虛擬機器，建議在進入Guest OS中細查問題的原因之前，先擴增CPU與記憶體的資源，以暫時解決當前的運行問題。做法很簡單，如圖33所示，只要在「動作」選單中點選【設定虛擬機器的CPU計數與記憶體】，或是各別點選【設定虛擬機器的CPU計數】以及【設定虛擬機器的記憶體】也可以。

如圖34所示，便是點選【設定虛擬機器的CPU計數】後的設定頁面，可以先看到「目前的CPU」數量配置，在完成「新的CPU」數量設定後，按下〔開始動作〕按鈕即可。

無論是異動了CPU還是記憶體的配置，如圖35所示，都可以在「管理」→「歷程記錄」→「最近的工作」頁面中，查看到是否已經成功完成此工作。當再次回到虛擬機器的「容量」頁面中，如果看到已使用的相對資源百分比明顯下降許多，就表示此虛擬機器目前的資源已經不敷使用，透過本次的調整已經可以解決該問題。但如果在大幅上調後，資源依舊顯示使用滿載，那麼便極有可能是其他問題所造成的結果，例如中毒、程式設計問題以及Windows Update等等。

如何變更IP配置

無論原來的網卡設定是採用靜態IP配置還是DHCP配置，若是需要變更成靜態IP配置，可以參考以下的命令參數：

/opt/vmware/share/vami/vami_set_ network eth0 STATICV4 192.168.7.170  255.255.255.0 192.168.7.1

至於DNS伺服器的設定，可透過vi工具去編輯「/etc/resolv.conf」。完成修改後再執行「service vmware-casa stop」與「service vmware-casa start」命令。

最後，可執行「ifconfig」命令查看目前的IP配置，如圖36所示。若要修改成DHCP的配置方式，則執行以下的命令：

/opt/vmware/share/vami/vami_set_ network eth0 DHCPV4

結語

在實體主機的年代裡，對於系統人員來說，只要能夠掌握Windows Server與Linux的技術與經驗，就如同籃球場上掌控整個籃板下的區域，實實在在控制了整個比賽的得分。但如今是以虛擬化技術為基礎架構的雲世代，將有比過去還要多上更多的應用服務需要進入到虛擬機器或容器中來運行。換句話說，能夠掌握VMware vSphere架構技術的IT Pro，便可成為IT系統領域的當紅之星。只是這個當紅之星並不好當，因為平日需要管理與維護的東西非常多，維運過程稍有閃失，恐讓紅星瞬間掉入黑五類。為此便可體認到部署本文所介紹的vRealize Operations之重要性，讓它來當IT的雙眼，全年無休地監視好每一個虛擬機器、服務、應用程式的運行。

＜本文作者：顧武雄， Microsoft MVP 2004-2016、MCITP與MCTS認證專家、台灣微軟Technet、TechDays、Webcast、MVA特約資深顧問講師、VMware vExpert 2016-217、IBM Unified Communications/Notes/Domino/Connections Certified。＞