超音波、X光以及電腦斷層等醫學影像在創傷病患的評估與診斷過程中，扮演著重要角色，其中電腦斷層影像不受骨頭、空氣等物理性質的限制，能更全面地檢視病患體內構造。然而受限於2D平面影像，對於多重創傷病灶的判讀難免出現遺漏，若能轉換成3D全息影像物件，將有助於快速完善評估所有受傷部位以及嚴重程度，並且進行更完整的術前規劃。
新冠疫情驅使智慧醫療加速發展，為了減少實體接觸、提高醫療量能，醫療院所也紛紛運用人工智慧、遠距醫療與穿戴式裝置等相關技術，以即時掌握病患狀況、優化營運效率。台大醫院於2020年成立智慧醫療中心，並積極打造智慧醫療場域以提高醫療品質，近期也藉由執行國科會Capstone拔尖整合計畫「智慧急診：以人工智慧改善急診病人流動及解決壅塞之全面性策略」，建立智慧急診創新醫療流程，並實際於台大醫院急診完成近萬人次初步驗證，將急診流程全面智慧化，針對六個流程關鍵成功開發十三個AI模型，改善急診壅塞問題。
除此之外，台大醫院也與台灣微軟共同發表混合實境應用於創傷醫學的突破成果，藉由HoloLens 2以及3D Slicer等科技，成功發展出一套可迅速重組3D電腦斷層影像、標註病灶、轉換成全息影像（Stereoscopic Hologram）物件，並可浮空投影到元宇宙的解決方案。此方案除了適用於電腦斷層影像，也可適用於核磁共振影像。研究團隊使用台大醫院歷年創傷醫學影像建立了全息影像教學物件資料庫，不僅提高了創傷醫學的效率、增加教學互動性，還結合Microsoft Teams實現遠距會診。
微軟全球助理法務長及台灣微軟公共暨法律事務部總經理施立成指出，微軟物聯網卓越中心與台大醫院啟動此項合作計畫已有兩年，利用Microsoft Azure全球市集裡豐富的資源，引進德國合作夥伴apoQlar所開發的VSI HoloMedicine解決方案，協助台大醫院智慧醫療中心研究團隊探索混合實境技術在醫學與臨床的應用。今年以來更進一步將台大醫院領先全球的創傷資料庫之電腦斷層影像重組為立體影像，並匯入HoloLens 2頭戴裝置，以延伸實境、更為直覺的判讀方式來觀看創傷病人器官的立體影像，而這樣的技術不僅可提升影像診斷能力，同時也有助於優化醫療教學流程，並將醫病關係帶入另一個新層次。
3D影像更能看清創傷降低誤診
長期以來，超音波、X光以及電腦斷層等醫學影像在創傷病患的評估與診斷過程中，扮演著重要角色，其中電腦斷層影像不受骨頭、空氣等物理性質的限制，能更全面地檢視病患體內構造。然而受限於2D平面影像，對於多重創傷病灶的判讀難免出現遺漏，若能轉換成3D全息影像物件，將有助於更快速、完善的評估所有受傷部位以及嚴重程度，並且進行更完整的術前規劃。
此次方案主要是以HoloLens 2混合實境頭戴式裝置來呈現3D影像和資訊，並透過手勢和語音進行互動，而Microsoft Teams則可讓使用者進行視訊會議、即時通訊和文件共享。台大醫院智慧醫療中心副主任暨急診醫學部教授李建璋說明，3D Slicer是用來將病灶標註並且套色，例如將骨頭套成黃色、肝臟套成藍色或是將脾臟套成紅色等等的開源軟體，重組好的套色影像，藉由apoQlar所開發的3D軟體技術VSI HoloMedicine，經雲端高速運算後，將3D影像投射到微軟的HoloLens 2中，最終呈現出3D全息影像。
他提到，急診醫師對創傷病患作緊急醫療中的外傷處理時，常常會進行全身電腦斷層掃描（CT），然而現場急診醫師確實不若放射專科醫師有那麼多的經驗，因而有可能誤診，根據統計，最容易誤診的創傷是骨折，尤其是胸部骨折，2D影像並不容易判別，組成3D影像後才有辦法清楚看到骨折的位置。若是投射到元宇宙的情境中，還能以各種不同的角度去檢視，並且清楚地看到例如第5、6、7的肋骨已經斷掉了，而這便是從2D轉到3D影像的優勢，對於臨床診斷以及教學都很有助益。
目前台大醫院已建置完成創傷立體全息影像資料庫，內容包括肋骨骨折、氣胸、肺挫傷、頸部以及胸腰椎橫凸骨折、髖骨骨折，脾臟損傷與肝臟損傷、創傷腦出血、顱顏骨折等等，未來將於台大醫院教學部使用。
台大醫院智慧醫療中心副主任暨急診醫學部教授李建璋（左）指出，在熟悉各項軟硬體操作後，如今只須30分鐘便能將2D CT建構成3D全息影像。
台大醫院醫師楊珽凱戴著HoloLens 2混合實境頭戴式裝置，與雲林分院醫師何御彰展示遠距會診複雜性腦血管動靜脈畸瘤。
李建璋指出，這項方案很適合應用解剖教學與病患解說，現在能解剖的大體越來越少，而且還需要福馬林來維持，如果能有3D影像，醫學生便能很快速地學到這些立體結構。「除此之外，也很適合手術計畫以及遠距會診的應用場景上。」像是一些複雜的腫瘤、血管瘤或是複雜的病灶，需要多專科合作的手術，便可以透過這樣的虛擬空間經由多位專家討論來擬定術前計畫。而遠距會診則是可以讓全世界的專家都可以進到虛擬會議室討論病情，當然3D物件以及病歷都可以被整合進來。
科技結合醫療溝通是一大挑戰
儘管雙方分工模式可以簡單看成台大醫院負責前端電腦斷層影像標註、套色以及立體重組，而微軟則協助3D全息影像的建構，但過程中卻也須面對不小挑戰。微軟指出，所有應用都需要滿足端、網、雲這三個條件，此項專案也不例外，在端點的部分，HoloLens 2只是載具，實際2D影像轉3D影像的運算以及相關資料儲存都是位於雲端架構，當然，要讓兩邊協作可以暢通，網路傳輸也必須很順暢才行。
「其實，雙方一開始花了很多時間溝通，醫師可能想像科技無所不能，只要把資料丟進去，自然而然就可以在虛擬空間內探索、做手術導航，但實務上，科技仍有其侷限，」李建璋分享，所以初期雙方固定每兩周就會進行討論，溝通應用的場景，此外與德國apoQlar公司的磨合也花了不少的時間。
台大醫院教學部主任盛望徽則補充說明，科技醫療的應用在臨床上經常會面臨三項困難，一是科技與醫學分屬不同領域，雙方的對話與溝通就是一大挑戰，如果沒有完全理解的話，就沒有辦法達到預期的成效。其二是醫療第一線的人員如何學習新系統，若不夠熟練將無法達到最佳化的運用，因此過程中就必須有充分的學習機會。第三就是應用場景的發想，在醫療現場當然有很急迫或重要的問題必須解決，但如果用不上這套系統也是徒然，因此台大與微軟在前兩年也一直試錯，以便找出最適合的應用場域，經過兩年下來，才確認相當適合運用在骨折與血管出血的創傷。