運用大型語言模型、電腦視覺與大數據分析技術，加速推動智慧醫療與精準醫學
國防部軍醫局（軍醫局）宣布在智慧醫療與精準醫學研究邁入全新里程碑，同時揭示將中英文醫療專業語音及醫療專業影像自動生成文字報告的願景，此外，未來也將透過醫療大數據的分析，協助醫師執行醫療的決策，提升醫療品質與效率。其研究成果後續將由國防醫學院三軍總醫院（三軍總醫院）醫療資訊技術團隊推展到全國軍醫院的護理紀錄、醫師門診、巡房及手術紀錄等，加速推動智慧醫療與精準醫學的發展，提升醫療決策與病患的照護品質。
COVID 19疫情不僅對於產業帶來衝擊，也加重第一線醫療及護理人員的工作量及心理壓力。為了降低醫護人員行政作業的負荷，軍醫局率領三軍總醫院與微軟台灣研發中心於2023年7月啟動「醫療大數據訓練分析平台專案」，以專案階段方式提升國軍醫療資訊研發能量。此專案採用了微軟的語音辨識、自然語言處理、電腦視覺等人工智慧技術，並在三軍總醫院與微軟的合作下，提升了文字報告的正確辨識率，自動生成中英文護理紀錄及英文專業影像報告，大幅節省護理人員撰寫報告時間及提升放射科醫師完成影像報告的時間。
利用微軟的語音辨識和自然語言處理技術，能協助將護理人員在照護病人後所需記錄的報告內容，以語音的方式轉換成結構化的文字報告，並儲存到資料庫中，進而節省護理人員在每次手動輸入紀錄的時間和精力，而更專注於病人的需求。未來這個功能也會擴展到醫師的門診、查房和手術等場景，讓醫師可以更有效率地管理病歷和治療方案。再來是使用微軟的電腦視覺和深度學習技術，將各種醫療影像資料，進行分析和評估，並生成相關的文字報告。這些報告不僅包含影像的描述和解釋，還包含過去的醫療病歷和數據的比對，以及對於影像中存在的病理徵兆和病程發展的預測和建議，不僅可以幫助放射科醫師減少撰寫報告的負擔，也可以幫助主治醫師快速地做出診斷和治療決策，提高醫療品質和效率。
此專案是軍醫與微軟的跨領域合作，結合了軍醫的醫療資源與微軟的AI科技與研發資源，展現了國軍醫院在推動智慧醫療與精準醫學方面的決心與能力。三軍總醫院院長洪乙仁少將表示，透過AI科技應用與微軟先進技術資源，可以讓醫生及護理人員減少撰寫報告的負擔，更專注在醫療照護行為上，同時也可以提供更精準的影像分析及醫療診斷建議，幫助醫師做出更好的治療決策，進而提升國軍及民眾的健康福祉。