Bot Manager 使用者行為分析 Akamai 羽昇國際 UBA 機器人 爬蟲

防爬蟲機器人損及體驗 以智慧管理取代阻擋

2018-07-25
對於仰賴網站提供營業服務的企業,例如提供訂票服務的網站而言,在特定活動期間流量瞬間暴增看似正常,然而實際上,卻可能有一半來自機器人程式所產生,而非真實顧客的連線行為。
羽昇國際資深技術顧問沈建添以實際客戶案例說明,某訂票服務的系統平時只要兩台主機即可因應,為了舉辦熱門活動,預計銷售一萬張票的規模,評估之下可能要擴增到上百台主機,總花費可能高達千萬,若全數承載處理正常流量,即便所費不貲也只能接受,問題是服務的對象卻極可能包括大量的機器人程式。客戶也認同Akamai Bot Manager(機器人管理)這類服務確實可幫助控管流量,只是因難以評估具體的成本效益而猶豫不決。

類似同樣的狀況也經常在金融業上演。近年來網路上機器人程式激增,例如拍賣網站用以提供主動查詢帳款項目服務,讓賣家在買方完成匯款時收到通知,然而,常見的狀況是程式碼撰寫品質良莠不齊,連線成功且查詢完成後並未釋放資源,使得主機不堪負荷,因此才會評估採用Akamai機器人管理服務。

辨識HTTP連線資訊配置執行措施

▲儘管機器人管理服務實用性相當高,羽昇國際資深技術顧問沈建添提醒,服務設計的機制,必須應用在可帶來實際產值的系統,才得以彰顯價值,若只是官方網站遇到流量持續不斷增長,僅須擴充資源因應即可。
Akamai機器人管理設計思維並非在於阻擋任何不屬於目標客群的存取行為,畢竟道高一尺、魔高一丈,若直接予以阻擋,只會促進機器人程式再進化,應該透過管理措施來處理過量的問題。

沈建添說明,基於前述思維,Akamai機器人管理提出的框架包含四個部分,偵測、分類、管理、可視化的平台。首先在偵測部分,機器人程式通常會透過多個IP位址連線存取,同時避免訪問查詢速度過快,也就是限速(Rate Limiting),以免觸發阻擋措施。「企業用戶也可自行針對新產生的多個IP位址,或低速訪問查詢,建立基本的阻擋措施。或是基於成功運行的模式,可依照重播連線操作記錄(Session Replay)來執行。」

前述的做法,運用HTTP請求標頭欄位傳遞的值建立異常偵測機制,即可判定是否為機器人程式。

隨著機器人程式普遍採用JavaScript來執行攻擊,偵測機制也須隨之調整,近來Akamai機器人管理即已演進到2.0新版本,增添更多複雜的判斷措施,例如HTTP請求中的User-Agent顯示為平板電腦,但是偵測瀏覽器指紋檔卻發現螢幕尺寸不符合,即可判定被偽造。

當然,機器人程式還是會再變換手法,偽造足以欺騙的指紋檔,因此Akamai機器人管理勢必得有所因應,主要是納入使用者行為分析(UBA)來協助,機器學習演算模型可更精準地解讀與判斷內容資訊。

把無法判別的機器人導向過期網站

Akamai機器人管理提供的使用者行為分析技術皆是透過JavaScript實作。沈建添認為,JavaScript確實相當強大,可被運用於善惡或惡意,達到多種用途。例如偵測滑鼠移動、敲打鍵盤的速度等操作,使用者行為分析技術皆可取得相關行為資訊,進而訓練資料分析模型,以提高辨識的準確程度。

他進一步說明,過去的機器人管理機制較偏重於傳遞參數與特徵碼判斷行為是否為異常,在新版本中仍舊有採用,同時還增加積分制,例如連線來源為雲端平台者扣兩分,若達到低於門檻才判定為惡意,而非比對發現當下立即阻斷,必須透過更多參考依據,運行多維度的分析來確認,藉此可有效降低誤擋率。

偵測判斷之後的處置,要先行區分已知的好與壞類別,例如Google機器人有助於商業網站曝光,理應歸類到已知為善意。執行處置的做法,過去通常僅提供放行或攔阻的選擇,Akamai機器人管理新版本較大的差異是提供多種選項,可執行放行後持續監看,若須抵擋時亦可選擇通知用戶違規,或者不予回應直接阻斷。至於善意的機器人程式,將予以放行,但可透過Slow與Delay功能實作降低速度,以免影響整體運行效能。

「其實最難管理的是已知為善意,」沈建添舉例,Google機器人程式牽涉到網站排名,非但不建議進行任何處置,反而得設為優先通過,其次則可能是Bing搜尋引擎爬蟲。企業用戶須先行擬定明確的管理政策之後,再藉由機器人管理服務來實施執行,最後透過可視化圖表,依據不同機器人程式類別查看運行狀態。

若是機器人程式無法被分類,屬於灰色地帶,例如競爭對手設計的爬蟲,經常來撈取價格資料,以跟進推出促銷活動。針對這類機器人程式,可透過管理服務導向刊登過期資料的網站即可。

「Akamai本就擅長CDN技術,再延伸發展提供機器人管理服務,只要企業用戶擬定控管政策,透過機器人管理服務所設計提供的圖形化介面配置,即可自動執行」。

全球佈建優勢掌握最新威脅情資

對於程式開發者而言,或許認為爬蟲機器人透過自行撰寫的程式碼判斷即可,但若直接採用工具來協助,則能減少工作上的負擔,他指出,畢竟Akamai掌握全球15%到30%的網頁流量資料,藉此運行多面向分析可以建立洞察力。

Akamai客戶亦可藉由日誌分析,提供相似於Google Analytics的統計報表,例如瀏覽網頁者採用桌機、行動裝置、平板電腦的比率等數據,諸如此類基於使用者存取日誌分析User-Agent即可掌握。若是機器人程式模擬人的操作行為,設計不周密時亦可從中看出端倪。

「Akamai之所以有能力區分善意或惡意,是因為可蒐集取得的資料量較多,運用大數據平台演算分析,取得有意義的資訊。儘管機器人程式亦可透過地端管理工具來執行,但雲端服務更具優勢之處,即在於擁有蒐集全球資料的能力,藉此發現特定產業遭受攻擊的入侵指標,及早讓相同產業的用戶建立辨識最新威脅的能力。」沈建添說。

近年來資安不同領域透過結盟以便彼此交換情資,即是為了提早一步取得新型態攻擊的指標,問題在於交流的速度,往往仍然無法更接近即時。他強調,Akamai基於全球佈建的優勢,往往可先一步掌握最新威脅情資,具備辨識與防護能力,只要全球網路出現一個遭攻擊成功者,其他人即可安全無虞。


追蹤我們Featrue us

本站使用cookie及相關技術分析來改善使用者體驗。瞭解更多

我知道了!