“爬蟲”如何搶低價票？借助超鏈接信息抓取網頁

“爬蟲”究竟是如何搶票的

此前，在線票務服務公司攜程的“反爬蟲”專家在技術分享中透露，某網站的一個頁面，每分鐘的瀏覽量是1.2萬，真實用戶只有500個，“爬蟲”流量占比為95.8%。

采訪中，很多業內人士也表示，即使在“爬蟲”活動的淡季，虛假流量也占到訂票網站總流量的50%，高峰期更是在90%以上。

那么，“爬蟲”究竟是如何實現搶票的呢？對此，閆懷志解釋，主要是機票代理公司利用“爬蟲”技術，不斷抓取航空公司售票官網網頁信息，如果發現該航空公司有低價票放出，“爬蟲”即刻利用虛假客源身份進行批量預定但不實際支付，以達到搶占低價票源的目的。由于“爬蟲”的效率遠遠超過正常的手動操作，導致通過正常操作幾乎無法搶到票。

隨后，機票代理公司會通過其自身銷售渠道(包括公司網站、在線旅行社、客戶電話訂購等)找到真正的客源，在航空公司允許的賬期內，退訂此前使用虛假客源身份預定的低價票，然后使用真實身份信息進行訂購，最后實現該低價票的加價轉售。

如果未在航空公司規定的賬期內找到真正客源，機票代理公司會在訂單失效前再追加虛假身份訂單，繼續“霸占”該低價票，如此反復，直至找到真正客源售出為止。

“上面的操作流程就構成了完整的機票銷售鏈條。在這個過程中，航空公司售票系統允許在賬期內反復訂、退票的規定為機票代理公司利用‘爬蟲’搶票并加價獲利提供便利。這種搶票方式，被稱為技術‘黃牛’。”閆懷志強調。

的確，有業內人士表示，這些“爬蟲”流量消耗了大量的機器資源，卻不產生任何消費，這是每個公司最痛恨的東西。但是，因為怕誤傷真實用戶，各家公司的“反爬蟲”策略做得非常謹慎。

采用一定手段 “爬蟲”可防可控

任何事情都有兩面，“爬蟲”技術也不例外。

在閆懷志看來，“爬蟲”既可為正常的數據批量獲取提供有效的技術手段，也可被惡意使用以獲取不當利益。如果“爬蟲”技術被不正當利用，就會帶來一定的危害。

首先，威脅數據安全。航空公司售票網站數據被惡意爬取，數據可能會被機票代理公司惡意利用，而且還存在被同業競爭對手獲取的風險。

其次，導致系統性能下降，影響用戶體驗。“爬蟲”大量的抓取請求會導致航空公司售票網站服務器資源負載上升、性能下降，網站響應變慢甚至無法提供服務，對用戶搜索和交易體驗造成負面影響。但由于存在巨大的灰色利益空間，同時“反爬蟲”技術在與“爬蟲”對抗中作用有限，使得這種顯失公平的“作弊”方式成為擾亂機票市場秩序的技術“頑疾”。

“從技術角度來看，阻擊‘爬蟲’可以通過網站流量統計系統和服務器訪問日志分析系統。”閆懷志說，通過流量統計和日志分析，如果發現單個IP訪問、單個session訪問、User-Agent信息超出設定的正常頻度閾值，則判定該訪問為惡意“爬蟲”所為，將該“爬蟲”的IP列入黑名單以拒絕其后續訪問。

再就是設置各種訪問驗證環節。比如，在可疑IP訪問時，返回驗證頁面，要求訪問者通過填寫驗證碼、選取驗證圖片或者字符等方式實現驗證。如果是惡意“爬蟲”爬取，顯然很難完成上述驗證操作，進而可以封鎖該“爬蟲”的訪問，防止其惡意爬取信息。