名詞解釋：網絡爬蟲 0 個改進

網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

網絡爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析算法過濾與主題無關的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊列。然后，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，并重復上述過程，直到達到系統的某一條件時停止。

特點：高性能、可擴展性、健壯性、友好性。

技術：路徑檢索、聚焦抓取、反向鏈接數、寬度優先遍歷。

名詞解釋

聚焦抓取：聚焦檢索的主要問題是網頁爬蟲的使用環境，我們希望在實際下載頁面之前，就可以知道給定頁面和查詢之間的相似度。

反向鏈接數：反向鏈接數是指一個網頁被其他網頁鏈接指向的數量。反向鏈接數表示的是一個網頁的內容受到其他人的推薦的程度。因此，很多時候搜索引擎的抓取系統會使用這個指標來評價網頁的重要程度，從而決定不同網頁的抓取先后順序。

批量型爬蟲：批量型爬蟲有比較明確的抓取范圍和目標，當爬蟲達到這個設定的目標后，即停止抓取過程。至于具體目標可能各異，也許是設定抓取一定數量的網頁即可，也許是設定抓取的時間等，各不一樣。

增量型爬蟲：增量型爬蟲與批量型爬蟲不同，會保持持續不斷的抓取，對于抓取到的網頁，要定期更新，因為互聯網網頁處于不斷變化中，新增網頁、網頁被刪除或者網頁內容更改都很常見，而增量型爬蟲需要及時反映這種變化，所以處于持續不斷的抓取過程中，不是在抓取新網頁，就是在更新已有網頁。通用的商業搜索引擎爬蟲基本都屬此類。

反爬蟲：使用任何技術手段，阻止別人批量獲取自己網站信息的一種方式。關鍵也在于批量。

攔截：成功地阻止爬蟲訪問。這里會有攔截率的概念。通常來說，攔截率越高的反爬蟲策略，誤傷的可能性就越高。因此需要做個權衡。