漏洞掃描器為什么要用到爬蟲

漏洞掃描器使用爬蟲來進行爬取網頁內容、分析鏈接信息，還需要盡可能多的觸發網頁上的各種事件，以便獲取更多的有效鏈接信息。漏掃的爬蟲一般使用QtWebkit和其相關技術，一般使用PhantomJS，但是一般不使用PyQt因為在PyQt中沒有辦法自定義QPA插件。

爬蟲又稱網絡爬蟲、網頁蜘蛛和網絡機器人，學術名稱為自動獲取網頁內容的程序，網絡爬蟲是一個自動提取網頁的程序，它為搜索引擎從萬維網上下載網頁，是搜索引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始，獲得初始網頁上的URL，在抓取網頁的過程中，不斷從當前頁面上抽取新的URL放入隊列，直到滿足系統的一定停止條件。聚焦爬蟲的工作流程較為復雜，需要根據一定的網頁分析算法過濾與主題無關的鏈接，保留有用的鏈接并將其放入等待抓取的URL隊列。然后，它將根據一定的搜索策略從隊列中選擇下一步要抓取的網頁URL，并重復上述過程，直到達到系統的某一條件時停止。另外，所有被爬蟲抓取的網頁將會被系統存貯，進行一定的分析、過濾，并建立索引，以便之后的查詢和檢索；對于聚焦爬蟲來說，這一過程所得到的分析結果還可能對以后的抓取過程給出反饋和指導。

回答所涉及的環境：聯想天逸510S、Windows 10。