2.4 Burp Suite 抓取選項

在基于爬網的掃描過程中， 有許多選項可用于配置Burp Scanner的行為。這些可以在啟動掃描時即時配置，也可以在Burp的配置庫中維護。

爬網優化

這些設置控制爬網邏輯的行為，以反映爬網的目標和應用程序的性質。

最大鏈接深度

最大鏈接深度表示搜尋器將從起始URL進行的最大導航過渡（單擊鏈接和提交表單）的數量。現代應用程序傾向于在菜單和頁面頁腳等位置的每個響應中建立大量導航。由于這個原因，通常可以在距起始URL的一小段跳內達到應用程序的絕大多數內容和功能。全面涵蓋多階段流程（例如查看項目，將其添加到購物車并進行結帳）將需要更多躍點。

一些應用程序包含非常長的導航序列，不會導致有趣的不同功能。例如，購物應用程序可能具有大量的產品類別，子類別和視圖過濾器。對于爬蟲而言，它可能表現為非常深的嵌套鏈接樹，所有鏈接都返回不同的內容。在這種情況下，深入爬入導航結構的收益顯然會減少，因此明智的做法是將最大鏈接深度限制為較小的數字，例如8。

爬網策略

現實世界中的應用程序在組織內容和導航的方式，響應的易變性以及應用程序狀態的范圍和復雜性方面存在巨大差異。在一個極端情況下，應用程序可能為每個不同的功能采用唯一且穩定的URL，在每個響應中返回確定性內容，并且不包含服務器端狀態。在另一種極端情況下，應用程序可能會使用臨時URL，這些URL會在每次訪問功能時更改，重載URL會通過不同的導航路徑到達不同的功能，易失性內容會不確定地更改，并且狀態嚴重的功能會導致用戶操作引起更改。隨后觀察到的內容和行為。

Burp的履帶板可以應對這兩種極端情況。在需要時，它可以處理短暫的和重載的URL，易失性內容以及應用程序狀態的更改。但是，完全處理這些情況會在爬網中涉及的工作量上增加實質性開銷。您可以使用爬網策略設置來調整對特定應用程序采取的方法。實際上，此設置表示在爬網速度和所達到的覆蓋范圍之間進行權衡。默認策略表示速度和覆蓋范圍之間的折衷，適合于典型應用。在使用更穩定和唯一的URL且沒有狀態功能的應用程序進行爬網時，可以選擇一種針對速度進行了更優化的策略。或者，當使用更易變的URL或重載的URL或更復雜的有狀態功能搜尋應用程序時，可以選擇對完整性進行更優化的策略。

爬網限制

由于有狀態功能的數量，易失性內容和無限制的導航，爬行現代應用程序有時是一個開放式練習。Burp的搜尋器使用各種技術來在搜尋早期最大程度地發現獨特內容。爬取限制的設置可讓您在爬取的范圍達到收益遞減點時對其施加限制。通常，根據您對被掃描應用程序的了解，對爬網范圍配置一個限制是明智的。

您可以根據以下條件選擇限制爬網：

• 花費的時間。
• 發現的唯一位置的數量。根據所選的爬網策略，位置代表內容或功能的不同單位。
• 發出的HTTP請求數。

登錄功能

這些設置控制搜尋器如何與搜尋期間遇到的任何登錄功能進行交互。您可以配置搜尋器是否應：

• 嘗試在目標網站上自動注冊新用戶-無需在爬網之前手動設置用戶帳戶。請注意，如果需要，您仍可以在掃描啟動器設置中提供有效的應用程序登錄名。
• 使用無效的用戶名故意觸發登錄失敗-這對于訪問僅在提交無效憑據時才能訪問的帳戶恢復功能很有用。請注意，對于您作為應用程序登錄名提供的用戶名，搜尋器不會故意提交無效的密碼。這是為了避免在這些帳戶上觸發任何帳戶鎖定功能。

搜尋器如何識別登錄和注冊表格？

搜尋器使用以下清單來標識目標站點上的登錄和注冊表單：

• 該表單是標準的HTML表單。
• 它包含具有屬性type=password的輸入字段。
• 密碼字段具有非空name屬性。

如果滿足所有這些條件，那么搜尋器將通過依次應用以下規則來將注冊表單與登錄表單區分開。例如，如果兩個表單的密碼字段數目相等，則它將比較文本字段的數目，依此類推。

注冊表格以表格最多的形式為準：

1. 密碼欄位
2. 文字欄位
3. 多值選擇字段
4. 單值選擇字段
5. 如果以上所有條件均相等，則首先找到的任何形式均視為注冊表格。

搜尋器為什么不填寫我的登錄表格？

搜尋器根據密碼字段識別登錄和注冊表單。但是，只有在以下相關字段中，它才能輸入用戶名或電子郵件地址：

• 具有屬性type=email或type=text
• 具有非空name屬性

如果不滿足這些條件之一，那么搜尋器將成功識別表單，但將無法正確輸入相應的數據。

在爬網期間處理應用程序錯誤

這些設置控制Burp掃描儀如何處理在掃描的爬網階段出現的應用程序錯誤（連接失敗和傳輸超時）。

您可以配置以下選項：

• 暫停任務之前，連續超時請求的數量，或超時請求的總百分比。
• 在爬網完成后執行的重試次數，以重試超時的請求。

您可以將任何設置留空以將其禁用。

雜項爬網設置

這些設置使您可以自定義爬網的一些詳細信息：

• 提交表單 -此設置控制是否提交表單。
• 自定義User-Agent-使用此設置可以指定自定義User-Agent標頭。
• 請求漫游器文件 -此設置控制是否獲取robots.txt文件并從中提取鏈接。
• 請求站點地圖 -此設置控制是否獲取sitemap.xml文件并從中提取鏈接。您可以配置要提取的最大項目數。
• 跟蹤注釋和JavaScript中的隱藏鏈接 -此設置控制是否解析HTML注釋和JavaScript，以查找頁面導航中不可見的URL。您可以配置要提取的最大項目數。

嵌入式瀏覽器選項

這些設置使您可以控制Burp Scanner在掃描的爬網和審核階段是否使用嵌入式Chromium瀏覽器進行導航。默認情況下，此實驗功能處于禁用狀態。但是，您可以選擇手動啟用它，也可以允許Burp根據對硬件的評估為您做出決定。在這種情況下，Burp將檢查您的硬件是否似乎支持瀏覽器驅動的掃描，并在可能的情況下啟用它。我們建議使用至少具有2個CPU內核和8 GB RAM的計算機。

您還可以控制嵌入式瀏覽器是否從非范圍內的主機加載資源，并設置站點資源的讀取超時。