Xray和360爬蟲聯動形成自動化挖洞
0X00前言
好兄弟一直讓我寫一篇關于自動化掃描漏洞的文章，由于在公司實習沒時間寫一些文章，這段時間離職閑下來后，準備寫一下教程。PS：已經有很多大佬寫過了，我這里只是更簡單的寫一下，以及記錄一下我曾經踩過的坑。
0X01自動化原理
原理已經有很多大佬解釋過了這里不再贅述，直接上圖：
0X02開始搭建
由于我的阿里云服務器是買了一臺win2008，因此以下教程都是基于windows的：
Xray：
xray 為單文件二進制文件，無依賴，也無需安裝，下載后直接使用。
下載地址為：
Github: https://github.com/chaitin/xray/releases （國外速度快）
網盤: https://yunpan.#/surl_y3Gu6cugi8u （國內速度快）
Xray的簡單使用教程請參考：https://www.cnblogs.com/L0ading/p/12388898.html
360crawlergo
crawlergo是一個使用chrome headless模式進行URL入口收集的動態爬蟲。使用Golang語言開發，基于chromedp 進行一些定制化開發后操縱CDP協議，對整個頁面關鍵點進行HOOK，靈活表單填充提交，完整的事件觸發，盡可能的收集網站暴露出的入口。同時，依靠智能URL去重模塊，在過濾掉了大多數偽靜態URL之后，仍然確保不遺漏關鍵入口鏈接，大幅減少重復任務。
下載地址為：
https://github.com/0Kee-Team/crawlergo
crawlergo 只依賴chrome運行即可：
新版本chromium下載地址：https://www.chromium.org/getting-involved/download-chromium
Linux下載地址：https://storage.googleapis.com/chromium-browser-snapshots/Linux_x64/706915/chrome-linux.zip
如果覺得分開配置比較麻煩，網上也有大佬直接放在一起的項目
下載鏈接：https://github.com/timwhitez/crawlergo_x_XRAY
下載好后是這樣一個界面;
其中xray文件夾以及crawlergo文件夾都是空文件夾，目的是用來存放xray以及crawlergo
將最新版的xray放入xray文件夾中：
然后生成ca證書等一系列常規操作。
在crawlergo文件夾中放入下載好的最新的crawlergo.exe可執行文件，
再將launcher.py以及target.txt放入crawlergo文件夾中
接下來便是踩坑環節
配置好launcher.py的cmd變量中的crawlergo爬蟲配置(主要是chrome路徑改為本地路徑), 默認為:
./crawlergo -c C:\Program Files (x86)\Google\Chrome\Application\chrome.exe -t 20 -f smart --fuzz-path --output-mode json target
這個路徑是你安裝chrome的路徑
比如我的chrome.exe在改文件夾下
因此配置路徑為
cmd
= ["crawlergo.exe", "-c",
"C:/Users/Administrator/Desktop/chrome-win/chrome-win/chrome.exe","-t",
"20","-f","smart","--fuzz-path", "--output-mode", "json", target]
此處最需要注意的是在windows上復制文件路徑后斜杠為\
我們需要將路徑中的\改為/
同時我們還要配置地址和xray監聽地址為一致
0X03開始被動掃描挖洞
1.將目標url一個一個寫入crawlergo文件夾下的target.txt文件中。
2.進入xray文件夾啟動xray的被動監聽狀態
如：.\xray_windows_amd64.exe webscan --listen 127.0.0.1:7777 --html-output proxy.html
3. 進入crawlergo文件夾執行360爬蟲進行爬取
我們在target.txt文件中寫入awvs的測試站點http://testphp.vulnweb.com/
執行：python launcher.py
可以看到xray已經接收到流量并開始掃描出漏洞
Crawlergo文件夾下多出來的文件
subdomains.txt為爬蟲爬到的子域名, crawlresult.txt為爬蟲爬到的ur
進入xray文件夾下可以看到多出一個html文件，該文件為xray掃描結果
