一款用GO語言編寫的JS爬取工具~

URLFinder

URLFinder是一款用于快速提取檢測頁面中JS與URL的工具

通常用于快速查找隱藏在頁面或js中的敏感或未授權api接口

功能類似于JSFinder，開發由來就是使用它的時候經常返回空或鏈接不全，作者還不更新修bug，那就自己來咯

URLFinder更專注于提取頁面中的JS與URL鏈接，提取的數據更完善且可查看狀態碼、內容大小、標題等

基于golang的多線程特性，幾千個鏈接也能幾秒內出狀態檢測結果

有什么需求或bug歡迎各位師傅提交lssues

功能說明

1.提取頁面與JS中的JS及URL鏈接（頁面URL最多深入一層，防止抓偏）

2.提取到的鏈接會顯示狀態碼、響應大小、標題等（帶cookie操作時請使用-m 3 安全模式，防止誤操作）

3.支持配置Headers請求頭

4.支持提取批量URL

5.支持結果導出到csv文件

6.支持指定抓取域名

7.記錄抓取來源，便于手動分析

結果會優先顯示輸入的url頂級域名，其他域名不做區分顯示在 other

結果會優先顯示200，按從小到大排序（輸入的域名最優先，就算是404也會排序在其他子域名的200前面）

使用截圖

單url截圖（舊版截圖）

批量url截圖 （舊版截圖）

使用教程

單url時使用

URLFinder.exe -u http://www.baidu.com -s all -m 2
URLFinder.exe -u http://www.baidu.com -s 200,403 -m 2

批量url時使用

URLFinder.exe -s all -m 2 -f url.txt -o d:/

參數：

-h  幫助信息 （可以看到當前版本更新日期）
-u  目標URL  
-d  指定獲取的域名
-a  自定義user-agent請求頭  
-s  顯示指定狀態碼，all為顯示全部  
-m  抓取模式：
        1  正常抓取（默認）
        2  深入抓取 （url只深入一層，防止抓偏）
        3  安全深入抓取（過濾delete，remove等敏感路由）
-c  添加cookie  
-i  加載yaml配置文件（不存在時，會在當前目錄創建一個默認yaml配置文件）  
-f  批量url抓取，需指定url文本路徑  
-o  結果導出到csv文件，需指定導出文件目錄（.代表當前目錄）

編譯

以下是在windows環境下，編譯出各平臺可執行文件的命令

windows
#64位
SET CGO_ENABLED=0
SET GOOS=windows
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-windows64.exe main.go
#32位
SET CGO_ENABLED=0
SET GOOS=windows
SET GOARCH=386
go build -ldflags "-s -w"  -o URLFinder-windows32.exe main.go
linux
#64位
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-linux64 main.go
#32位
SET CGO_ENABLED=0
SET GOOS=linux
SET GOARCH=386
go build -ldflags "-s -w" -o URLFinder-linux32 main.go
macos
#64位
SET CGO_ENABLED=0
SET GOOS=darwin
SET GOARCH=amd64
go build -ldflags "-s -w" -o URLFinder-macos64 main.go
#32位
SET CGO_ENABLED=0
SET GOOS=darwin
SET GOARCH=386
go build -ldflags "-s -w" -o URLFinder-macos32 main.go

GOBY可以直接加載