如何對短鏈接服務暴露的URL進行網絡偵察

Urlhunter

Urlhunter是一款網絡偵察和信息收集工具，該工具基于Go語言開發。在該工具的幫助下，廣大研究人員可以輕松搜索通過短鏈接服務暴露的URL以及相關資源，比如說bit.ly和goo.gl等等。

工具安裝

源碼安裝

廣大研究人員可以通過github：https://github.com/utkusen/urlhunter/releases/latest訪問該項目的預構建源碼并運行。比如說：

tar xzvf urlhunter_0.1.0_Linux_amd64.tar.gz
./urlhunter --help

Go安裝

首先，我們需要在自己的計算機設備上安裝并配置好Go環境。

接下來，運行下列命令即可完成工具的安裝：

go get -u github.com/utkusen/urlhunter

如果你使用的是Windows系統，那你需要注意了。因為Urlhunter所使用的XZ Utils在Linux和macOS系統上是自帶的。那么對于Windows，則需要手動從https://tukaani.org/xz/下載。

工具使用

Urlhunter的運行需要使用三個參數，即-keywords、-date和-o。

比如說：

urlhunter -keywords keywords.txt -date 2020-11-20 -o out.txt

-keywords

你需要指定包含了關鍵詞的txt文件，每個關鍵詞單獨占一行，我們有三種不同的方式來指定關鍵詞。

單個關鍵詞：Urlhunter將會把給定的關鍵詞以子字符串的形式進行搜索，比如說，關鍵詞acme.com將匹配到https://acme.com/blabla和https://another.com/?referrer=acme.com。

多個關鍵詞：Urlhunter將會把給定的關鍵詞以AND邏輯的形式進行搜索，這也就意味著，URL必須包含所有提供的關鍵詞。關鍵詞必須以“,”分隔，比如說，關鍵詞acme.com,admin將匹配到https://acme.com/secret/adminpanel，但無法匹配到https://acme.com/somethingelse。

正則表達式：Urlhunter將會搜索給定的正則表達式。在關鍵詞文件中，正則表達式必須以“regex”字符串開頭，格式為regex REGEXFORMULA。比如說，regex 1\d{10}將會匹配到https://example.com/index.php?id=12938454312，但無法匹配到https://example.com/index.php?id=abc223。

-date

Urlhunter可以根據給定的日期參數來下載文件，我們有三種方式來指定日期參數。

最新日期：Urlhunter將會下載最新的文檔，比如說：

-date latest

單個日期：Urlhunter將會根據給定日期下載文件，日期格式為YYYY-MM-DD。比如說：

-date 2020-11-20

日期范圍：Urlhunter將會下載給定日期范圍內的文件，比如說：

-date 2020-11-10:2020-11-20

-o

我們可以使用-o參數來指定輸出文件，比如說：

-o out.txt

使用樣例

Urlhunter可以用于網絡偵察、情報收集和漏洞挖掘等安全活動中。比如說：

docs.google.com/a/acme.com和drive.google.com/a/acme.com關鍵詞將會幫助我們查找Acme公司的公共Google Docs&Drive共享鏈接。

而acme.com,password_reset_token關鍵詞可以幫助我們查找acme.com的有效密碼重置令牌。

trello.com允許我們查找公共Trello地址。

工具使用演示

視頻地址：https://www.油管.com/watch?v=Ct086YRm7i8