干貨 | 最全Web 滲透測試信息搜集-CheckList
這篇文章是21年中旬記錄的，平安夜p牛的直播中也談到，對于滲透測試來說最好有一個checklist，為了避免忘記測試某一部分的內容而錯過一些重要信息，同時有了checklist也容易利用自己喜歡的語言實現自動化，突然想起了這篇信息搜集相關的文章所以就分享出來。
1.獲取真實IP
為了保證網絡的穩定和快速傳輸，網站服務商會在網絡的不同位置設置節點服務器，通過CDN（Content Delivery Network，內容分發網絡）技術，將網絡請求分發到最優的節點服務器上面。如果網站開啟了CDN加速，就無法通過網站的域名信息獲取真實的IP，要對目標的IP資源進行收集，就要繞過CDN查詢到其真實的IP信息。
2.如何判斷是否是CDN
在對目標IP信息收集之前，首先要判斷目標網站是否開啟了CDN，一般通過不同地方的主機ping域名和nslookup域名解析兩種方法，通過查看返回的IP是否是多個的方式來判斷網站是否開啟了CDN，如果返回的IP信息是多個不同的IP，那就有可能使用了CDN技術。
使用ping域名判斷是否有CDN
直接使用ping域名查看回顯地址來進行判斷，如下回顯cname.vercel-dns.com，很明顯使用了cdn技術。
使用不同主機ping域名判斷是否有CDN
如果自己在多地都有主機可以ping域名，就可以根據返回的IP信息進行判斷。互聯網有很多公開的服務可以進行多地ping來判斷是否開啟了CDN，比如以下幾個：
全球Ping測試：https://www.wepcc.com/ 站長工具Ping檢測：http://ping.chinaz.com/ 愛站網Ping檢測：https://ping.aizhan.com/
可以發現對www.zjun.info的全球ping測試，有76.223.126、76.76.21.21這兩個不同的解析IP，說明www.zjun.info可能使用了CDN。
使用nslookup域名解析判斷是否有CDN
通過系統自帶的nslookup命令對域名解析，發現其中的Name字段直接指向cname.vercel-dns.com，毫無疑問使用了CDN技術。
又比如www.baidu.com，其中Address字段也是指向兩個不同IP，即www.baidu.com可能使用了CDN。
3.如何繞過CDN獲取真實IP
查詢子域名
由于CDN加速需要支付一定的費用，很多網站只對主站做了CDN加速，子域名沒有做CDN加速，子域名可能跟主站在同一個服務器或者同一個C段網絡中，可以通過子域名探測的方式，收集目標的子域名信息，通過查詢子域名的IP信息來輔助判斷主站的真實IP信息。
查詢歷史DNS記錄
通過查詢DNS與IP綁定的歷史記錄就有可能發現之前的真實IP信息，常用的第三方服務網站有：
dnsdb：https://dnsdb.io/zh-cn/ viewdns：https://viewdns.info/iphistory/ 微步在線：https://x.threatbook.cn/
使用國外主機請求域名
部分國內的CDN加速服務商只對國內的線路做了CDN加速，但是國外的線路沒有做加速，這樣就可以通過國外的主機來探測真實的IP信息。
探測的方式也有兩種，可以利用已有的國外主機直接進行探測；如果沒有國外主機，可以利用公開的多地ping服務（多地ping服務有國外的探測節點），可以利用國外的探測節點返回的信息來判斷真實的IP信息。
網站信息泄露漏洞
利用網站存在的漏洞和信息泄露的敏感信息、文件（如：phpinfo文件、網站源碼文件、Github泄露的信息等）獲取真實的IP信息。
phpinfo頁面中有一個SERVER_ADDR字段會顯示該主機真實IP。
郵件信息
一般的郵件系統都在內部，沒有經過CDN的解析，通過利用目標網站的郵箱注冊、找回密碼或者RSS訂閱等功能，接收到發來的郵件后，查看郵件源碼就可以獲得目標的真實IP。
目標網站APP應用
如果目標網站有自己的App，可以嘗試利用Burp Suite等流量抓包工具抓取App的請求，從里面可能會找到目標的真實IP。
4.旁站查詢（IP反查）
旁站是與攻擊目標在同一服務器上的不同網站，獲取到目標真實IP的情況下，在攻擊目標沒有可利用漏洞的情況下，可以通過查找旁站的漏洞攻擊旁站，然后再通過提權拿到服務器的最高權限，拿到服務器的最高權限后攻擊目標也就拿下了。
旁站信息收集也稱為IP反查，主要有以下方式：
Nmap掃描獲取旁站信息
使用命令
nmap -sV -p 1-65535 x.x.x.x
對目標IP進行全端口掃描，確保每個可能開放的端口服務都能識別到。
第三方服務獲取旁站信息
旁站信息可以通過第三方服務進行收集，比如在線網站與搜索引擎等。以下是幾個在線搜集網站：
站長工具同IP網站查詢：http://s.tool.chinaz.com/same webscan：https://www.webscan.cc/ 云悉：https://www.yunsee.cn/ 微步在線：https://x.threatbook.cn/ 在線旁站查詢|C段查詢|必應接口C段查詢：http://www.bug8.me/bing/bing.php
也可以利用搜索引擎語法來實現查詢：
bing
https://cn.bing.com/search?q=ip:x.x.x.x
fofa
ip="x.x.x.x"
5.C段主機查詢
C段主機是指與目標服務器在同一C段網絡的服務器。攻擊目標的C段存活主機是信息收集的重要步驟，很多企業的內部服務器可能都會在一個C段網絡中。在很難找到攻擊目標服務器互聯網漏洞的情況下，可以通過攻擊C段主機，獲取對C段主機的控制權，進入企業內網，在企業的內網安全隔離及安全防護不如互聯網防護健全的情況下，可以通過C段的主機進行內網滲透，這樣就可以繞過互聯網的防護，對目標進行攻擊。但是這種攻擊方式容易打偏。
Nmap掃描C段
使用命令nmap -sn x.x.x.x/24，對目標IP的C段主機進行存活掃描，根據掃描的結果可以判斷目標IP的C段還有哪些主機存活。
nmap -Pn這個命令在實際工作中的使用很多，該命令不通過ICMP協議進行主機存活判斷，會直接對端口進行掃描。這樣在開啟了防火墻禁Ping的情況下，也可以利用這個命令正常掃描目標是否存活及對外開啟的相關服務。
搜索引擎語法收集C段信息
site:x.x.x.* Fofa ip="x.x.x.x/24" 在線C段掃描工具 在線旁站查詢|C段查詢|必應接口C段查詢：http://www.bug8.me/bing/bing.php 查旁站：https://chapangzhan.com/ 云悉：https://www.yunsee.cn/
本地C段掃描工具（其中某些工具不只是C段掃描）
httpscan：https://github.com/zer0h/httpscan 小米范web查找器 Goby：https://gobies.org/ bufferfly：https://github.com/dr0op/bufferfly cscan：https://github.com/z1un/cscan
6.子域名查詢
子域名是父域名的下一級，比如blog.zjun.info和tools.zjun.info這兩個域名是zjun.info的子域名。一般企業對于主站域名的應用的防護措施比較健全，不管是應用本身的漏洞發現、漏洞修復，還是安全設備相關的防護都做得更加及時和到位，而企業可能有多個、幾十個甚至更多的子域名應用，因為子域名數量多，企業子域名應用的防護可能會沒有主站及時。攻擊者在主站域名找不到突破口時，就可以進行子域名的信息收集，然后通過子域名的漏洞進行迂回攻擊。子域名信息收集主要包含枚舉發現子域名、搜索引擎發現子域名、第三方聚合服務發現子域名、證書透明性信息發現子域名、DNS域傳送發現子域名等方式。
枚舉發現子域名
子域名收集可以通過枚舉的方式對子域名進行收集，枚舉需要一個好的字典，制作字典時會將常見子域名的名字放到字段里面，增加枚舉的成功率。子域名暴力破解常用的工具以下：
在線子域名查詢：https://phpinfo.me/domain/ OneForAll：https://github.com/shmilylty/OneForAll knock：https://github.com/guelfoweb/knock subDomainsBrute：https://github.com/lijiejie/subDomainsBrute Layer子域名挖掘機：https://github.com/euphrat1ca/LayerDomainFinder
搜索引擎發現子域名
使用搜索引擎語法，如
Google或者百度等
site:xxx.com Fofa domain="xxx.com"
第三方聚合服務發現子域名
第三方聚合平臺 Netcraft、Virustotal、ThreatCrowd、DNSdumpster 和 ReverseDNS 等獲取子域信息。
Sublist3r：https://github.com/aboul3la/Sublist3r OneForAll：https://github.com/shmilylty/OneForAll
證書透明性信息發現子域名
證書透明性（Certificate Transparency，CT）是Google的公開項目，通過讓域所有者、CA和域用戶對SSL證書的發行和存在進行審查，來糾正這些基于證書的威脅。具體而言，證書透明性具有三個主要目標：
使CA無法（或至少非常困難）為域頒發SSL證書，而該域的所有者看不到該證書； 提供一個開放的審核和監視系統，該系統可以讓任何域所有者或CA確定證書是錯誤的還是惡意頒發的； 盡可能防止用戶被錯誤或惡意頒發的證書所欺騙。
證書透明性項目有利有弊。通過證書透明性，可以檢測由證書頒發機構錯誤頒發的SSL證書，可以識別惡意頒發證書的證書頒發機構。因為它是一個開放的公共框架，所以任何人都可以構建或訪問驅動證書透明性的基本組件，CA證書中包含了域名、子域名、郵箱等敏感信息，存在一定的安全風險。
利用證書透明性進行域名信息收集，一般使用CT日志搜索引擎進行域名信息收集，如在線網站：
https://crt.sh/ https://transparencyreport.google.com/https/certificates https://developers.facebook.com/tools/ct/
本地工具：
ctfr：https://github.com/UnaPibaGeek/ctfr OneForAll：https://github.com/shmilylty/OneForAll
DNS域傳送發現子域名
DNS服務器分為：主服務器、備份服務器和緩存服務器。在主備服務器之間同步數據庫，需要使用“DNS域傳送”。域傳送是指備份服務器從主服務器拷貝數據，并用得到的數據更新自身數據庫。
若DNS服務器配置不當，可能導致攻擊者獲取某個域的所有記錄。造成整個網絡的拓撲結構泄露給潛在的攻擊者，包括一些安全性較低的內部主機，如測試服務器。同時，黑客可以快速的判定出某個特定zone的所有主機，收集域信息，選擇攻擊目標，找出未使用的IP地址，繞過基于網絡的訪問控制。目前來看"DNS域傳送漏洞"已經很少了。
利用nmap漏洞檢測腳本dns-zone-transfer進行檢測
nmap --script dns-zone-transfer --script-args dns-zone-transfer.domain=xxx.edu.cn -p 53 -Pn dns.xxx.edu.cn Linux dig命令進行測試 dig xxx.com ns dig axfr @dns xxx.com
7.端口掃描
最常用的就是nmap
-sS (TCP SYN掃描) -sT (TCP connect()掃描) -sU (UDP掃描) -sN; -sF; -sX (TCP Null，FIN，and Xmas掃描) -Pn (不通過ICMP探測) 詳細文檔： https://nmap.org/man/zh/
其次可能還會用到masscan：
https://github.com/robertdavidgraham/masscan
常見端口及對應服務表：
8.目錄探測
在信息搜集中，目錄掃描是一個很重要的步驟，可以幫助我們獲得如網站的測試頁面、后臺地址、常見第三方高危組件路徑等。但是目前多數網站都有云waf、主機防護等，對于頻繁訪問的IP會封禁處理。對于云waf，找到網站真實IP是很關鍵的，其余的情況基本都可以修改開源工具代碼利用IP代理池或控制訪問頻率的方式進行探測。
常用目錄掃描工具如下：
dirsearch：https://github.com/maurosoria/dirsearch dirmap：https://github.com/H4ckForJob/dirmap 御劍目錄掃描：https://github.com/foryujian/yjdirscan dirb：https://tools.kali.org/web-applications/dirb
IP代理池推薦：
ProxyPool：https://github.com/Python3WebSpider/ProxyPool
9.指紋識別
常見的指紋識別內容有CMS識別、框架識別、中間件識別、WAF識別。CMS識別一般利用不同的CMS特征來識別，常見的識別方式包括特定關鍵字識別、特定文件及路徑識別、CMS網站返回的響應頭信息識別等。
服務器信息搜集
服務版本識別、操作系統信息識別都可以利用nmap實現識別
nmap -sV -p 1-65535 x.x.x.x nmap -O x.x.x.x
CMS識別
識別CMS的目的在于，方便利用已公開漏洞進行滲透測試，甚至可以到對應CMS的官網下載對應版本的CMS進行本地白盒代碼審計。
特定關鍵字識別
CMS的首頁文件、特定文件可能包含了CMS類型及版本信息，通過訪問這些文件，將返回的網頁信息（如Powered by XXCMS）與掃描工具數據庫存儲的指紋信息進行正則匹配，判斷CMS的類型。
也可能前端源碼中或meta標簽中的content字段存在一些CMS特征信息，下圖很明顯能得知是WordPress框架。
特定文件及路徑識別
不同的CMS會有不同的網站結構及文件名稱，可以通過特定文件及路徑識別CMS。如WordPress會有特定的文件路徑/wp-admin、/wp-includes等，有些CMS的robots.txt文件也可能包含了CMS特定的文件路徑，與掃描工具數據庫存儲的指紋信息進行正則匹配，判斷CMS的類型。
CMS會有一些JS、CSS、圖片等靜態文件，這些文件一般不會變化，可以利用這些特定文件的MD5值作為指紋信息來判斷CMS的類型。
響應頭信息識別
應用程序會在響應頭Server、X-Powered-By、Set-Cookie等字段中返回Banner信息或者自定義的數據字段，通過響應頭返回的信息，可以對應用進行識別，有些WAF設備也可以通過響應頭信息進行識別判斷。當然Banner信息并不一定是完全準確的，應用程序可以自定義自己的Banner信息。
例如Shiro的響應頭信息中包含rememberMe字段：
指紋識別工具
指紋識別常用的工具如下：
whatweb：https://github.com/urbanadventurer/WhatWeb wappalyzer：https://github.com/AliasIO/wappalyzer Glass：https://github.com/s7ckTeam/Glass
還有兩款只支持如WordPress, Joomla, Drupal的工具
CMSScan：https://github.com/ajinabraham/CMSScan CMSmap：https://github.com/Dionach/CMSmap 云悉：https://www.yunsee.cn/ bugscaner在線cms識別：http://whatweb.bugscaner.com/look/
10.Google hacking
目錄遍歷: site:$site intitle:index.of 配置文件泄露: site:$site ext:xml | ext:conf | ext:cnf | ext:reg | ext:inf | ext:rdp | ext:cfg | ext:txt | ext:ora | ext:ini 數據庫文件泄露: site:$site ext:sql | ext:dbf | ext:mdb 日志文件泄露: site:$site ext:log 備份和歷史文件: site:$site ext:bkf | ext:bkp | ext:bak | ext:old | ext:backup 登錄頁面: site:$site inurl:login SQL錯誤: site:$site intext:"sql syntax near" | intext:"syntax error has occurred" | intext:"incorrect syntax near" | intext:"unexpected end of SQL command" | intext:"Warning: mysql_connect()" | intext:"Warning: mysql_query()" | intext:"Warning: pg_connect()" 公開文件信息: site:$site ext:doc | ext:docx | ext:odt | ext:pdf | ext:rtf | ext:sxw | ext:psw | ext:ppt | ext:pptx | ext:pps | ext:csv phpinfo(): site:$site ext:php intitle:phpinfo "published by the PHP Group" 搜索粘貼站點: site:pastebin.com | site:paste2.org | site:pastehtml.com | site:slexy.org | site:snipplr.com | site:snipt.net | site:textsnip.com | site:bitpaste.app | site:justpaste.it | site:heypasteit.com | site:hastebin.com | site:dpaste.org | site:dpaste.com | site:codepad.org | site:jsitor.com | site:codepen.io | site:jsfiddle.net | site:dotnetfiddle.net | site:phpfiddle.org | site:ide.geeksforgeeks.org | site:repl.it | site:ideone.com | site:paste.debian.net | site:paste.org | site:paste.org.ru | site:codebeautify.org | site:codeshare.io | site:trello.com $site 搜索Github、Gitlab: site:github.com | site:gitlab.com $site. 在線Google Hacking利用：https://tools.zjun.info/googlehacking/
11.社工信息收集
主要是對目標企業單位的關鍵員工、供應商和合作伙伴等相關信息進行收集。通過社工可以了解目標企業的人員組織結構，通過分析人員組織結構，能夠判斷關鍵人員并對其實施社會工程學魚叉釣魚攻擊。收集到的相關信息還可以進行社工庫查詢或字典的制作，用于相關應用系統的暴力破解。
whois信息
whois是用來查詢域名的IP及所有人等信息的傳輸協議。whois的本質就是一個用來查詢域名是否已經被注冊，以及注冊域名的詳細信息的數據庫（如域名所有人、域名注冊商），可以通過whois來實現對域名信息的查詢。whois查詢可以通過命令行或網頁在線查詢工具。
whois命令
whois xxx.com 后面的具體信息就沒截出來了，可以查詢域名的所有人、注冊商等相關信息：
在線工具
站長工具whois查詢：http://tool.chinaz.com/ipwhois 愛站網whois查詢：https://whois.aizhan.com/
12.社會工程學
社會工程學收集的信息有很多，包含網絡ID（現用和曾用）、真實姓名、手機號、電子郵箱、出生日期、身份證號、銀行卡、支付寶賬號、QQ號、微信號、家庭地址、注冊網站（貼吧、微博、人人網等）等信息。
在目標相關網頁中可能會存在招聘信息、客服聯系等，可以利用招聘或客服聊天的方式進行釣魚、木馬植入等。
搜集到相關的人員信息后可以制作社工字典，有如下在線或本地工具：
bugku密碼攻擊器：https://www.bugku.com/mima/ 白鹿社工字典生成器：https://github.com/z3r023/BaiLu-SED-Tool
除了制作社工字典進行暴破外，還可以用已知信息進行社工庫查詢，涉及敏感信息了，所以不給出鏈接，在Telegram軟件中充斥著大量免費或付費的社工查詢。
最后
補充一個網址：https://gitbook.se7ensec.cn/
信息收集在線工具集合網站
