關于DorXNG

DorXNG是一款功能強大的現代OSINT信息收集工具,該工具可以利用高級搜索引擎操作符并通過多個上游搜索服務提供商來收集各種公開資源情報(OSINT)信息。DorXNG的后端利用了一個專門構建的SearXNG容器化鏡像,而SearXNG則是一個自托管的、可攻擊的、針對隱私數據的元數據搜索引擎。

本工具所使用的SearXNG可以將所有的搜索查詢請求通過Tor網絡進行路由,并使用Tor的MaxCircuitDirtiness配置指令實現每10秒刷新一次網絡。除此之外,DorXNG害禁用了SearXNG的所有客戶端超時功能,這些配置可以允許我們在發送大量重復搜索查詢請求時,避免遇到常見的搜索引擎限制。

DorXNG客戶端應用程序使用Python 3開發,能夠與SearXNG API交互并以并發的形式向其發送搜索查詢請求。值得一提的是,該工具還支持跨多個SearXNG實例來發送查詢請求,并將查詢結果存儲到一個SQLite3數據庫中。

注意,請不要使用DorXNG對任何公開SearXNG實例進行測試。

工具支持的上游搜索引擎

當前版本的DorXNG支持在下列上游搜索引擎中使用高級搜索查詢操作符:

Google
DuckDuckGo
Qwant
Bing
Brave
Startpage
Yahoo

工具安裝

由于該工具基于Python 3開發,因此我們首先需要在本地設備上安裝并配置好Python 3環境。接下來,廣大研究人員可以使用下列命令將該項目源碼克隆至本地:

git clone https://github.com/ResearchandDestroy/DorXNG.git

然后切換到項目目錄中,使用pip工具和項目提供的requirements.txt安裝該工具所需的其他依賴組件:

cd DorXNG

pip install -r requirements.txt

下列命令可以同時運行多個容器:

docker run researchanddestroy/searxng:latest

下列命令可以允許我們自定義構建容器:

git clone https://github.com/researchanddestroy/searxng # The URL must be all lowercase for the build process to complete

cd searxng

DOCKER_BUILDKIT=1 make docker.build

docker images

docker run <image-id>

開始發送查詢請求:

./DorXNG.py -q 'search query'

查詢DorXNG數據庫:

./DorXNG.py -D 'regex search string'

工具使用樣例

單個搜索查詢:

./DorXNG.py -q 'search query'

并發搜索查詢:

./DorXNG.py -q 'search query' -c4

頁面迭代模式:

./DorXNG.py -q 'search query' -n4

迭代并發搜索查詢:

./DorXNG.py -q 'search query' -c4 -n64

服務器列表迭代模式:

./DorXNG.py -S server.lst -q 'search query' -c4 -n64 -t0

查詢列表迭代模式:

./DorXNG.py -Q query.lst -c4 -n64

查詢和服務器列表迭代:

./DorXNG.py -S server.lst -Q query.lst -c4 -n64 -t0

主函數循環迭代模式:

./DorXNG.py -S server.lst -Q query.lst -c4 -n64 -t0 -L4

無限主函數循環迭代模式,數據庫文件大小限制為10k條目:

./DorXNG.py -S server.lst -Q query.lst -c4 -n64 -t0 -L0 -l10

將一個數據庫合并整合到一個新的數據庫文件中(每次一個):

./DorXNG.py -d new-database.db -m dorxng.db

將當前工作目錄中所有的數據庫文件整合到一個新的數據庫文件中:

for i in `ls *.db`; do ./DorXNG.py -d new-database.db -m $i; done

查詢一個數據庫:

./DorXNG.py -d new-database.db -D 'regex search string'

工具使用截圖

許可證協議

本項目的開發與發布遵循GPL-3.0開源許可證協議。

項目地址

DorXNG:https://github.com/ResearchandDestroy/DorXNG"

參考資料

https://docs.searxng.org/
https://www.torproject.org/