freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

DorXNG:一款功能强大的现代OSINT信息收集工具
2023-10-20 11:12:07

关于DorXNG

DorXNG是一款功能强大的现代OSINT信息收集工具,该工具可以利用高级搜索引擎操作符并通过多个上游搜索服务提供商来收集各种公开资源情报(OSINT)信息。DorXNG的后端利用了一个专门构建的SearXNG容器化镜像,而SearXNG则是一个自托管的、可攻击的、针对隐私数据的元数据搜索引擎。

本工具所使用的SearXNG可以将所有的搜索查询请求通过Tor网络进行路由,并使用Tor的MaxCircuitDirtiness配置指令实现每10秒刷新一次网络。除此之外,DorXNG害禁用了SearXNG的所有客户端超时功能,这些配置可以允许我们在发送大量重复搜索查询请求时,避免遇到常见的搜索引擎限制。

DorXNG客户端应用程序使用Python 3开发,能够与SearXNG API交互并以并发的形式向其发送搜索查询请求。值得一提的是,该工具还支持跨多个SearXNG实例来发送查询请求,并将查询结果存储到一个SQLite3数据库中。

注意,请不要使用DorXNG对任何公开SearXNG实例进行测试。

工具支持的上游搜索引擎

当前版本的DorXNG支持在下列上游搜索引擎中使用高级搜索查询操作符:

Google

DuckDuckGo

Qwant

Bing

Brave

Startpage

Yahoo

工具安装

由于该工具基于Python 3开发,因此我们首先需要在本地设备上安装并配置好Python 3环境。接下来,广大研究人员可以使用下列命令将该项目源码克隆至本地:

git clone https://github.com/ResearchandDestroy/DorXNG.git

然后切换到项目目录中,使用pip工具和项目提供的requirements.txt安装该工具所需的其他依赖组件:

cd DorXNG

pip install -r requirements.txt

下列命令可以同时运行多个容器:

docker run researchanddestroy/searxng:latest

下列命令可以允许我们自定义构建容器:

git clone https://github.com/researchanddestroy/searxng # The URL must be all lowercase for the build process to complete

cd searxng

DOCKER_BUILDKIT=1 make docker.build

docker images

docker run <image-id>

开始发送查询请求:

./DorXNG.py -q 'search query'

查询DorXNG数据库:

./DorXNG.py -D 'regex search string'

工具使用样例

单个搜索查询:

./DorXNG.py -q 'search query'

并发搜索查询:

./DorXNG.py -q 'search query' -c4

页面迭代模式:

./DorXNG.py -q 'search query' -n4

迭代并发搜索查询:

./DorXNG.py -q 'search query' -c4 -n64

服务器列表迭代模式:

./DorXNG.py -S server.lst -q 'search query' -c4 -n64 -t0

查询列表迭代模式:

./DorXNG.py -Q query.lst -c4 -n64

查询和服务器列表迭代:

./DorXNG.py -S server.lst -Q query.lst -c4 -n64 -t0

主函数循环迭代模式:

./DorXNG.py -S server.lst -Q query.lst -c4 -n64 -t0 -L4

无限主函数循环迭代模式,数据库文件大小限制为10k条目:

./DorXNG.py -S server.lst -Q query.lst -c4 -n64 -t0 -L0 -l10

将一个数据库合并整合到一个新的数据库文件中(每次一个):

./DorXNG.py -d new-database.db -m dorxng.db

将当前工作目录中所有的数据库文件整合到一个新的数据库文件中:

for i in `ls *.db`; do ./DorXNG.py -d new-database.db -m $i; done

查询一个数据库:

./DorXNG.py -d new-database.db -D 'regex search string'

工具使用截图

许可证协议

本项目的开发与发布遵循GPL-3.0开源许可证协议。

项目地址

DorXNG:【GitHub传送门

参考资料

https://docs.searxng.org/

https://www.torproject.org/

# 搜索引擎 # 信息收集 # OSINT # Docker容器 # 数据查询
免责声明
1.一般免责声明:本文所提供的技术信息仅供参考,不构成任何专业建议。读者应根据自身情况谨慎使用且应遵守《中华人民共和国网络安全法》,作者及发布平台不对因使用本文信息而导致的任何直接或间接责任或损失负责。
2. 适用性声明:文中技术内容可能不适用于所有情况或系统,在实际应用前请充分测试和评估。若因使用不当造成的任何问题,相关方不承担责任。
3. 更新声明:技术发展迅速,文章内容可能存在滞后性。读者需自行判断信息的时效性,因依据过时内容产生的后果,作者及发布平台不承担责任。
本文为 独立观点,未经授权禁止转载。
如需授权、对文章有疑问或需删除稿件,请联系 FreeBuf 客服小蜜蜂(微信:freebee1024)
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
  • 0 文章数
  • 0 关注者
文章目录