freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

点我创作

试试在FreeBuf发布您的第一篇文章 让安全圈留下您的足迹
我知道了

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

关于网络空间搜索引擎
渔夫也爱摸鱼 2021-12-13 10:26:40 638500
所属地 四川省

网络空间搜索引擎使用

前言

很多人说渗透测试的本质是信息收集,本周我们在渔夫摸鱼team讨论了信息收集技术,最后我们打算发布一篇关于网络空间搜索引擎的文章。相信网络空间搜索引擎是很多人在信息收集时必不可少的一个工具,本文将简单分析一下目前我们常用的网络空间搜索引擎:Shodan、ZoomEye、FOFA、Quake。我们将对它们做一个简单的分析比较,并总结出其中的一些利用技巧,从而帮助我们收集到更完善的信息

原理理解

(原理理解部分大多参考文献:网络空间搜索引擎的原理研究及安全应用)

很多人估计都能熟练的掌握网络空间搜索引擎的使用方法,但大家知道这些网络空间引擎是如何工作的吗?

其实网络空间搜索引擎和传统的搜索引擎如谷歌百度的工作方式很类似,只不过网络空间引擎的目标更多几种在全球的 IP 地址上,即搜索范围在 1.1.1.1-255.255.255.255 的所有设备及服务上

Shodan 是最早发布的网络空间搜索引擎,由 John Matherly 创建,据说 Shodan 早期工作仅由 24 台电脑完成,这 24 台电脑分布在全世界各处,不间断的地对全球 40 亿 IP 地址进行扫描及指纹识别,并提供快速、准确的结果搜索。Shodan 的框架模型可以简单理解为下图

image-20211212151834985.png

全球 40 亿 IP 地址不简单的扫描及指纹识别,这是一个不小的工作量,背后似乎有着很多我们不能理解的操作。但其实我们自己也可以简单的实现这个工作

比如我们常用的端口扫描工具 nmap ,masscan。Masscan 号称是最快的互联网端口扫描器,最快可以在六分钟内扫遍互联网,nmap 虽然扫描速度偏慢,但 namp 对端口服务识别比较精准,结合这两个工具,我们似乎自己也能做一个网络空间搜索引擎

当然我们实际使用的空间搜索引擎肯定比这里设想的要复杂很多,不过原理上可以这么去理解。

简单介绍

Shodan

https://www.shodan.io/

Shodan 是全球第一个网络设备搜索引擎,发布于 2009 年

image-20211211171913376.png

最简单的使用方法就是直接输入我们想要寻找资产的关键字,如我们想找一些使用 Grafana 系统的网站,Grafana 是一个监控仪表系统,最近也被爆出了任意文件读取的漏洞

可以看到 Shodan 有 2164 条搜索结果,Shodan 会在各个位置匹配关键字 Grafana

image-20211211180205413.png

在我们对目标资产的指纹不明晰前,直接搜索关键字的方法能尽可能的找到相关资产,但搜索结果很可能并不准确,我们可以找一个 Grafana 网站,简单查看其特征,提取出它独有的特征,然后结合 Shodan 的语法可以进行精准搜索

如 Grafana 最简单明显的特征的就是 title ,然后在 Shodan 中搜索title:Grafana,在 Shodan 中搜索结果变成了 86166。搜索结果反而更多了,而且搜索也更加精准

image-20211211181712966.png

在 Shodan 中,未注册用户可以获取 1 页的搜索结果,注册用户可以获取 2 页的搜索结果。另外 Shodan 的付费分为 59$、299$、899$ 三档,而且都是按月付费

image-20211211182634623.png

ZoomEye

https://www.zoomeye.org/

ZoomEye(“钟馗之眼”)是知道创宇旗下404实验室驱动打造的中国第一款网站空间搜索引擎。其实在 ZoomEye 发布前,Shodan 把这种搜索引擎更多叫做网络设备搜索引擎,而国内更习惯使用网络空间搜索引擎这个概念,据说这个概念是知道创宇安全公司于 2013 年首次在国内提出的

image-20211211183732587.png

同样直接搜索 Grafana 关键字,ZoomEye 直接给出了 43w 条数据!搜索 title 指纹也有 27W+ 条数据

image-20211211184408369.png

ZoomEye 对未注册用户开放 20 条搜索结果,注册用户 400 条搜索结果。其中会员也是按月付费

image-20211211191700758.png

FOFA

https://fofa.so/

FOFA 是白帽汇推出的一款网络空间搜索引擎,首页十分简洁

image-20211211191922878.png

fofa 对 Grafana 关键字的搜索结果是 27w 条,其中通过 title 指纹搜索的结果有 23w 条。结果上略少于 ZoomEye,但我这里不可能去验证这上万条数据是否有效,这里只供参考

image-20211211192752133.png

fofa 的非注册用户只能获取 10 条搜索结果,注册用户可以查看 50 条结果。另外 fofa 会员是永久制,主要分为高级会员 1000¥,普通会员 300¥

image-20211212013604630.png

Quake

https://quake.360.cn/quake/#/index

Quake 是 360 网络安全响应中心自主研发设计的全网空间测绘系统

image-20211212013818537.png

Quake 对 Grafana 关键字的搜索结果竟然有 67w+ 条!!!但是独立 ip 显示却只有 16w ,这个数字在 ZoomEye 中为 34w,在 fofa 中为 22w+。不过这里的数据都太庞大,无法实际去评测,只能粗略感受一下

image-20211212013943772.png

Quake 的注册用户可以查看 500 条数据,而且 Queke 注册用户每个月有 3000 积分,可用于下载数据这些。另外 Quake 的会员也是终身制,价格对应权限和 FOFA 差不多,可以说 Quake 是对平民玩家最友善的平台了,赶快薅!!!

image-20211212020041514.png

实战使用

上面以收集 Grafana 资产为演示,简单介绍了 Shodan、ZoomEye、FOFA 和 Quake 的使用,相信很多人已经有了自己选择的方案。上面的简单测评并不规范,在实战使用时,建议结合多个平台使用,这样才能保证信息收集的更加完整。下面将介绍一些实战利用技巧

资产收集工具

github 上有很多优秀的工具对搜索引擎提供的 API 进行了封装。通过工具的形式更有利于批量处理资产,毕竟在浏览器上一页一页的翻效率还是太低了

kunyu

https://github.com/knownsec/Kunyu

kunyu 是一款基于 ZoomEye 的工具,虽然是一个基于命令行的 python 工具,但使用方法类似于 meterpreter ,还是尽可能的优化了用户的使用体验

infos.png

fofa_view

https://github.com/wgpsec/fofa_viewer

Fofa_Viewer 一个简单易用的fofa客户端由WgpSec狼组安全团队 f1ashine 师傅主要编写,程序使用使用javaFx编写,便于跨平台使用

该工具具有图形化界面,而且可以在工具直接使用 fofa 语法!!!而且导出数据的信息十分完整!!!我的使用方法就是利用该工具导出大量 url , 然后利用自己编写的脚本批量处理我下一步的操作,使用上效率极高,而且该工具的学习成本也极低,上手即可用,配合上 fofa 的永久会员,体验感拉满,这里强推!!!

search.jpeg

Quake 下载数据

我使用工具一大目的是为了批量处理数据,其实这些搜索引擎都有下载搜索结果的功能,而 FOFA web 程序下载数据还需要 F 币,平民玩家玩不起。。。

但 Queke 其实是可以免费下载数据的,即使是注册用户,每个月也可以免费下载 3000 条数据。所以某些时候上使用 Queke 的下载功能也足够了

谷歌浏览器插件

Shodan 和 FOFA 都有提供谷歌浏览器的插件,通过插件我们可以简单的使用网络空间搜索引擎的一些功能

Shodan

image-20211212153652695.png

fofa

image-20211212153839368.png

使用技巧

icon 信息收集

favicon.ico 一般用于作为缩略的网站标志,它显示在浏览器的地址栏、浏览器标签上或者在收藏夹上,是展示网站个性的缩略 logo 标志,也是一个明显的指纹信息

这几个网络空间搜索引擎都有搜索 icon 信息的功能,在 fofa 中,这部分功能甚至只有高级会员才能使用

下图是 Quake 对 icon 信息的收集结果

image-20211212165655290.png

更精准的指纹收集

icon 是一个明显的指纹信息,然后我们有些目标可能并没有十分明显的指纹,我们可能需要关注更多的细节,这时候可以考虑 cert 证书、body特征信息等,如下 fofa 语法:

cert="chinamobile" 搜索证书(https或者imaps等)中带有中国移动的资产
body="Directory"		找目录遍历漏洞 
header="jboss"			从http头中搜索“jboss”

蜜罐信息

现在很多网络空间搜索引擎都提供了蜜罐识别的功能,我这里就有一台部署在公网的蜜罐系统,被 Queke 成功的识别到了

image-20211212170429284.png

相信这个功能对一些小伙伴帮助还是很大的

参考:

[1]马程.网络空间搜索引擎的原理研究及安全应用[J].网络空间安全,2016,7(05):6-10.

Shodan BinaryEdge ZoomEye 网络空间搜索引擎测评:https://paper.seebug.org/970/

# 信息收集
免责声明
1.一般免责声明:本文所提供的技术信息仅供参考,不构成任何专业建议。读者应根据自身情况谨慎使用且应遵守《中华人民共和国网络安全法》,作者及发布平台不对因使用本文信息而导致的任何直接或间接责任或损失负责。
2. 适用性声明:文中技术内容可能不适用于所有情况或系统,在实际应用前请充分测试和评估。若因使用不当造成的任何问题,相关方不承担责任。
3. 更新声明:技术发展迅速,文章内容可能存在滞后性。读者需自行判断信息的时效性,因依据过时内容产生的后果,作者及发布平台不承担责任。
本文为 渔夫也爱摸鱼 独立观点,未经允许不得转载,授权请联系FreeBuf客服小蜜蜂,微信:freebee2022
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
tech
渔夫也爱摸鱼 LV.3
NjE5MzM0MTY3
  • 7 文章数
  • 22 关注者
ThinkPHP框架渗透实战
2022-01-17
如何编写Python漏洞验证脚本(单线程和多线程)
2022-01-09
不只会利用工具:理解bypass disable_functions
2022-01-02
文章目录