官方公众号企业安全新浪微博
FreeBuf.COM网络安全行业门户，每日发布专业的安全资讯、技术剖析。
FreeBuf+小程序
景_- 关注
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
SubFinder是一个子域发现工具，可以为任何目标枚举海量的有效子域名。它已成为sublist3r项目的继承者
地址：https://github.com/projectdiscovery/subfinder
本文主要对Subfinder的源码进行学习（如有错误，恳请指正）
一 初始化
Options
入口main，首先调用ParseOptions()，做了一些参数的获取和准备工作
获取参数部分
往下走最重要的部分是然后判断了provider config 文件是否存在，如果不存在的话创建
遍历passive中的所有需要apikey的source，并且以yaml形式保存
NeedKey方法
可以看一下AllSources，这里是subfinder对接的所有搜索源（有些源查询需要apikey），这个yaml的作用就是保存key
provider-config.yaml，如果想要获取更多结果，可以将自己的key填入
NewRunner
这里可以看到通过loadProvidersFrom函数解析yaml中的key
通过Unmarshal来解析
接着调用了runner.initializePassiveEngine()返回passiveAgent（保存了一个source数组，存储了各个source结构体）
NewRunner继续向下，这里初始化了source的速率限制，在后期会进行使用
二 子域发现
首先在withValues中创建了一个上下文，走到RunEnumerationWithCtx()
简单拼接了一下domain，调用EnumerateMultipleDomainsWithCtx(),同样支持从文件中读取domain
遍历每个domain（感觉刚刚用 \n 凭借的操作有点多余）做了一个Ip的正则匹配
判断是否指定保存文件或者目录，最终都走到了EnumerateSingleDomainWithCtx()
EnumerateSingleDomainWithCtx中通过r.passiveAgent.EnumerateSubdomainsWithCtx实现子域的获取，返回了一个chan（passiveResults），在下面的代码默认将结果遍历存到uniqueMap，并且最后打印到屏幕上
打印结果
并且为了提高准确率，如果指定移除通配符，会执行这个代码，这块暂且不看，看主要部分的r.passiveAgent.EnumerateSubdomainsWithCtx
//如果开启r.options.RemoveWildcard，将会创建一个任务池，进行Dns查询
var resolutionPool *resolve.ResolutionPool
if r.options.RemoveWildcard {
resolutionPool = r.resolverClient.NewResolutionPool(r.options.Threads, r.options.RemoveWildcard)
err := resolutionPool.InitWildcards(domain)
if err != nil {
// Log the error but don't quit.
gologger.Warning().Msgf("Could not get wildcards for domain %s: %s\n", domain, err)
}
}EnumerateSubdomainsWithCtx()函数
创建了一个速率的限制器，这个就是上面初始化时提到的
然后创建了一个Session，这个session实际封装了与特定网络请求会话相关的所有配置和状态，之后对source发起请求均通过session进行
新建了一个带有超时时间的上下文，循环调用Sources里的source的run方法，并且将resp输出到result
可以看一下这些source源的run方法
quake（没有配置key，自动跳过，其实可以直接定义到外面，避免每个source都重复一次这个代码）
subdomaincenter
三 值得借鉴和学习的部分
1 是已经搜集好的各种源，可以直接拿来使用
2 在代码中很多通过上下文（ctx）传输数据，方便了参数的传递，简化了不少代码
3 正如passiveResults这里对chan的处理一样，函数主体一个先返回一个chan，然后协程进行数据处理，代码会看起来非常优雅
4 agent的封装，省去大量重复代码
四 Subfinder的对接
subfinder直接提供了将其当作库函数的实例 ，在example中
使用案例：
直接封装个结构体调用即可
最后有对速率限制这方面有部分代码看的不是特别明白，求指点
如需授权、对文章有疑问或需删除稿件，请联系 FreeBuf 客服小蜜蜂（微信：freebee1024）
- 10 文章数
- 8 关注者