SubFinder是一个子域发现工具，可以为任何目标枚举海量的有效子域名。它已成为sublist3r项目的继承者

地址：https://github.com/projectdiscovery/subfinder

本文主要对Subfinder的源码进行学习（如有错误，恳请指正）

一 初始化

Options

入口main，首先调用ParseOptions()，做了一些参数的获取和准备工作

获取参数部分

往下走最重要的部分是然后判断了provider config 文件是否存在，如果不存在的话创建

遍历passive中的所有需要apikey的source，并且以yaml形式保存

NeedKey方法

可以看一下AllSources，这里是subfinder对接的所有搜索源（有些源查询需要apikey），这个yaml的作用就是保存key

provider-config.yaml，如果想要获取更多结果，可以将自己的key填入

NewRunner

这里可以看到通过loadProvidersFrom函数解析yaml中的key

通过Unmarshal来解析

接着调用了runner.initializePassiveEngine()返回passiveAgent（保存了一个source数组，存储了各个source结构体）

NewRunner继续向下，这里初始化了source的速率限制，在后期会进行使用

二 子域发现

首先在withValues中创建了一个上下文，走到RunEnumerationWithCtx()

简单拼接了一下domain，调用EnumerateMultipleDomainsWithCtx(),同样支持从文件中读取domain

遍历每个domain（感觉刚刚用 \n 凭借的操作有点多余）做了一个Ip的正则匹配

判断是否指定保存文件或者目录，最终都走到了EnumerateSingleDomainWithCtx()

EnumerateSingleDomainWithCtx中通过r.passiveAgent.EnumerateSubdomainsWithCtx实现子域的获取，返回了一个chan（passiveResults），在下面的代码默认将结果遍历存到uniqueMap，并且最后打印到屏幕上

打印结果

并且为了提高准确率，如果指定移除通配符，会执行这个代码，这块暂且不看，看主要部分的r.passiveAgent.EnumerateSubdomainsWithCtx

//如果开启r.options.RemoveWildcard，将会创建一个任务池，进行Dns查询
	var resolutionPool *resolve.ResolutionPool
	if r.options.RemoveWildcard {
		resolutionPool = r.resolverClient.NewResolutionPool(r.options.Threads, r.options.RemoveWildcard)
		err := resolutionPool.InitWildcards(domain)
		if err != nil {
			// Log the error but don't quit.
			gologger.Warning().Msgf("Could not get wildcards for domain %s: %s\n", domain, err)
		}
	}

EnumerateSubdomainsWithCtx()函数

创建了一个速率的限制器，这个就是上面初始化时提到的

然后创建了一个Session，这个session实际封装了与特定网络请求会话相关的所有配置和状态，之后对source发起请求均通过session进行

新建了一个带有超时时间的上下文，循环调用Sources里的source的run方法，并且将resp输出到result

可以看一下这些source源的run方法

quake（没有配置key，自动跳过，其实可以直接定义到外面，避免每个source都重复一次这个代码）

subdomaincenter

三 值得借鉴和学习的部分

1 是已经搜集好的各种源，可以直接拿来使用

2 在代码中很多通过上下文（ctx）传输数据，方便了参数的传递，简化了不少代码

3 正如passiveResults这里对chan的处理一样，函数主体一个先返回一个chan，然后协程进行数据处理，代码会看起来非常优雅

4 agent的封装，省去大量重复代码

四 Subfinder的对接

subfinder直接提供了将其当作库函数的实例 ，在example中

使用案例：

直接封装个结构体调用即可

最后有对速率限制这方面有部分代码看的不是特别明白，求指点