关于DumpsterDiver

DumpsterDiver是一款功能强大的敏感信息收集工具，该工具可以帮助广大研究人员进行大规模数据分析，以搜索硬编码的密钥（如AWS访问密钥、Azure共享密钥或SSH密钥）或密码。除此之外，该工具还允许我们使用基础的条件表达式来创建简单的搜索规则（例如，仅报告包含至少10个电子邮件地址的csv文件）。

该工具旨在帮助我们搜索和检测任何潜在的敏感数据泄漏，请在获得许可之后再使用该工具进行安全测试。

功能介绍

1、使用香浓熵查找私钥；

2、通过Git日志搜索敏感信息；

3、支持对压缩文件进行解压，例如zip、tar.gz等；

4、支持使用简单规则实现高级搜索；

5、支持搜索硬编码密码；

6、支持完全的自定义开发；

工具安装

由于该工具基于Python 3开发，因此我们首先需要在本地设备上安装并配置好Python 3环境。

接下来，广大研究人员可以使用下列命令将该项目源码克隆至本地：

git clone https://github.com/securing/DumpsterDiver.git

然后切换到项目目录中，使用pip3工具和项目提供的requirements.txt文件安装该工具所需的其他依赖组件：

cd DumpsterDiver

$> pip3 install -r requirements.txt

工具使用帮助

usage: DumpsterDiver.py [-h] -p LOCAL_PATH [-r] [-a] [-s] [-o OUTFILE]

                        [--min-key MIN_KEY] [--max-key MAX_KEY]

                        [--entropy ENTROPY] [--min-pass MIN_PASS]

                        [--max-pass MAX_PASS]

                        [--pass-complex {1,2,3,4,5,6,7,8,9}]

                        [--exclude-files EXCLUDE_FILES [EXCLUDE_FILES ...]]

                        [--bad-expressions BAD_EXPRESSIONS [BAD_EXPRESSIONS ...]]

常用命令行选项

-p LOCAL_PATH：指定包含待分析文件的目录路径；

-a, --advance：所有的文件都将使用rules.yaml文件中定义的规则来进行额外分析；

-r, --remove：删除所有不包含任何敏感信息的文件；

-s, --secret：对所有的文件都执行额外的硬编码密码搜索分析；

-o OUTFILE：将输出文件以JSON格式输出和保存；

Docker使用

$> docker run -v /path/to/my/files:/files --rm rzepsky/dumpsterdiver -p /files

$> docker run -v /path/to/my/config/config.yaml:/config.yaml /path/to/my/config/rules.yaml:/rules.yaml -v /path/to/my/files:/files --rm rzepsky/dumpsterdiver -p /files

自定义搜索

我们可以通过命令行参数来实现自定义搜索：

--min-key MIN_KEY：指定要分析密钥的最小长度，默认为20；

--max-key MAX_KEY：指定要分析密钥的最大长度，默认为80；

--entropy ENTROPY：指定最高熵，默认为4.3；

自定义搜索样例：

$> python3 DumpsterDiver.py -p [PATH_TO_FOLDER] --min-key 40 --max-key 40 --entropy 4.3

$> python3 DumpsterDiver.py -p [PATH_TO_FOLDER] --min-key 66 --max-key 66 --entropy 5.1

$> python3 DumpsterDiver.py -p [PATH_TO_FOLDER] --min-key 76 --max-key 76 --entropy 5.1

$> python3 DumpsterDiver.py -p ./test/ --grep-words *aws_access_key_id* *aws_secret_access_key* -a

工具运行截图

工具使用演示视频

演示视频：【点我观看】

许可证协议

本项目的开发与发布遵循MIT开源许可证协议。

项目地址

DumpsterDiver：【GitHub传送门】

参考资料

https://vimeo.com/398343810

https://medium.com/@rzepsky/hunting-for-secrets-with-the-dumpsterdiver-93d38a9cd4c1