关于WWWGrep

WWWGrep是一款针对HTML安全的工具，该工具基于快速搜索“grepping”机制实现其功能，并且可以按照类型检查HTML元素，并允许执行单个、多个或递归搜索。Header名称和值同样也可以通过这种方式实现递归搜索。

功能介绍

使用递归选项在目标站点上搜索名为“username”或“password”的输入字段，快速定位登录页面。

快速检查Header以了解特定技术的使用情况。

通过搜索响应Header快速定位Cookie和JWT令牌。

与代理工具一起使用可通过一组链接快速自动执行递归。

通过搜索输入字段和参数处理符号，找到页面（或站点）上的所有输入接收器。

在页面上找到所有开发人员注释，以识别注释掉的代码（或待办事项）。

快速查找网页中存在的易受攻击的JavaScript代码。

识别页面代码中存在的API令牌和访问密钥。

快速测试管理下的多个站点是否使用了易受攻击的代码。

快速测试管理下的多个站点是否使用了易受攻击的框架/技术。

查找可能共享公共代码库的站点，以确定缺陷/漏洞的影响。

查找共享公共身份验证令牌（Header身份验证令牌）的站点。

其它功能...

工具安装

广大研究人员可以使用下列命令将该项目源码克隆至本地，并安装好相关的依赖组件：

git clone https://github.com/OWASP/wwwgrep.git
pip3 install -r requirements.txt
python3 wwwgrep.py <arguments and parameters>

依赖组件（pip3 install -r requirements.txt）

- Python 3.5+
- BeautifulSoup 4
- UrlLib.parse
- requests_html
- argparse
- requests
- re
- os.path

命令行选项

wwwgrep.py [target/file] [search_string] [search params/criteria/recursion etc]
Search Inputs
search_string 指定要搜索的字符串，或者为搜索参数中指定类型的所有对象指定“”
-t --target 指定单个URL作为搜索的目标
-f --file 指定包含要搜索的URL列表的文件
Recursion
-rr --recurse-root 将URL递归限制到目标中提供的域
-ra --recurse-any 允许递归扩展到目标域之外
Matching Criteria
-i --ignore-case   执行不区分大小写的匹配（默认为按大小写）
-d --dedupe       允许每页有重复的结果（默认为消除重复的结果）
-r --no-redirects   不允许重定向（默认为允许重定向）
-b --no-base-url   从输出中省略匹配的URL（默认情况下包括URL）
-x --regex        允许使用正则表达式匹配项（搜索字符串被视为正则表达式，默认值为off）
-e --separator  指定和输出说明符（默认值为：）
-j --java-render   打开页面对象和文本的JavaScript呈现（默认为关闭）
-p --linked-js-on  打开链接（脚本src标记）Java脚本的搜索功能（默认为关闭）
Request Parameters 
-ps --https-proxy 以“https://<ip>:<port>”格式指定HTTPS协议的代理
-pp --http-proxy 以“https://<ip>:<port>”格式指定HTTP协议的代理
-hu --user-agent 指定在请求中用作用户代理的字符串
-ha --auth-header 指定要在请求Header中使用的承载令牌或其他身份验证字符串
Search Parameters
-s --all       在所有页面HTML和脚本中搜索匹配的术语
-sr --relative       搜索匹配相对URL页面链接
-sa --absolute   搜索匹配绝对URL页面链接
-si --input-fields   在页面中搜索匹配的输入字段
-ss --scripts       搜索与搜索规范匹配的脚本标记
-st --text          搜索页面上与搜索规范匹配的可见文本
-sc --comments     搜索页面上与搜索规范匹配的注释
-sm --meta          在页面元数据中搜索与搜索规范的匹配项
-sf --hidden        在隐藏字段中搜索与搜索规范的特定匹配项
-sh --header-name   搜索响应Header以查找与搜索规范的特定匹配项
-sv --header-value   搜索响应Header值以查找与搜索规范的特定匹配项

工具使用样例

递归查找站点上名为login的所有输入字段，匹配不区分大小写：

wwwgrep.py -t https://www.target.com -i -si “login” -rr

在网站的所有页面上查找包含“待办事项（to do）”一词的所有注释：

wwwgrep.py -t https://www.target.com -i -sc “to do” -rr

查找特定网页上的所有注释：

wwwgrep.py -t https://www.target.com/some_page -i -sc “”

使用站点递归方式查找input.txt文件中包含的web应用程序列表中的所有隐藏字段：

wwwgrep.py -f input.txt -sf “” -rr

项目地址

WWWGrep：【GitHub传送门】