关于AIL-framework

AIL-framework是一款功能强大的模块化框架，该工具可以用于对信息泄露场景执行安全分析。

AIL 是一个模块化框架，用于分析来自非结构化数据源（如 Pastebin 或类似服务的粘贴或非结构化数据流）的潜在信息泄露。AIL 框架非常灵活，可以扩展以支持其他功能来挖掘或处理敏感信息（例如数据泄露预防）。

功能介绍

1、模块化架构用于处理非结构化或结构化信息流；

2、默认支持外部 ZMQ 提要，例如由 CIRCL 或其他提供商提供的；

3、支持多个导入器和 feed；

4、每个模块都可以处理和重新处理 AIL 已经分析的信息；

5、检测并提取包含其地理位置（例如 IP 地址位置）的 URL；

6、提取并验证信用卡号、凭证等的潜在泄漏...；

7、提取并验证泄露的电子邮件地址，包括 DNS MX 验证；

8、用于提取 Tor .onion 地址以供进一步分析的模块；

9、跟踪凭证重复项（并比较发现的每个重复项之间的差异）；

10、提取并验证潜在主机名（例如，为被动 DNS 系统提供信息）；

11、用于索引非结构化信息的全文索引器模块；

12、更多用于提取电话号码、凭证等的模块

13、向MISP发出警报，使用MISP 标准在威胁情报平台内共享发现的泄漏；

14、检测和解码编码文件（Base64、十六进制编码或自己的解码方案）并存储文件；

15、检测 Amazon AWS 和 Google API 密钥；

16、检测比特币地址和比特币私钥；

17、检测私钥、证书、密钥（包括 SSH、OpenVPN）；

18、检测 IBAN 银行账户；

19、使用MISP Galaxy和MISP Taxonomies标签的标记系统；

20、在MISP上创建事件并在The Hive上创建案例；

21、使用MISP（事件）和The Hive（警报）对选定标签进行检测时自动导出；

22、可以按日期范围、文件类型（mime-type）和发现的编码来搜索提取和解码的文件；

23、关联引擎和图表可直观显示解码文件（哈希）、PGP UID、域、用户名和加密货币地址之间的关系；

24、网站、论坛和 Tor Hidden-Services 隐藏服务爬虫用于爬取和解析输出；

25、域名可用性监控，用于检测网站的正常运行和隐藏服务；

26、浏览的隐藏服务会被自动捕获并集成到分析的输出中，包括模糊的屏幕截图界面（以避免敏感内容“伤害”安全分析师的眼睛）；

27、Tor 隐藏服务是标准框架的一部分，所有 AIL 模块均可供抓取的隐藏服务使用；

28、爬虫调度程序可根据需要或定期触发对 URL 或 Tor 隐藏服务的爬取；

工具架构与运行机制

工具要求

Python 3.8+

工具安装

由于该工具基于Python 3.8开发，因此我们首先需要在本地设备上安装并配置好最新版本的Python 3.8+环境。

接下来，广大研究人员可以直接使用下列命令将该项目源码克隆至本地：

git clone https://github.com/ail-project/ail-framework.git

然后切换到项目目录中，使用pip命令和项目提供的requirements.txt安装该工具所需的其他依赖组件：

cd ail-framework

pip install -r requirements.txt

针对Debian和Ubuntu发行版，可以运行下列脚本完成工具安装：

./installing_deps.sh

工具启动：

cd ~/ail-framework/

cd bin/

./LAUNCH.sh -l

工具使用

下列命令可直接启动AIL：

cd bin/

./LAUNCH.sh -l

我们可以使用下列URL地址访问AIL框架的Web接口：

https://localhost:7000/

Web接口的默认访问凭证存储在DEFAULT_PASSWORD文件中，当你修改了密码之后该文件将会被自动删除。

使用AIL进行科研

如果你想在论文中使用或引用AIL，可以通过下列BibTeX来引用：

@inproceedings{mokaddem2018ail,

  title={AIL-The design and implementation of an Analysis Information Leak framework},

  author={Mokaddem, Sami and Wagener, G{\'e}rard and Dulaunoy, Alexandre},

  booktitle={2018 IEEE International Conference on Big Data (Big Data)},

  pages={5049--5057},

  year={2018},

  organization={IEEE}

}

工具运行演示

许可证协议

本项目的开发与发布遵循AGPL-3.0开源许可协议。

项目地址

AIL-framework：【GitHub传送门】

参考资料

https://www.misp-project.org/objects.html#_ail_leak

https://github.com/MISP/MISP

https://www.circl.lu/assets/files/information-leaks-analysis-and-gdpr.pdf