官方公众号企业安全新浪微博
FreeBuf.COM网络安全行业门户，每日发布专业的安全资讯、技术剖析。
FreeBuf+小程序
i-am-a-bot：一款基于多个大语言模型的验证码系统安全评估工具
Alpha_h4ck- 关注
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
i-am-a-bot：一款基于多个大语言模型的验证码系统安全评估工具
本文由
Alpha_h4ck 创作，已纳入「FreeBuf原创奖励计划」，未授权禁止转载
关于i-am-a-bot
i-am-a-bot是一款基于多个大语言模型的验证码安全评估工具，该工具提供了一个使用了多模态大语言模型（LLM）的自动化解决方案，可以帮助广大研究人员测试各种类型验证码机制的安全性。
从底层上看，i-am-a-bot这个项目利用了Google的Vertex AI和一系列自定义代理功能来解决验证码挑战，并以此来评估和审计验证码系统的潜在安全问题。
功能介绍
1、识别目标图片是否是一个验证码；
2、判断目标验证码类型（文本、数学计算等式、图片翻转、智力谜语、图片选择等）；
3、解决文本和数学验证码；
4、集成了Google的Vertex AI用于模型推理（使用gemini-vision-pro）；
工具执行流
+-----------------------------------+ | 工具执行 | +-----------------------------------+ | v +-----------------------------------+ | 加载代理 | +-----------------------------------+ | v +-----------------------------------+ | 生成图片检测提示 | +-----------------------------------+ | v +-----------------------------------+ | 检测图片看起来是否类似验证码 | +-----------------------------------+ | +--------------------------+ 否 | | 是 v | +-------------------+ v | 提示值错误 | +-----------------------------------+ | | 生成验证码类型提示 | | +-----------------------------------+ | | | v | +-----------------------------------+ | | 确定验证码类型 | | +-----------------------------------+ | | | +----------+------------+ | | | | | v v | | +---------+--+ +---+---------+ | | | 文本验证码 | | 数学验证码 | | | +---------+--+ +---+---------+ | | | | | | v v | | +---------+--+ +---+---------+ | | | 解决文本 | | 解决数学 | | | | 验证码 | | 验证码 | | | +---------+--+ +---+---------+ | | | | | | v v | | +---------+--+ +---+---------+ | | | 返回文本 | | 返回数学 | | | | 验证码 | | 验证码 | | | | 解决方案 | | 解决方案 | | | +---------+--+ +---+---------+ | | | | | | +----------+------------+ | | | +---------------------------+ | +--------------------v-----------------------------+ | 如果验证码类型不支持则提示值错误 | +--------------------------------------------------+ | v +-----------------------------------+ | 执行完毕 | +-----------------------------------+
项目结构
agents.ty：包含代理的定义参数，用于识别和解决验证码问题； gemini_core.py：处理工具与Google Vertex AI的交互，以处理验证码图片； solve.py：验证码解决工具的主入口点，使用定义的代理构建验证码解析流程； sample.py：用于演示工具使用的样例脚本；
代理
项目定义了四个代理，每一个都在验证码解析流程中扮演了特定的角色：
1、CheckIfImageLooksLikeCaptchaAgent：判断目标图片是否是验证码； 2、DecideCaptchaTypeAgent：识别验证码类型； 3、TextSolveAgent：解决需要文本识别的验证码挑战； 4、MathSolveAgent：解决需要解决数学计算等式的验证码挑战；
工具安装
由于该工具基于Python 3开发，因此我们首先需要在本地设备上安装并配置好Python 3环境。
接下来，广大研究人员可以直接使用下列命令将该项目源码克隆至本地：
git clone https://github.com/AashiqRamachandran/i-am-a-bot.git
然后切换到项目目录中，使用下列命令安装该工具所需的其他依赖组件：
cd i-am-a-bot pip install --upgrade google-cloud-aiplatform
工具配置
在使用该工具之前，必须提供你的Google Cloud项目ID和服务账号JSON文件路径，工具会使用这两个参数完成Vertex AI服务的身份认证。
工具使用样例
from iamabot import solve
# Initialize the solver with your Google Cloud project ID and service account credentials
solver = solve.Solve(
project_id=1077607249524,
credential_file_path="google-service-account-credential-file.json"
)
# Run the solver on a CAPTCHA image
solved_response = solver.run("sample_captchas/text_moderate.png")
# Print the solution
print(solved_response)支持的验证码
工具运行截图
许可证协议
本项目的开发与发布遵循MIT开源许可证协议。
项目地址
i-am-a-bot：【GitHub传送门】
免责声明
1.一般免责声明：本文所提供的技术信息仅供参考，不构成任何专业建议。读者应根据自身情况谨慎使用且应遵守《中华人民共和国网络安全法》，作者及发布平台不对因使用本文信息而导致的任何直接或间接责任或损失负责。
2. 适用性声明：文中技术内容可能不适用于所有情况或系统，在实际应用前请充分测试和评估。若因使用不当造成的任何问题，相关方不承担责任。
3. 更新声明：技术发展迅速，文章内容可能存在滞后性。读者需自行判断信息的时效性，因依据过时内容产生的后果，作者及发布平台不承担责任。
Alpha_h4ck
好好学习，天天向上
已在FreeBuf发表 2359 篇文章
本文为 Alpha_h4ck 独立观点，未经授权禁止转载。
如需授权、对文章有疑问或需删除稿件，请联系 FreeBuf 客服小蜜蜂（微信：freebee1024）
如需授权、对文章有疑问或需删除稿件，请联系 FreeBuf 客服小蜜蜂（微信：freebee1024）
被以下专辑收录，发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
Alpha_h4ck LV.10
好好学习，天天向上
- 2359 文章数
- 1021 关注者
Tetragon：一款基于eBPF的运行时环境安全监控工具
2025-01-21
DroneXtract：一款针对无人机的网络安全数字取证工具
2025-01-21
CNAPPgoat：一款针对云环境的安全实践靶场
2025-01-21
文章目录