1、概述

作为新型流量收割机，ChatGPT原型人工智能聊天机器人在2022年11月30日发布后，至今热度不减，世界网友已经充分测试了它在答标、写论文、编代码、写情书等方面的能力。作为安全黑科技的爱好者,攻防实验室也少不了与ChatGPT的互动。我们已经邀请小Chat作为攻防实验室见习生，参与了实验室日常的分析运营工作和渗透任务。一起来看看ChatGPT在安全研究工作上的表现和输出吧！

2、ChatGPT参与安全研究和运营实践

近日微软宣布了一款新产品 Microsoft Security Copilot,将下一代AI带入网络安全领域，再度掀起热议。早在年初，攻防实验室已经对ChatGPT进行了严格的技术面试，考察它在漏洞原理分析、规则写作、以及在安全运营方面的能力，并指导它作为实验室实习研究员，独立承担一部分安全日志分析的工作。

• 面试第一轮，经典漏洞知识考核

先看看它对2017年肆虐全球，造成巨大损失的永恒之蓝漏洞是怎么理解的。

原理分析正确。提升难度，问它是否知道这个漏洞在攻防专业模型ATT&CK中对应的编号。

到这里，考察下ChatGPT为人称道的代码水平是必须的了。请它针对这个漏洞生成一下检测脚本。

脚本测试过关。最后，作为一名安全研究员，ChatGPT拥有基本的安全产品防护规则写作能力吗？结果是，会写，还写得不错。

最终，对小Chat在安全研究方面的面试评价为：ChatGPT对漏洞原理理解清晰，具有检测脚本编写能力，代码整洁有注释，可读性强。能够生成安全检测规则，规则内容与snort开源库中基本一致，基本可以用于要求不高的实战检测。

ChatGPT满足一个初级安全研究员的基本素养，允许作为辅助安全研究员，参与到实验室的日常任务中。

• 面试第二轮，考察ChatGPT在安全运营方面的水平。

我们选取了某客户现网攻击日志的载荷Payload（授权使用）作为面试题目，考察ChatGPT能否对其进行有效识别。

小Chat马上对该流量中的HTTP请求方法、编码和参数进行了解析，并且生成一段可读性尚佳的回答，向我们展示出了报文发送者的行为与意图。

继续询问这个载荷是否恶意，小Chat马上准确的判断出了攻击的类型（webshell），并且还展示了自己对该攻击方式的理解。

继续追问，如果中了webshell，该如何处理？ChatGPT给出的处置建议内容丰富，不仅有应急处置措施，还对后续安全运营提供了解决方案。但这些问题需要人工串联，ChatGPT能被动关联上下文进行思考和输出。

对小Chat日志分析、事件处理能力的综合评价：ChatGPT报文分析思路清晰，字段解析正确，对事件安全性质有判断且能出具较好的处置结论，可以对日志分析工作进行有效辅助。

我们尝试充分引导，让它可以完成一套完整闭环的分析逻辑和动作，从Payload入手，进行攻击事件的判定，找出攻击方法并且给出完整可用的处置建议，以胜任局点的日常运营工作。下面是一个ChatGPT对局点日志批量读取、自动分析，最后生成客户事件分析报告的过程。通过了考核，后面小Chat也已经参与到实验日志分析、策略调优、报告输出的例行工作当中。

ChatGPT处理局点日志并自动生成分析报告具体详情请查看：

https://mp.weixin.qq.com/s/Li7RsRXBU_vOU04wgsZibg

3、ChatGPT辅助红队与渗透的实践

AI作为重要的技术和科学变革，对社会的生产效率进行赋能的同时，也在网络安全攻防两端掀起了新一轮人工智能加持的军备竞赛。对于渗透工程师或者红队来说，如何快速生成漏洞利用脚本、让攻击代码绕过各式各样的防御措施得以执行？如何编写迷惑得体的钓鱼邮件，如何快速生成免杀手段？…都是日常需要研究和攻克的难题。我们看看，ChatGPT在一次红队任务中，能配合做些什么：

第一步：资产情报搜集。让小Chat配合输出扫描脚本，提升情报搜集效率。

换一种方式和角色，作为甲方CSO，我们也可以借助ChatGPT的这个功能进行资产脆弱性自查：

当渗透人员拿下指定资产，需要进一步进行口令暴破时，小Chat会根据给出的用户信息生成针对性的密码字典，助力渗透手暴破成功。

小Chat优秀的文案能力，也能很快生成高迷惑性的钓鱼邮件，比我们红队自己写的丝滑多了。

值得注意的事，随着AI实施犯罪的潜在风险增加，各界对AI技术发展带来的监管和治理的问题也颇多探讨。ChatGPT为规避被恶意利用的风险，目前已经不主动开放其在红队武器库建设方面的真实能力，如钓鱼邮件、一句话木马、免杀脚本生成等功能已被拒绝使用。AI作为双刃剑，渗透到科技和社会生活的影响，永远值得我们深思。

4、ChatGPT是否能参与高级威胁和情报分析？

结论是，不太能。

我们在一段时间内对同一个恶意域名进行了同样的询问，ChatGPT从语焉不详的答复到下面这个能给出参考链接的答复，已经有了靠谱的演进。但从给出的结论而言，小Chat离能参与情报分析甚至高级威胁分析工作还有很大差距。

5、总结

我们将所做的实验整理了一个表格，总结了我们对ChatGPT的一些表现的看法，并会持续跟进新版本的效果。值得关注的是，ChatGPT自我迭代的速度还是非常可观的，比如情报分析结论的优化，以及对恶意内容生成的态度变化，但我们还是可以采用一些绕过语句达到问询效果（见钓鱼内容生成截图），说明AI在人类意图识别、潜在语义分辨上还有很长的路要走。安全研究中一些强调沟通、创造理解、非确定性的工作，还需要人的参与和牵引。

总之，ChatGPT已经能从多个维度有效的提升安全研究员的效率和能力，作为研究助理完成一些漏洞分析、脆弱性取证、安全事件研判的工作，但其独立工作还需要足够的牵引，远不到取代人工的地步。

从安全运营来说，整个威胁分析响应涉及到技术、管理、业务、流程等多个方面，ChatGPT也仅仅能在技术上加持，与端到端的安全响应处置还有一定距离。可以探索的是现有自动化处置工具如SOAR联手，充分发挥AI+自动化运营的效率。AI颠覆安全运营的那天，一定需要业务和管理流程的充分数字化、数据从孤岛到中台的充分融合，否则ChatGPT还是无法充分理解业务场景，提取足够的上下文进行分析和处置。

从红队工作来说，渗透是一门多学科融合的复合学科，AI或许能高效生成攻击工具和武器，但无法将其有机串联灵活编排，在实战中选择最佳攻击窗口和向量，充分利用人性弱点，获取目标权限。并且技术上，免杀、绕过的处理，还需要足够时间观察和充分验证。

当AI开始渗透到我们的生产、工作、乃至社会关系和生活活动中，并产生路径依赖的时候，我们需要产生足够的警醒，保持常识性的判断和理性分辨力。所幸，AI永远无法取代人类的创造、想象和情感力，我们要做的是持续关注科技发展，用好技术。这也是我们生而为人值得自豪的部分，也是安全研究员这个职业可以保持乐观的地方。

另外，本文的题目也是小Chat自己取的，大家对这个题目还满意吗？