探索一下最近红得发紫的AIGC类应用ChatGPT能在安全运营、事件响应场景下如何应用。

本文重点思考在企业安全攻防、安全运营、事件响应领域如何与GPT进行结合，提升效率。

未来已来，AI可期。

文本整体大约5900字，阅读时间建议15分钟。

一、名词解释

1. AGI：Artificial general intelligence的简写 ，计算机科学与技术专业用语，专指通用人工智能。 这一领域主要专注于研制像人一样思考、像人一样从事多种用途的机器。

2. AIGC：全名“AI generated content”，又称生成式AI，意为人工智能生成内容。 例如AI文本续写，文字转图像的AI图、AI主持人等，都属于AIGC的应用。

3. GPT：Generative Pre-trained Transformer，由OpenAI提出的非常强大的预训练语言模型，这一系列的模型可以在非常复杂的NLP任务中取得非常惊艳的效果，例如文章生成，代码生成，机器翻译，Q&A等，而完成这些任务并不需要有监督学习进行模型微调。

4. LLM：Large Language Model即大型语言模型，是一种基于深度学习的自然语言处理模型，它能够学习到自然语言的语法和语义，从而可以生成人类可读的文本。 所谓"语言模型"，就是只用来处理语言文字（或者符号体系）的AI 模型，发现其中的规律，可以根据提示(prompt)，自动生成符合这些规律的内容。

5. RLHF：Reinforcement Learning from Human Feedback即以强化学习方式依据人类反馈优化语言模型

6. SFT：Supervised FineTune，生成模型GPT的有监督精调，主要是大量的Prompt数据

7. RM：Reward Model，奖励模型微调，对生成的文本进行打分排序，让模型生成的结果更加符合人类的日常理解习惯，更加符合人们想要的答案。

二、GPT是什么？

ChatGPT 是一个由 OpenAI 开发的聊天机器人模型，使用了神经网络和自然语言处理技术，可以生成流畅、连贯、富有逻辑的对话，GPT是“Generative Pre-trained Transformer”的缩写，是一种自然语言处理模型，被训练出来可以在文本数据中预测下一个可能的单词或字符。

ChatGPT所基于的InstructGPT模型仍属于自然语言处理（NLP）领域的单模态模型，擅长理解和生成文本，但不支持从文本生成图片、音频、视频等功能

ChatGPT的基础是GPT模型，是一种基于Transformer架构的预训练语言模型，通过训练大量的无标注文本数据来学习语言的结构和规律。

GPT训练过程主要包括以下几个步骤：

1. 分词：讲原始文本分割成单词或字符，形成序列

2. 嵌入：将序列中的每个单词或字符转换为向量表示，称为嵌入，向量长度是固定的，每个单词或字符都用相同长度的响亮表示

3. Transformer：讲输入嵌入序列作为输入，通过多层Transformer编码器来学习序列中每个单词或字符之间的依赖关系和语言结构

4. 预测下一个单词或字符：训练过程中，GPT模型的目标是根据输入序列的前缀预测序列的下一个单词或字符。

GPT系列模型自2018年发布以来，就以提供通用的NLP能力为核心。该系列模型通过改进模型结构、增加可训练参数、增加训练样本等方式持续演进，提供更加准确与稳定的NLP能力，GPT-1模型、GPT-2模型、GPT-3模型的演进如下：

2.1 GPT技术演进时间线

2017年6月，Google发布论文《Attention is all you need》，首次提出Transformer模型，成为GPT发展的基础。 论文地址： https://arxiv.org/abs/1706.03762

2018年6月,OpenAI 发布论文《Improving Language Understanding by Generative Pre-Training》(通过生成式预训练提升语言理解能力)，首次提出GPT模型(Generative Pre-Training)。论文地址： https://paperswithcode.com/method/gpt 。

2019年2月，OpenAI 发布论文《Language Models are Unsupervised Multitask Learners》（语言模型应该是一个无监督多任务学习者），提出GPT-2模型。论文地址: https://paperswithcode.com/method/gpt-2

2020年5月，OpenAI 发布论文《Language Models are Few-Shot Learners》(语言模型应该是一个少量样本(few-shot)学习者，提出GPT-3模型。论文地址： https://paperswithcode.com/method/gpt-3

2022年2月底，OpenAI 发布论文《Training language models to follow instructions with human feedback》（使用人类反馈指令流来训练语言模型），公布Instruction GPT模型。论文地址： https://arxiv.org/abs/2203.02155

2022年11月30日，OpenAI推出ChatGPT模型，并提供试用，全网火爆。

2.2 GPT的优劣势？

优点

高灵活性

可以根据不同的数据集进行微调和训练，以适应不同的应用场景

高扩展性

chatGPT模型结构可以通过增加层数、节点、参数等方式进行扩展，提高模型的性能和表现力

流畅的体验

生成的自然语言响应能够提供流畅、自然的对话体验，提高了用户的参与度和体验，增强的上下文关联，更增强的信息的准确性

局限性

计算资源需求高

chatGPT是大型深度学习模型，需要大量的训练数据和计算资源进行训练，部署和应用成本高

模型可解释性较差

chatGPT是黑盒模型，导致自然语言响应的结果存在一些不可预见的结果或偏差

模型的安全性和隐私保护问题

黑产在钓鱼邮件、恶意代码生成、网络欺诈、虚假新闻方面进行应用对互联网整体安全造成一定影响，降低了攻击的门槛。

2.3 利用GPT能做什么？

智能客服、聊天机器人、语音助手、文档总结、方案输出等等，目前在互联网各大平台上的应用场景来看，只有想不到没有做不到的，只是效果大部分还处于初级阶段，但是以目前GPT的发展速度和ChatGPT支持联网插件集成的功能完善来看，发展趋势会远超人们的想象。

• 智能客服：ChatGPT可以用于模拟人类客服的对话，为用户提供个性化的客户服务。

• 聊天机器人：ChatGPT可以与用户进行自然流畅的对话，提供各种服务和帮助。

• 语音助手：ChatGPT可以用于语音助手的对话生成和处理。

• 智能问答系统：ChatGPT可以用于自动回答问题，提供快速和准确的答案。

• 机器翻译：ChatGPT可以用于自动翻译不同语言之间的文本和对话。

• 摘要生成：ChatGPT可以根据文章的主题和内容生成简洁的摘要。

• 文本生成：ChatGPT可以用于生成各种文本，包括新闻、小说、诗歌等。

• 文档自动生成：ChatGPT可以自动为用户生成各种文档，如报告、论文、合同等。

• 垃圾邮件过滤：ChatGPT可以识别和过滤垃圾邮件，提高邮件的质量。

• 电子商务推荐：ChatGPT可以根据用户的购买历史和兴趣推荐相应的产品。

• 金融风险评估：ChatGPT可以根据财经数据和市场趋势预测金融风险。

• 医疗辅助诊断：ChatGPT可以根据患者的病症和病史提供诊断建议。

• 舆情分析：ChatGPT可以根据社交媒体和新闻等来源分析公众舆情。

• 知识图谱构建：ChatGPT可以通过自然语言理解和知识图谱技术构建大规模的知识库。

• 智能家居控制：ChatGPT可以通过语音识别和对话生成技术控制智能家居设备。

• 游戏AI：ChatGPT可以用于游戏AI的对话生成和决策。

• 媒体内容生成：ChatGPT可以生成各种媒体内容，如图片、音频和视频等。

• 职业培训：ChatGPT可以用于职业培训的自动问答和知识点解析。

• 情感分析：ChatGPT可以根据对话和文本内容进行情感分析。

1. 智能广告推荐：ChatGPT可以根据用户的兴趣生成广告内容。

企业信息安全领域的应用场景思考

大家对GPT的基础和使用场景都有了一定的了解，我们现在聚焦到企业安全事件响应、安全运营、内部红蓝对抗/攻防演练这些场景下来分析看ChatGPT等AIGC能不能对我们的工作有效率和价值的提升。

安全事件响应

ChatGPT+SOAR+CTI+CMDB在事件响应分析时会大大提升分析人员的效率

1. 告警日志解析

正常事件响应分析人员获取告警后，需要先进行基本的信息研判，包括如何判断是不是真实攻击，行为特征有哪些，需要关注哪些信息，对应IP是不是异常的等等，如果是真实攻击那如何止损处理，如何指导业务进行修复，都可以来让chatGPT辅助安全人员进行，以下是一个示例：

我提供给GPT3.5一条防火墙告警日志，先让它帮提取出关键信息，然后针对IP信息进行查询，在了解漏洞的基本原理，日志排查时需要注意哪些特征，最后是如何进行修复

从整体上来看GPT在基础信息方面表现还是不错的，但是还是因为是通用人工智能模型的原因，类似日志中的具体攻击特征信息是无法给出来的，只能给一个大概的描述，但是基本够用了。

止损、修复建议这些不够专业，但是比较全面，可以做一个参考，避免人为出现遗漏，如果前期通过训练学习应急响应预案、特定类型事件应急手册等专业知识库信息的话，我相信这块表现会更好一些。

2. 告警研判

这个是在深信服XDR+GPT的演示中看到的，是GPT进行任务拆解后调用SOAR去XDR平台全量日志中进行检索后在汇总展示出来的，这个在攻击研判时很有用，从多个安全设备或数据源中都检测到攻击行为的话，真实攻击性会更大。

3. 事件影响范围评估

GPT+SOAR联动后就可以去调用SOAR去SIEM/SOC/XDR等安全平台中去查询相关信息了，来综合评估事件的影响范围，避免出现死角问题。

4. 安全知识库

chatGPT是通用人工智能模型，对于基础的安全知识可以比较好的回答出来。和自己去看书、看教学视频、技术文章上的没有差别。

但是GPT3.5问推荐视频和文章时，直接“有(hu)理(shuo)有(ba)据(dao)”的给出答案，我差点就信了。

5. 安全能力联动

联动内部系统进行恶意hash、ip、domain封禁

GPT能给SOAR联动后，这些人员需要封禁的动作，都可以直接在聊天对话中让GPT去直接执行封禁、终端隔离等之前需要人工操作的动作了。

6. 预测下一步攻击目标

这个预测我觉得对于事件响应、安全运营人员会有比较大的帮助，让我们可以快速了解监控、检测的重点在哪里。避免事态的扩大，经过不同问题的提问，发现问的越具体之后的回答会更有针对性和参考价值。

安全运营

1. 钓鱼网站识别

现在chatGPT可以通过plugin插件实现联网了，在联网状态下，可以通过plugins插件去调用威胁情报数据查询，不能说这个价值有多大，和人工正常去威胁情报平台查询的步骤和流程是一样的，主要是chatGPT获取插件返回的查询结果后，是否可以分析总结给出精准的结论，这个是考验chatGPT模型的关键。

2. 可疑文件检测

这个和钓鱼网站查询类似，都是去互联网查询已知特征信息、行为来辅助人员进行分析

在chatGPT插件联网后这个可以实现，本次暂未测试。

3. 安全漏洞预警

漏洞预警文案编写，联动资产平台，BOT方式给业务发送修复通知

4. 安全分析辅助

协助安全分析、安全运营人员快速进行信息检索和分析，类似使用场景如下：

• 给一段加密代码进行解密

• 给一个URL进行全网检索判断是否恶意

• 清除某木马后门的步骤和流程

• 疑难问题如何处理寻求解答

• 资产信息查询

可以帮忙将告警中的加密信息进行解密，并且GPT会自动去分析判断代码是否恶意的。

5. 安全运营周报&趋势预测

周期性的安全运营指标统计和趋势预测，深信服的XDR+GPT中有一个场景就是通过GPT来自动生成安全运营周报/月报等内容

6. 安全宣传

安全宣传培训的文案、图片、视频制作，结合虚拟数字主持人可以举办线上安全讲座或培训

现在网络直播、视频制作都使用上这些组合方法了，那内部安全培训、宣讲，甚至是线上安全技术交流等都可以通过此实现。

先用chatGPT生成文案，在用Midjourney生成对应图片，再将chatGPT生成的文案用mindshow等自动创建成PPT格式，1个人就可以轻松搞定文案、图片等工作了。

7. 安全小助手

客服类的问题解答、找人服务，可以通过在企业内部部署类chatGPT的模型对本地知识库、内部规范文档、流程等资料进行训练后生成本地知识库，接入IT安全小助手对用户的问题进行自动解答，提升小助手自动应答效率和回复的精准度，更符合企业员工的日常问题解答。

并且可以保证文档内容更新一次性解决固定类问题解答的术语问题。langchain+chatGLM构建本地知识库问答机器人去了解一下。

红蓝对抗&攻防演练

信息收集

渗透测试中最重要的就是前期做信息收集，信息收集的越全面，后续渗透成功的机率越高。我们以子域名枚举探测作为示例，让chatGPT来帮我们生成一个可以用于子域名枚举的bash脚本。

很神奇吧，chatGPT还会考虑到如果没有安装sublist3r需要如何安装。

漏洞检测

资产信息收集完以后，就需要对资产进行全面的漏洞检测，一般会去检测最新的安全漏洞、典型的高危安全漏洞，这时候我使用chatGPT让写一份检测SMB漏洞的扫描脚本。

攻击方案&计划制定

渗透是希望在不触发任何告警的情况下，悄悄的拿下目标，那就需要针对目标制定一份详细的攻击路径技术方案，方案会根据不同的网络情况、目标系统的属性等信息来评估。

将基础信息和需求输入给chatGPT，让他给出一个详细的攻击技术方案，但是这个方案还是比较通用。

权限维持

突破了网络边界进入到内网后，首先做的是权限的维持，保证这个入口能长期使用，一般会用CS、MSF等来进行权限的维持和控制，对于不了解MSF的人，可以直接让chatGPT来给生成一下使用方法

CS马免杀都可以给出指导和对应代码，有兴趣的可以按照方法生成加密马去VT、微步等平台查杀试一下。

痕迹清除

我模拟的场景是centos7服务器，admin账号，tomcat中间件，渗透完成后需要完整清除痕迹，chatGPT给出的建议中会包含超出预期的内存信息、ssh密钥信息等

畅想

chatGPT核心是知识问答，在不联网情况下是基于已知知识进行的学习和推理，给出看似合理的解答，未来chatGPT接入互联网可以实时从互联网获取到最新的信息的话，那在信息安全行业的应用场景会更加丰富，威力会呈指数级上升。包括和威胁情报、病毒库、行为沙箱等已知行为特征平台结合进行分析研判，并且可以通过获取互联网最新的知识来训练完善自我模型，实现自我成长和知识丰富、纠正，最后产生自我意识和思维。。。。。。

以下是看到的GPT安全社区、圈子内应用场景的讨论，很多细分领域已经开始进行尝试和使用。多关注黑产的动态会打开思路和格局。

• chatGPT+邮件沙箱

chatGPT可以帮攻击者生成钓鱼邮件内容，包括附件文档和宏，同时chatGPT也可以协助安全分析人员进行恶意附件的识别和检测，作为邮件沙箱的增强能力。钓鱼网站识别，检测域名、URL、IP、文件hash等内容来识别攻击者

• chatGPT+舆情监控、反制（微博、twitter、脉脉）

这是一个很有意思的使用场景，在联网状态下自动去关注企业、个人微博、twitter的评论回复信息，并根据知识库自动去回复，影响对外舆论风评，避免出现水军大规模引导恶意评论的情况。

• chatGPT+欺诈检测

主要应用在交易风控场景中，识别虚假交易、洗钱、身份盗用等情况

• chatGPT+代码检测（自主检测漏洞，代码优化建议）

现在很多IDE编辑器都集成了chatGPT插件，在代码编写时进行自动检测错误

• chatGPT+电信诈骗

最近的一个新闻特别火，AI换脸视频诈骗，黑产永远走在技术应用的最前线，但是破解骗局也是很容易的。

• chatGPT+攻防演练

结合EASM、网络空间探测等对互联网资产脆弱性进行分析，给出有针对性的攻击方案

• chatGPT+安全顾问

企业、个人的信息安全知识问答是第一步，结合个人的互联网浏览记录、使用习惯，在有风险的环境下给出指导建议，预防网络钓鱼、水坑攻击等

• chatGPT+漏洞挖掘

给出反序列化漏洞的原理、全部漏洞分析，给最新版本的weblogic等应用进行自动漏洞挖掘

• chatGPT+恶意域名生成

恶意域名生成，利用LSTM 算法和 GAN 构建模型，生成的域名与正常网站域名非常相似

• chatGPT+密码预测

GPT+社工库 给出一个账号\邮箱预测用户可能的密码组合

附录

参考通用技术文章

• Chat GPT & AIGC专项

• 十分钟理解Transformer

• 十分钟理解ChatGPT的技术逻辑及演进(前世、今生)预训练语言模型之GPT-1，GPT-2和GPT-3

• 搞懂GPT，只需看这些！

• 通向AGI之路：大型语言模型LLM技术精要

• ChatGPT 背后的“功臣”——RLHF 技术详解

• ChatGPT原理详解+实操(1)----SFT(GPT模型精调)

• ChatGPT原理详解+实操(2)----RM(reward model)

• ChatGLM-6B 在 Mac Air M1 芯片上部署全过程

• chatGLM微调实战

参考安全行业技术文章

• ChatGPT黑产出现：黑客与OpenAI的斗智斗勇

• 在网络安全领域应用机器学习的困难和对策

• 文本预训练模型在信息安全场景的探索和实践

• ZoomEyeGPT：chatGPT Prompt编程实践

• 如何训练自己的“安全大模型”

• ChatGPT For Security

• 深度解读丨ChatGPT与代码安全

参考论文

• Red Teaming Language Models to Reduce Harms

• TAMER: Training an Agent Manually via Evaluative Reinforcement(Knox and Stone 2008)

• Interactive Learning from Policy-Dependent Human Feedback(MacGlashan et al. 2017)

• Deep Reinforcement Learning from Human Preferences(Christiano et al. 2017)

• Deep TAMER: Interactive Agent Shaping in High-Dimensional State Spaces

• Fine-Tuning Language Models from Human Preferences(Zieglar et al. 2019)

• Learning to summarize with human feedback(Stiennon et al., 2020)

• Recursively Summarizing Books with Human Feedback(OpenAI Alignment Team 2021)

• WebGPT: Browser-assisted question-answering with human feedback(OpenAI, 2021)

• InstructGPT: Training language models to follow instructions with human feedback(OpenAI Alignment Team 2022)

• InstructGPT: Training language models to follow instructions with human feedback (OpenAI Alignment Team 2022)

• GopherCite: Teaching language models to support answers with verified quotes(Menick et al. 2022)

• Sparrow: Improving alignment of dialogue agents via targeted human judgements(Glaese et al. 2022)

• ChatGPT: Optimizing Language Models for Dialogue(OpenAI 2022)

• Scaling Laws for Reward Model Overoptimization(Gao et al. 2022)

• Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback(Anthropic, 2022)

• Red Teaming Language Models to Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned(Ganguli et al. 2022)

• Dynamic Planning in Open-Ended Dialogue using Reinforcement Learning(Cohen at al. 2022)

• Is Reinforcement Learning (Not) for Natural Language Processing?: Benchmarks, Baselines, and Building Blocks for Natural Language Policy Optimization(Ramamurthy and Ammanabrolu et al. 2022)

• Kojima et al. 2021

• Suhr and Artzi 2022

• Sokolov et al. 2016, Gao et al. 2022

• Ranzato et al. 2015

• Bahdanau et al. 2016

• Nguyen et al. 2017

• Meta 的 BlenderBot: [2208.03188] BlenderBot 3: a deployed conversational agent that continually learns to responsibly engage 8

• Google 的 LaMDA: [2201.08239] LaMDA: Language Models for Dialog Applications 8

• DeepMind 的 Sparrow: [2209.14375] Improving alignment of dialogue agents via targeted human judgements 2

• Anthropic 的 Assistant: [2204.05862] Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback 6

安全专用数据集

• 威胁情报库

• FireHOL

• sans.edu

• 入侵检测数据集

• KddCUP99[11]

• AWID[12]

• SQL注入数据集

• libinjection

• PHP漏洞数据集

• WALDEN[17]

开源项目和代码

• https://github.com/THUDM/ChatGLM-6B

• https://github.com/GreyDGL/PentestGPT

• https://github.com/nomic-ai/gpt4all

• https://github.com/ggerganov/llama.cpp

• https://github.com/Akegarasu/ChatGLM-webui

• https://github.com/hwchase17/langchain

• https://github.com/opendilab/awesome-RLHF

• https://github.com/EwingYangs/awesome-open-gpt