前言

6年前，微软推出智能聊天机器人Tay，因她从不良用户那里“学坏”，小姑娘只好被下线结束了短暂的生命。最近，微软投资OpenAI推出了ChatGPT，它在安全性上一定大有改善，但是人工智能带来的安全风险有很多未知数，国际云安全联盟CEO吉瑞威在这篇文章中提出了他对ChatGPT安全问题的见解，这对用户、厂商、监管部门都很有参考价值，CSA大中华区专家们快速将此文翻译为中文，希望也懂中文的ChatGPT能在中外都经受考验成为人们的终生聊天好伙伴。

ChatGPT 是 OpenAI 开发的大型语言模型。它使用机器学习技术根据接收到的输入生成类似人类的文本。它在人工生成的大量文本数据集上进行训练，可以针对各种自然语言处理任务进行微调，例如：语言翻译、对话生成和问答。ChatGPT 可用于在聊天机器人应用程序和自动化客户服务交互中生成类似人类的响应。然而，它的功能也使其成为寻求便于网络攻击的恶意行为者的潜在工具。

国际云安全联盟CEOJim Reavis吉瑞威向ChatGPT提出了四个问题，其目的是创建一份报告草案，从四个方面讨论 ChatGPT对安全的影响：ChatGPT如何被恶意行为者用来网络攻击？企业如何使用 ChatGPT 改进网络安全计划？ChatGPT 如何被直接攻击而产生不正确或其他不好的结果？我们如何使企业能够安全地使用ChatGPT？以下是由ChatGPT生成的回答。

01 ChatGPT 如何被恶意行为者用来网络攻击?

恶意行为者可能会使用 ChatGPT 或类似的语言模型通过以下几种方式提高其网络攻击的有效性：

1.社会工程：通过使用来自社交媒体或其他来源的大量文本数据训练模型，攻击者可以使用它生成极具说服力的网络钓⻥电子邮件或消息，旨在诱骗受害者泄露敏感信息。

2.撞库攻击：攻击者可以使用语言模型生成大量可用于对在线帐户进行自动攻击的潜在用户名和密码组合进行撞库攻击。

3.垃圾邮件和虚假信息：恶意行为者可以使用语言模型来生成大量旨在影响公众舆论或传播错误信息的垃圾邮件或虚假信息。

4.生成恶意软件：利用自然语言编写的能力，攻击者可以使用 ChatGPT 编写恶意软件说明和指令，从而逃避防病毒软件的检测。

5.创建虚假社交媒体资料或聊天机器人帐户：恶意行为者可以使用ChatGPT从受害者那里收集敏感信息，这些虚假资料可用于冒充真实的人或组织来诱骗受害者提供个人信息，例如登录凭据或信用卡号。

6.生成旨在操纵或欺骗受害者的自动消息：恶意行为者可以使用ChatGPT 在社交媒体或论坛上生成数千条自动消息，传播虚假信息或宣传以影响公众舆论或破坏政治活动。

请务必注意，这些只是如何在攻击中使用ChatGPT语言模型的可能示例，单独使用语言模型无法执行任何这些操作，但它可以辅助攻击者自动化和提高攻击的有效性。

02 企业如何使用 ChatGPT 改进网络安全计划?

企业可以使用 ChatGPT 或类似的语言模型以多种方式改进其网络安全计划：

1.钓⻥检测：通过训练钓⻥邮件的语言模型和消息，分析传入的电子邮件和消息的文本与已知网络钓⻥示例的相似之处，企业可以使用它来检测新的网络钓⻥尝试。

2.密码破解：企业可以使用语言模型生成潜在的密码组合，可用于测试自己密码的强度或识别需要更改的弱密码。

3.恶意软件检测：企业可以使用语言模型来分析恶意软件的说明和指令，以识别恶意软件中 常用的语言模式，这有助于检测新的恶意软件变体。

4.网络威胁情报：企业可以使用语言模型来分析来自各种来源  (例如：社交媒体)的大量文本数据，以识别潜在的网络威胁并了解攻击者使用的战术、技术和程序（TTP）。

5.自动事件响应：可以使用语言模型生成对某些类型的网络事件的自动响应，例如：阻止 IP 地址或关闭服务。

需要注意的是，这些只是如何使用语言模型来提高网络安全的示例，它不是灵丹妙药，它应该与其他网络安全工具和最佳实践结合使用。

像 ChatGPT 这样的工具可以通过几种方式帮助记录信息安全管理程序：

1.生成策略模板：ChatGPT可以在现有信息上对安全策略和法规进行训练，生成合规的策略模板以符合特定标准，例如： ISO 27001 或 HIPAA。这可以为企业节省时间和资源。

2.自动更新政策：ChatGPT 可用于自动更新政策以响应法规或行业标准的变化。

3.一致性和标准化：ChatGPT 有助于确保所有信息安全政策和程序的一致性和标准化。

4.生成事件响应计划：ChatGPT 可以针对事件对响应最佳实践和模板进行训练，以生成可定制的事件响应计划以满足企业的特定需求。

5.合规文档：ChatGPT针对合规培训要求和行业标准进行训练，以协助生成合规性文件。

需要注意的是：虽然 ChatGPT 可以帮助记录信息安全管理程序，但不应将其用作人类专业知 识和判断的替代品。模型生成的方针政策和程序应由具有特定标准或法规专业知识的合格专业人员审查和批准。此外，组织应该有一个流程来随着企业和威胁形势的变化不断审查和更新方针政策和程序。

企业应该具备许多不同类型的信息安全策略来保护敏感数据和系统。其中最重要的包括：

1. 访问控制策略：该政策介绍了仅允许获得授权的个人访问敏感信息和系统的程序和控制措施。

2. 事件响应策略：该策略介绍了企业在发生数据泄露或网络攻击等安全事件时将采取的步骤。

3. 数据分类策略：该策略定义了企业处理的不同类型的数据，例如机密、个人或公共数据，以及每种类型数据所需的保护级别。

4. 密码策略：该策略介绍了创建和管理强密码的要求，例如长度、复杂度和有效期。

5. 网络安全策略：该策略介绍了企业为保护其网络基础设施而采取的措施，例如防火墙、入侵检测系统和 VPN。

6. 合规策略：该策略介绍了企业必须遵守的合规要求，例如 HIPAA、PCI‑DSS、SOX 等。

7. 移动设备策略：该策略介绍了企业内使用的移动设备（例如智能手机和平板电脑）的安全要求 。

8. 云安全策略：该策略介绍了基于云的服务的安全措施，例如数据加密、访问控制和事件响应。需要注意的是，这些只是企业应该具备的策略示例，具体策略将根据企业的行业、规模和处理的数据类型而有所不同。

03 ChatGPT 如何被直接攻击而产生不正确或其他不好的结果?

ChatGPT 与任何机器学习模型一样，可以被多种方式直接攻击从而产生不正确或其他不好结果。可以直接攻击ChatGPT的方式包括：

1. 对抗样本：攻击者通过创建经过特殊设计的输入，以让 ChatGPT 产生不正确或误导性的结果。这被称为对抗样本，可以通过向输入数据添加细微或精心选择的扰动来实现。

2. 过拟合：在有限的数据集上训练ChatGPT会导致过拟合，使模型在新的、未见过的数据上表现不佳。( 过拟合： 过拟合是一种不受欢迎的机器学习行为，当机器学习模型为训练数据提供准确的预测而不是新数据时，就会发生这种行为 )

3.数据投毒：攻击者通过将恶意数据注入到用于训练ChatGPT模型的训练集中，以让模型产生不正确或误 导性的结果。

4. 模型窃取：攻击者通过获取训练过的 ChatGPT 模型的参数，并使用这些参数创建建具有类似功能的新模型，以让新模型产生不正确或误导性的结果。

5. 分布式拒绝服务 (DDoS) 攻击：攻击者可以发起 DDoS攻击托管 ChatGPT 的服务器，导致其不可用或返回不正确或误导性的结果。

6. 隐私泄露：攻击者未经授权访问用于训练 ChatGPT 的数据，可能暴露敏感信息并导致模型产生不正确或误导性的结果。

7. 反馈循环：攻击者可以通过不断向模型提供虚假或误导性信息来引起反馈循环，导致模型随着时间 的推移产生不正确或误导性的结果。

为了减轻这些攻击，企业应该使用健壮的安全协议，例如加密和访问控制，并定期监控和审计他们的 ChatGPT 使用情况。此外，企业应使用数据验证、数据清洗和数据调整等技术预防对抗样本和数据投毒。

04 我们如何使企业能够安全地使用ChatGPT？

企业使用 ChatGPT 保护公司敏感信息和消费者数据的指南：

1. 识别敏感信息：在使用ChatGPT之前，企业应该识别被视为敏感的信息类型，例如财务数据、个人信息和机密商业信息。

2. 限制对敏感信息的访问：对敏感信息的访问应该是仅限于有业务需求并接受过正确数据处理程序培训的人员。

3. 使用数据脱敏：企业应该使用数据脱敏技术来隐藏敏感信息，例如使用占位符字符或随机化数据字段。

4.实施安全控制协议：企业应该实施安全协议防止未经授权的访问，例如使用加密和SSL证书连接。

5. 定期监控使用情况：企业应定期监控 ChatGPT 的使用情况，以发现和预防任何未经授权的访问或敏感信息滥用。

6. 定期进行安全审计：企业应定期进行安全审计，以发现和解决使用 ChatGPT 中可能存在的漏洞。

7. 保持软件更新：企业应确保他们使用最新版本的 ChatGPT 和任何相关软件，因为更新可能包括安全修复。

8. 对客户保持透明：如果一家公司使用 ChatGPT 为客户提供服务，应向客户明示对其使用、收集了哪些数据以及如何使用这些数据。

9. 培训员工：企业应培训员工如何处理敏感信息和正确使用 ChatGPT 以防止意外泄露。通过遵循这些准则，企业可以在使用 ChatGPT 时保护公司敏感信息和客户数据。

附录：ChatGPT 关于 

“总结 CSA 顶级威胁报告”的回答

云安全联盟 (CSA) 在报告《云计算的11类顶级威胁》中确定了云计算的十一种主要威胁。这些威胁包括：

1. 数据泄露：当未经授权的个人访问敏感信息时，就会发生数据泄露。在云中，数据泄露可能是由于缺乏适当的访问控制、弱密码和其他安全漏洞造成的。

2. 账户或服务流量劫持：这种威胁发生在攻击者采取通过用户帐户或将流量重定向到虚假版本的服务。这可以是通过网络钓⻥、恶意软件或其他恶意策略完成。

3. 内部威胁：内部威胁包括员工、承包商或其他有权访问云环境但将其用于恶意目的的个人。这可能包括窃取敏感信息、删除或修改数据，或者对系统发起攻击。

4. 高级持续威胁 (APT)：APT 是复杂的攻击，使用多个阶段和技术来获取对系统的访问权限、泄露数据并保持对被入侵系统的控制。APT可以由民族国家、有组织的犯罪集团或其他行为者发起。

5. 滥用和恶意使用云服务：这种威胁发生在云服务服务用于非法活动，例如托管恶意软件、分发垃圾邮件或进行 DDoS 攻击。

6.共享技术漏洞：云提供商经常使用共享基础设施，例如管理程序和存储系统，它们可能会引入可被攻击者利用的漏洞。

7. 恶意内部人员：恶意内部人员是指有意或无意滥用其对云环境的访问权限的员工、承包商或第三方供应商。

8. 云提供商漏洞：云提供商的系统中可能存在漏洞，攻击者可以利用这些漏洞访问客户数据或对其他系统发起攻击。

9. 数据丢失：数据丢失可能由于硬件故障、软件错误或其他问题而导致的。在云中，数据丢失也可能是由于缺乏适当的备份或灾难恢复计划造成的。

10. 配置错误：当云环境配置不当时，可能会发生配置错误，从而导致安全漏洞或数据泄露。

11. 有限的可见性：对云环境的有限可见性会使企业难以检测和响应安全威胁。

为了防范这些威胁，企业应该实施强大的安全控制，例如加密和访问控制，定期监控和审计他们的云使用情况，并制定事件响应计划。此外，企业组织应确保其云提供商具有强大的安全控制和事件响应能力。