简析美国土安全部发布关于缓解AI对关键设施风险的安全指引

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户，每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序把安全装进口袋

其他

简析美国土安全部发布关于缓解AI对关键设施风险的安全指引

sender 2024-05-09 22:28:16 126256

本文由 sender 创作，已纳入「FreeBuf原创奖励计划」，未授权禁止转载

AI 可同时用于网络安全攻防两方，相信读者都已经不陌生了。越来越多的在野记录证明攻击方正在全面利用AI辅助发起网络攻击。

最近，美国土安全部（DHS）公开发布了对关键基础设施拥有者和运营者如何缓解 AI 风险的安全指引（以下简称指引）。对于有打算实现 AI 技术落地或使用公共 AI 服务的甲方，无论是否关键基础设施，均有必要对此给予关注和观察。

笔者：国际认证信息系统审计师、软考系统分析师、软件工程硕士

该指引文档的下载地址：

MITIGATING ARTIFICIAL INTELLIGENCE (AI) RISK: Safety and Security Guidelines for Critical Infrastructure Owners and Operators

https://www.dhs.gov/sites/default/files/2024-04/24_0426_dhs_ai-ci-safety-security-guidelines-508c.pdf

指引全文结构包括摘要、介绍、关键设施面临的 AI 风险、对关键设施拥有者和运营者的指引、总结和附录等部分构成。笔者对各部分解析如下，本文共四千四百余字，阅读要有一点耐心。

一、摘要和介绍

在介绍部分的一开始，指引就明确指出在关键基础设施中引入 AI 技术必然会引致更多的安全风险。攻击者可以实施的不仅是网络攻击，还可以包括物理攻击，且会构成国家和公共安全问题。

很显然在 AI 的安全风险上，中美政府的看法都是一致的，只是监管的切入点和具体要求有所不同。

该指引解决的是影响关键基础设施系统及其功能安全性的跨领域的人工智能风险，因此指引内容是基于对 16 种关键基础设施领域所面对的 AI 风向评估结果进行跨领域分析的结果而成，最终聚焦于三种 AI 风险类型：

1）使用 AI 系统辅助进行攻击

2）对 AI 系统进行攻击

3）AI 系统设计和实现中的失败

安全指引纳入了美国国家标准与技术研究院（NIST）制订的 AI 风险管理框架（AI RMF）的四个功能：治理、映射、测量和管理[1]。

从摘要内容中，读者可以获得如下两项关键信息：

其一是在网络安全中，AI 系统不仅是攻防辅助工具，它本身也属于关键基础设施的一部分，是一种新的风险来源，需要进行恰当的防护。

其二是 NIST 发布的 AI RMF 是相关工作的依据。

笔者认为，对于当前正在随着数字经济、数字化转型而兴起的 AI2B 业务来说，甲方单位无论是否计划实施 AI2B，都需要对此有足够的前瞻准备。工作参考依据方面，国内可以对应参考的是国家标准化管理委员会发布的《人工智能安全标准化白皮书（2023版）》[2]和制订中的《信息安全技术人工智能计算平台安全框架》[3]。由于 NIST AI RMF 内容范围比后者主要是技术性防护的内容要广，所以 NIST AI RMF 也不失为一套可借鉴的工作依据。

另外，读者应对国家网信办等七部门联合发布的《生成式人工智能服务管理暂行办法》[4]具备必要的了解和研究如何遵循，不可以简单地认为自己部署的是仅供内部使用的 AI 系统就不需要遵循该办法的合规要求。

二、关键设施面临的 AI 风险部分

本部分详细介绍了在摘要中概括的三种跨领域 AI 风险类型，结合跨领域的 AI 用例和 AI 适配模式给出缓解策略，具体内容在指引的附录A中。

在本部分，指引明确点出如下四点关键发现：

1）AI 技术快速发展会为关键基础设施带来变革发展，但与技术快速发展带来的风险是一件事情的两面。

2）当前 AI 技术主要用于支撑作用，且已经部分地自动化了，可见将来会有更多的复杂功能应用 AI 技术。

3）AI 技术可以支持实现长期、持续的安全威胁，比如物流、供应链管理、质量控制、物理安全和网络防御。

4）AI 技术具有持续地增强和扩展对手在网络空间的战术、技术和过程能力的潜能。

以上四点关键发现中，笔者认为最突出的是通过 AI 实施长期持续的安全威胁即 APT 攻击。众所周知 APT 攻击夹杂大量社交工程措施，利用 AI 可以使得这些措施的实施成功率高于通过人去实施，且威胁影响会更全面。

对于管理和减少关键基础设施运营风险的方法，包括落实各种风险缓解最佳实践和为 AI 制定特定的风险缓解策略。

关于风险缓解最佳实践，指的就是已经是甲方所熟知的比如制定供应链风险管理措施、编制应急事件响应计划、通过培训提高员工安全能力和警惕性等。放在我们这边就是严格执行等级保护要求。

而特定的风险缓解策略，在指引中举例为对数据集和模型进行校验，对自动化流程用人去监控以及制定使用 AI 的内部政策等。结合这一点，笔者还是重复之前的观点：AI 取代的只是普通能力的人，而且有些岗位永远不可能没有人，只有人才能承担责任、背书结果。

指引归纳了超过150种有益于跨领域应用 AI 的组合场景，划分为10种使用分类，方便关键基础设施拥有者和运营者参考实现适合自己的具体应用，以及展开讨论。这10种分类分别是：

运营警觉性、效率优化、运营自动化、特定或异常事件检测、未来趋势或事件的预报、新技术和产品的研究与开发、信息系统的规划与设计、客户服务自动化、对现实的数字化建模和模拟、维持物理安全。

需要注意是这10种分类并不仅仅是说网络安全这个单一领域，而是关键基础设施（甲方）的全范围。

指引指出，在关键基础设施的运作中使用 AI 的程度呈现上升趋势。比如使用预测性的 AI 已经很常见。虽然一些存在高度不确定性或利用了复杂的内在逻辑的用例当前使用 AI 的程度不高，但对于未来而言具有潜力。

现在国内网络安全业界宣称应用 AI 技术且已经形成产品的场合主要包括日志分析、态势感知、数据泄露侦测等，还有宣称可以自主防御新型针对性攻击的等等，但相对于这份指引所指出的与关键基础设施运营全面结合的程度还相差很远，实际都只是旁路防御。

所以路还很长！

本部分还具体描述了三大类跨领域 AI 风险。指引称之为“系统级 AI 风险”（system-level AI risk），在这三大类内还包括若干子分类，各分类都对应有风险缓解策略，具体见附录B。

**第一大类：使用 AI 系统辅助进行攻击。**注意其定义不仅指从网络空间发起的攻击，也包括物理攻击，泛指使用 AI 技术实现这两种攻击途径的自动化、强化、规划和规模化等，当前最常见攻击向量是AI赋能的社交工程攻击。

笔者认为，AI赋能的物理攻击将会成为防御重点和难点。

**第二大类：对 AI 系统进行攻击。**指引强调此种攻击针对支持关键基础设施运行的 AI 系统，攻击向量包括对 AI 算法的对抗性操控、逃逸攻击和服务中断攻击。

笔者认为，如果读者这两年来一直在关注大模型AI，对这些攻击手段应该都不陌生。成功实施此类攻击，攻击者需要先能突破进入关键基础设施内部，这可能并不容易。但由于业界对此类攻击的防御能力相当有限，一旦被攻击者突破进入关键基础设施，此类攻击的成功机会就相当高。

**第三大类：AI 系统设计和实现中的失败。**该类风险指的是 AI 系统在设计、建设以及日常运维中的低效或存在不足而导致的风险，且会因此而产生影响到关键基础设施本身运行的功能错误或意外结果。常见的失败包括自主性（autonomy）、脆弱性（brittleness）和不可理解（inscrutability）。

笔者在此补充，指引中提到的这三种失败情况，均为目前基于 LLM 的 AIGC 技术的典型问题，简单说就是每个词都可以搜索出一堆论文。比如自主性，AI 的自主性可能是有益的，也可能是有害的，如何监和控仍然是问题。又如脆弱性，ChatGTP 的越狱问题是众所周知。再如不可理解，LLM 的内部运作机制仍在不断地解析和研究中，不透明的决策过程会导致各种次生风险。要解决这些问题已经超越了一般意义下的信息技术领域，需要多学科的综合。

三、对关键设施拥有者和运营者的指引部分

指引在本部分首先指出，AI 的风险管理是贯穿 AI 生命周期的持续过程，关键基础设施拥有者和运营者需要就自身领域和关联领域使用AI所带来的前述三大类风险进行评估和选择合适的缓解措施，并且在 AI 生命周期期间根据情况承担各种相关的角色，与 AI 供应商协作保证 AI 系统的安全性和可靠性。

指引根据 NIST AI RMF，强调风险管理应以治理为中心模块，结合映射、测量和管理等另外三个模块的具体措施实现，且各有重点：

治理的重点是建立 AI 风险管理的组织文化。

映射的重点是理解自己使用 AI 的关联背景和风险概况。

测量的重点是开发系统实现评估、分析和跟踪 AI 风险。

管理的重点是把人工智能的风险优先对待和予以行动以实现物理和网络等多种环境的安全。

指引对每一个模块都给出了若干条策略。这些策略中一些已经是比较熟悉的，比如治理需要在 AI 开发的生命周期中建立以设计促安全（Secure by Design）实践的要求，这属于建设期间的要求。以设计促安全这一点，笔者在之前介绍美国网络安全与基础设施安全局敦促路由器厂家改善路由器安全状况时就已经介绍过。

过往内容参考：用户如何看待和防范小型家用路由器频繁被劫持利用？

另外一些策略，例如治理需要建立使用 AI 的透明度和对由人工智能驱动的行动建立问责机制，属于审计性质的要求。AI 的运用过程同样需要能被审计和追责。笔者之前也有相当多讨论网络安全审计的内容，但在现实中，如果甲方不是关键基础设施单位，对网络安全可审计的重视程度并不高。

过往内容参考：甲方需要实施持续的网络安全审计

值得关注的还包括有风险评估性质的要求，例如映射的需要记录 AI 对个人、社团和社会等关联方特定的、潜在的安全影响，且包括与偏见、隐私和滥用敏感信息相关的潜在风险。这意味着在运用 AI 之前需要实施全面且扩散性的风险评估过程，但这项工作往往在实际中是忽略、缺失或削弱的。

这些策略总的来说，属于预防性质的居多。

例如，对于测量，需要构建具有弹性的 AI 系统，使其能在被破坏后快速恢复，又或在部署阶段环境条件不成熟时可以维持其功能。弹性系统是最近比较热门的话题，是出于安全防御的局限性而提出的另一种解决途径，但有效的弹性系统需要超额的资源投入，并不是所有甲方都能承受的。

又如，对于管理，需要实现能对 AI 生成的内容添加水印、内容标签或校验机制的工具，以协助公众识别由 AI 生成的内容。如何有效区分人和 AI 生成内容也是一个热门话题，笔者认为随着 AI 能力的发展，只可能通过为 AI 生成内容强制添加元数据的方式实现，也就是结构化后添加元数据。直接辨别的可能性是日趋渺茫。

具体到 NIST AI RMF 的内容，全国信安标委会对此有专门的解读可以参考[5]。

读者应注意到各种管理体系，无论 COBIT、ISO 27001、等级保护，包括现在对 AI 的风险管理，治理都是核心，没有实施有效的治理，其他一切都是皮之不存毛将焉附。笔者对此有深刻的个人体会，或者会另外找时间说说。

指引在附录B中给出了把具体缓解措施与 NIST AI RMF 相对照的建议，是关键基础设施在自己的风险管理体系中整合 NIST AI RMF 并参照指引实现风险缓解的具体内容。