文 | 浙江大学&君同未来创始人韩蒙等

随着人工智能技术在众多行业的深入应用，人类正站在一个充满机遇与挑战的十字路口。2024 年 9 月 9 日，全国网络安全标准化技术委员会推出了《人工智能安全治理框架》1.0 版（以下简称《框架》），标志着我国在人工智能安全治理领域迈出了坚实的一步。《框架》的发布不仅是对《全球人工智能治理倡议》的具体落实，也是推动全球人工智能安全治理合作的重要一步。《框架》旨在构建一个广泛认同的全球治理体系，确保人工智能技术能够以安全且负责任的方式服务于人类社会。

一、《框架》内容解读

《框架》为人工智能安全治理提供了一份全面的指导蓝图，旨在确保人工智能技术的安全、负责任和可持续发展。它强调人工智能的全生命周期中识别和管理风险的重要性，从设计、研发到部署和维护，每个阶段都需要进行细致的风险评估，并采取相应的安全措施。同时，《框架》倡导技术与管理的结合，鼓励跨领域合作和国际政策协调，以构建一个全球性的人工智能安全治理体系。

（一）人工智能安全治理原则在人工智能安全治理的过程中，应坚持一个共同、综合、合作、可持续的安全观，将发展与安全放在同等重要的位置，推动人工智能的创新发展作为首要任务，同时将有效预防和解决人工智能安全风险作为工作的起点和终点，构建一个多方参与、技术与管理相结合、分工协作的治理机制。鼓励发展创新，坚守安全底线。人工智能的发展对增进人类共同福祉、推动文明进步具有重要意义，它将深刻地改变人类社会和世界。《框架》鼓励对人工智能的研发和应用持开放态度，同时强调必须坚守安全底线，防止技术被滥用，保护国家安全、社会公共利益和公众的合法权益不受侵害。关注风险变化，持续优化治理。鉴于人工智能技术处于快速发展和迭代之中，面临的安全风险也在不断演变。因此，必须密切关注这些风险的变化，迅速、灵活、精准地调整治理措施，不断优化治理机制和方法，并及时响应需要政府监管的事项。技术与管理相结合，分工协同治理。人工智能的安全治理需要技术和管理的双重保障。人工智能治理既要建立和完善包括算法安全管理制度、算法安全自评估制度、算法安全检测制度、算法安全应急处置制度在内的人工智能安全管理体系，又要致力于解决人工智能安全攻击、风险识别、安全防护等关键技术难题，从而提升人工智能安全评估的科学性和效率，展现中国在人工智能安全治理方面的智慧。开放合作，推动共治共享。《框架》强调，应以开放的姿态在全球范围内推动人工智能安全治理的国际合作，共享最佳实践，倡导建立开放平台，以促进跨学科、跨领域、跨地区、跨国界的对话与合作，进而共同构建一个广泛认同的全球人工智能治理体系。

（二）人工智能安全风险在深入剖析人工智能所带来的安全挑战时，国际社会已建立多种风险评估体系，如开放式 Web 应用程序安全项目（OWASP）针对大语言模型的十大风险内容、美国国家标准与技术研究院（NIST）发布的《对抗性机器学习-攻击和缓解的分类和术语》以及 MITRE 公司发布的人工智能系统的对抗威胁格局（ATLAS）等。《框架》在此基础上，首次全面地从人工智能的全生命周期、系统全链路、滥用问题以及对社会问题加剧等不同维度，对人工智能的安全风险进行了深入分析。《框架》深刻揭示了人工智能滥用可能对社会带来的严重风险。以 ChatGPT 为代表的生成式人工智能，在语言理解和文本生成方面具有强大的能力，极大地方便了人类生活。然而，此类技术同样存在被犯罪分子滥用的潜在风险。《框架》特别指出，人工智能生成的图片、音频、视频等高仿真内容有可能绕过现有的人脸识别、语音识别等身份认证机制，导致认证和权限控制失效。例如，2024 年初，香港警方披露一起诈骗集团利用人工智能“深度伪造”技术，冒充一家跨国公司香港分公司的首席财务官和其他员工，成功诈骗高达2亿港元的重大案件。《框架》在认知和伦理安全领域明确指出，人工智能技术的发展可能加剧以下四类社会问题的风险。

第一，“信息茧房”效应风险进一步加剧。人工智能算法通过对用户类型、需求、意图、喜好和行为习惯的深入分析，甚至考虑到特定时间段内的公众主流意识，会向用户推送高度定制化的内容。这种个性化推送使得用户在个人和群体层面上的观点和偏见不断被强化，形成了一种相互反馈的循环。这不仅加剧个体和群体观点的固化，也极大地提高了群体极化的风险和可能性。

第二，认知战的风险日益凸显。社交机器人在网络空间中争夺话语权和议程设置权，操纵公众的价值观和思维认知。

第三，社会歧视和偏见进一步加剧，智能鸿沟进一步扩大。人工智能通过对不同人群的标识分类和区别对待，可能导致系统性和结构性的社会歧视与偏见。同时，这也加剧了不同地区在人工智能应用上的差距。第四，传统社会秩序面临挑战。人工智能的发展和应用可能会极大地改变生产工具和生产关系，加速传统行业模式的重构，颠覆传统的就业观、生育观和教育观，对传统社会秩序的稳定运行构成挑战。

（三）人工智能安全应对措施《框架》针对不同类型的人工智能系统安全风险，从训练数据、算力设施、模型算法、产品服务、应用场景等多个方面提出了 21 条防范技术措施。同时，结合技术和管理两个层面，为人工智能安全风险治理提供了指导。《框架》针对人工智能系统安全风险，提出了一系列管理措施，以确保技术的安全性和可靠性。特别是在训练数据方面，面对不当内容和“投毒”风险，人工智能治理主体必须使用真实、准确、客观、多样化且合法来源的数据，并及时清除过时、错误或带有偏见的数据。这与全国网络安全标准化技术委员会发布的《生成式人工智能服务安全基本要求》相一致，要求在采集特定语料之前进行安全评估，增强语料来源的多样性，并采用关键词筛选、分类模型和人工抽检等多种手段，以彻底过滤掉所有违法和不良信息。

《框架》针对人工智能认知领域风险，特别强调加强检测技术研发的重要性，旨在提升对认知战手段的防范、检测和处置能力。2024 年 9 月 14 日，国家互联网信息办公室发布了《人工智能生成合成内容标识办法（征求意见稿）》。该办法通过为人工智能生成的内容添加明显和隐式的标识，以帮助识别这些内容是否由人工智能生成。此外，研究人员正在利用深度学习、图像识别和自然语言处理等先进技术，基于图像、文本或视频的语义和表达特征，开发出深度伪造检测技术，以辨别内容是否由人工智能生成，从而增强对人工智能生成内容的监管和控制能力。

（四）建立风险治理体系《框架》针对人工智能的安全风险，提出建立一个包括技术研发机构、服务提供者、用户、政府部门、行业协会和社会组织在内的综合治理体系，以确保人工智能的安全和可持续发展。人工智能应用的分类分级管理。《框架》建议根据人工智能系统的功能、性能和应用场景进行分类和分级，建立一套风险等级测试和评估体系。这将加强人工智能的最终用途管理，对特定人群和场景下使用人工智能技术提出明确要求，以防止技术的滥用。为不同角色提供定制化安全指引。

《框架》根据不同角色的需求，提供针对性的安全应用指导。对于模型和算法的研发者，强调遵循科技伦理规范，重视数据安全和个人信息保护，确保训练环境的安全，评估潜在风险，并提出改进方案。对于人工智能服务的提供者，要求他们公开透明地提供必要的产品和服务信息，审查研发者提供的责任说明文件，提高风险防范意识，建立实时风险监控管理机制，并及时向主管部门报告安全风险。人工智能安全人才的培养。

《框架》明确指出，人工智能风险治理亟需专业人才的支持和培养。因此，推动人工智能安全教育与人工智能学科的同步发展至关重要。《框架》强调，应依托学校和科研机构，加强人工智能安全设计、开发和治理人才的培养，以支持在人工智能安全前沿基础领域培养顶尖人才。

二、《框架》指导实践落地

通过一系列措施，人工智能治理确保《框架》不仅在理论上具有指导意义，而且在实践中能够有效地促进人工智能的安全和可持续发展，为人工智能的安全治理提供坚实的基础，并为未来的挑战做好准备。

（一）建立全生命周期风险治理体系人工智能治理主体为确保人工智能的安全性，需制定一个全面的生命周期风险治理体系，涵盖设计、研发、训练、测试、部署、使用和维护等各个阶段，以便在模型的不同生命周期阶段识别和检测潜在风险。例如，在模型研发阶段，需关注训练数据预处理不足可能导致的模型幻觉问题；在模型训练阶段，应聚焦于算法偏见问题，以避免模型输出结果存在歧视；在使用阶段，需警惕外部对抗样本可能导致的模型输出错误预测。

同时，人工智能治理参考《框架》提出的管理层面措施，指明在设计、研发、部署、维护过程中建立并实施安全开发规范，尽可能消除模型算法存在的安全缺陷、歧视性倾向，提高鲁棒性。在设计阶段建立风险评估机制，全面识别潜在安全隐患；在研发阶段制定严格的开发流程规范，防止人员疏忽导致风险的引入；在部署阶段进行充分的安全测试，并引入监测机制监控人工智能的行为；最后，在维护阶段根据威胁情况调整防护策略，制定持续改进制度。

（二）形成人工智能全要素防护措施针对人工智能系统架构的核心组件，包括基础环境、数据层、算法层、模型层和应用层，人工智能治理主体需要全面分析系统全链路的安全风险。在基础环境层，人工智能系统面临算力资源被恶意消耗、算力层面风险跨边界传递，以及开发工具可能存在的缺陷和后门导致攻击的风险。例如，研究人员发现，通过破坏人工智能模型托管平台Hugging Face 的 safetensors 格式转换服务，攻击者可以劫持用户提交的模型，造成供应链攻击。在数据层，人工智能系统面临未经同意收集和不当使用数据、个人信息的安全风险，以及训练数据中含有虚假、偏见、侵犯知识产权等违法有害信息，导致模型输出违法有害信息的风险。在算法层，人工智能系统面临着由于算法内在歧视导致的偏见或歧视风险，这可能影响算法设计的初衷和输出结果的公正性。在模型层，预训练模型在二次开发或微调过程中可能携带的安全缺陷，以及模型可解释性的不足，可能导致难以追溯和归因的风险。特别是在医疗、金融和司法等关键领域，模型的“黑箱”特性使得预测结果难以捉摸，一旦出现异常，快速修正和责任追溯变得极为困难。在应用层，人工智能治理需警惕外部攻击者通过逆向工程攻击窃取或篡改模型。这不仅侵犯模型的知识产权，还可能导致机密信息泄露，以及模型被滥用于网络攻击的风险。

鉴于人工智能风险诱因的多样性、风险暴露面的广泛性以及风险的复杂多变性，落实《框架》提出的技管结合应对策略至关重要。特别是从技术层面，人工智能治理主体需要不断提高人工智能的可解释性和可预测性，为人工智能系统的内部构造、推理逻辑、技术接口和输出结果提供明确的说明，正确反映人工智能系统产生结果的过程。为揭开人工智能的决策机制的神秘面纱，研究人员提出多种可解释方法，包括基于梯度的特征重要性分析方法、反事实可解释方法、代理模型解释方法以及信息熵分析可解释方法等。

（三）促进跨领域合作与知识共享为有效实施《框架》并应对人工智能的复杂风险，跨领域合作与知识共享显得尤为重要。需要打破行业壁垒，促进不同领域间的对话与协作，共同构建综合性的人工智能安全治理网络。

建立跨部门协作机制。政府、学术界、工业界和民间组织应共同参与，搭建多方协作平台，以确保人工智能安全治理的全面性和协调性。通过这种合作，可以共享资源、知识和最佳实践，提高对人工智能风险的识别和应对能力。在全球范围内，各国应加强合作，通过国际组织和多边协议（如联合国、世界贸易组织等），共同制定人工智能安全标准和规范。这不仅有助于统一全球对人工智能安全的认识，还能促进技术、法规和伦理的全球协调。

加强公众参与和教育。公众对人工智能的理解和接受程度对其安全治理至关重要。因此，需要通过教育和公众宣传提高公众对人工智能潜在风险的认识，增强其参与治理的能力和意愿。同时，教育和培训项目应注重培养下一代人工智能安全专家，以支持行业长期发展。

支持研究与创新。鼓励和支持人工智能安全领域的研究，特别是在新兴技术和潜在风险领域。通过资助研究项目、举办研讨会和竞赛，激发创新思维，发现并解决新出现的问题。

（四）指导不同角色参与人工智能治理《框架》从不同角色的角度出发，为安全应用提供指引，包括模型算法研发者、人工智能服务提供者、重点领域使用者以及社会公众。

对于模型算法研发者，需遵循科技伦理规范，重视数据安全和个人信息保护；确保模型算法训练环境的安全性；评估模型算法面临的风险；分析安全问题并提出改进方案。

对于人工智能服务提供者，应公开披露人工智能产品和服务的必要信息；审核研发者提供的责任说明文件；提高人工智能风险防范意识，建立健全实时风险监控和管理机制；及时向主管部门报告安全风险。

对于重点领域使用者，要审慎评估目标应用场景采用人工智能技术可能带来的长期和潜在影响，开展全面的风险评估与分级；使用高安全级别的密码策略，增强账户安全性；提升网络安全和供应链安全等方面的能力；合理限制人工智能系统对数据的访问权限。

对于社会公众，应提高对人工智能产品安全风险的认识；了解产品的功能、限制和隐私政策；提高个人信息保护意识；关注人工智能产品对儿童和青少年的影响，预防沉迷及过度使用。

三、进一步思考

《框架》为人工智能安全治理提供了理论基础和实践指导，同时激发了社会各界对人工智能安全治理的深入思考。人工智能安全治理是涉及科技发展和国家长治久安的重大课题，不仅要着眼于现在，更需放眼未来，防患于未然。

（一）关注垂直领域人工智能风险在人工智能治理的过程中，治理主体必须在《框架》的指导下，根据各领域的具体需求和实际情况，量身定制人工智能风险评估方法和应对策略。由于人工智能在不同垂直领域的应用具有独立性、专业性和协同性，不同领域的人工智能安全风险呈现出显著的差异。例如，在手机端侧领域，人工智能应用的风险可能包括用户个人隐私的泄露和非法命令执行的风险；而在网络安全领域，风险可能涉及网络安全漏洞的误报或漏报问题。鉴于人工智能应用场景和技术的多样性，需对不同应用场景的人工智能模型采取差异化的治理重点。例如，对于应用在医疗诊断的人工智能模型应关注模型决策结果的可解释性和准确性；对于应用在智能客服的人工智能模型需兼顾模型生成内容的合规性。通过这种精细化的风险管理和策略制定，可有效应对人工智能在各垂直领域面临的挑战。

（二）探索人工智能新技术治理挑战随着智能体、知识检索、具身智能等前沿技术的迅猛发展，这些技术在为日常生活和生产带来便利的同时，也引发了一系列新的安全风险。智能体由于具备自主决策能力，其决策偏差可能对人类社会构成极大威胁。在开放式场景中应用智能体时，可能面临数据泄露和模型参数泄露的风险。知识检索技术与人工智能模型的结合为垂直领域提供众多优秀实践案例，但若缺乏知识权限管理，可能导致机密数据泄露。同时，知识库中的有害内容也可能导致模型输出违规内容。具身智能（结合人工智能和机器人技术）正在快速发展，研究表明，它可能侵入私密空间、记录私密活动，并在不知不觉中收集和处理私密信息。此外，具身智能结合自主决策与行动能力，可能对用户人身和财产权益造成侵害。因此，人工智能治理需不断地适应并应对这些新技术带来的挑战，确保技术的发展既符合伦理道德标准，又能保障社会的安全和秩序。

（三）推动构建自主创新生态为推动人工智能的蓬勃发展，人工智能治理应致力于构建自主创新的生态系统，确保技术的发展既自主可控又开放共享，从而形成人工智能领域百家争鸣的繁荣景象。首先，必须坚守核心技术的创新源头，确保关键技术的自主性和可控性。人工智能模型的应用依赖于基础软硬件、数据、算法和模型等要素，集中力量攻克“卡脖子”技术对于提升我国的核心竞争力至关重要。其次，积极打造一个开放共享的人工智能安全新生态，为创新和创造营造一个更加宽松和有利的环境。通过组织一系列人工智能安全前沿讨论会，鼓励青年科学家开展开放性和探索性研究，以激发新思路和突破性成果。最后，积极推进在 APEC、G20、金砖国家等多边机制下的人工智能安全治理合作，加强与“一带一路”共建国家及“全球南方”国家的合作。探索建立人工智能安全治理联盟，增强发展中国家在全球人工智能治理中的代表性和发言权。坚持维护人类的共同福祉，坚守公平正义，为应对全球人工智能治理的挑战贡献中国智慧和方案。

四、结 语

《框架》深入把握人工智能治理原则，分析人工智能安全风险，提出人工智能安全应对措施，并建立风险治理体系，形成覆盖人工智能全生命周期与全要素的防护措施。通过完善各方共同参与、技管结合、分工协作的治理机制，《框架》为人工智能健康发展提供了行动指南，它将有效提升企业的人工智能安全治理水平，推动人工智能安全技术创新与风险控制，成为保障技术可信应用与人工智能可持续发展的重要基石。