大模型如何赋能企业安全；重要文件的保护措施有哪些 | FB甲方群话题讨论

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户，每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序把安全装进口袋

大模型如何赋能企业安全；重要文件的保护措施有哪些 | FB甲方群话题讨论

2024-03-28 16:11:15

所属地上海

各位 Buffer 晚上好，FreeBuf 甲方群话题讨论第 233期来了！FB甲方社群不定期围绕安全热点事件、前沿技术、运营体系建设等话题展开讨论，Kiki 群助手每周整理精华、干货讨论内容，为您提供一手价值信息。

话题抢先看

1. 哪一项安全产品的功能或场景与大语言模型结合能比较好地发挥效果？
2. 针对大语言模型的隐私安全问题，有哪些关键措施可以保护个人和企业数据？
3. 对于一些图纸、源代码、开发文件等重要文件的保护措施有哪些？

话题一：随着大语言模型越来越火，在网络信息安全中的应用充满想像，如其在提高安全效率、检测网络攻击、分析威胁情报、进行安全培训和教育等方面都存在着发挥空间和挑战

Q：大语言模型应用在信息安全领域的优势和局限性是什么？

A1：

优势：强大的文本处理能力，自动化安全分析能力，辅助学习和培训；
局限性：依赖数据质量，缺乏可解释性、对抗性攻击。

A2：

优势: 专家库的双保险方案，降低企业成本；
局限性: 自身模型训练的安全性，如果恶意引导训练，则失去了其优势性。

A3：

优势：文本分析检测、威胁情报预测、语言生成和欺骗检测、自然语言理解；
局限性：对业务逻辑理解有限、数据隐私和安全问题、对抗攻击和误导性信息。

Q：哪一项安全产品的功能或场景与大语言模型结合能比较好地发挥效果？

A4：

安全运营、威胁管理等数据分析类产品比较合适大模型。

A5：

安全监控吧，依托大数据模型训练，针对告警类的能够持续的发现问题。

A6：

同意上面的想法，告警降噪方面需要协助，是企业内部导致的无影响告警还是外部攻击告警，抑或是外部攻击伪装从而产生了低等级告警……入侵检测联动告警降噪。

A7：

是的，现在做的好的MSS托管也基本都用上了AI来进行辅助分析和降噪，虽然还是有点像搜索引擎，但是起码做关联分析还是蛮有用的。

A8：

SOAR、SIEM日志分析到定制规则，定制Playbook响应事件，这个过程可接入ChatGPT，然后让ChatGPT来增加Playbook，然后人工Review准确性。

A9：

SIEM本身就是为了解决这个问题而在中间加一层，未来如果特化训练的话，甚至可以省去由SIEM做先筛的步骤，单纯有个存放点就行。

A10：

场景，那必然是安全态势报告与攻击溯源，只要接入的日志足够完整，微软的Copilot可以提供非常优秀的报告，不仅上下文举证丰富，而且逻辑完整，能很快从各大设备中提取出核心情报与攻击者的全链路路径。

A11：

1. 威胁情报分析：大语言模型可以自动收集、整理和分析大量的威胁情报信息，识别出潜在的安全威胁和攻击模式。通过结合安全产品的其他功能，如网络流量监控、恶意软件分析等，可以更准确地发现安全漏洞和攻击行为；
2. 安全日志分析：大语言模型可以对大量的安全日志进行自动分析，提取出与安全事件相关的信息，并生成简要的摘要或警报。这可以帮助安全人员更快速地发现和处理安全事件，提高响应速度和准确性；
3. 自动化漏洞扫描：大语言模型可以通过对目标系统的文本描述进行分析，识别出可能存在的安全漏洞。结合自动化漏洞扫描工具，可以实现对目标系统的快速、全面扫描，并生成详细的漏洞报告和建议；
4. 自动化恶意软件分析：大语言模型可以对恶意软件的代码和行为进行分析，提取出关键特征和攻击模式。结合自动化恶意软件分析工具，可以更准确地识别和防范恶意软件，保护系统和数据安全。

Q：如何评估模型结果确保其可靠性，防范恶意应用问题和幻觉问题？

A12：

可靠性有指标的，准确性：比如正确率、准确率、召回率、F1-score、鲁棒性的噪声和数据增强、泛化的交叉和留出验证，防范恶意主要是做安全测试、部署模型安全措施、身份验证、授权等等。防范幻觉问题，使用正则化跟数据增强等。具体问题需要具体来看了，常见的有数据脱敏、差分隐私、安全全方位计算、模型加密、访问控制加审计监控。

A13：

通过交叉验证模型，国外有些服务Web可以同时在多个模型上测试，然后输出结果。

Q：针对大语言模型的隐私安全问题，有哪些关键措施可以保护个人和企业数据？

A14：

黑名单，控制源，设置关键字规则。

A15：

1. 在向大语言模型提供数据时，对数据进行匿名化处理，去除个人身份信息、敏感信息等，以保护用户隐私。如：185***1234，李xx等；
2. 对大语言模型的访问进行严格的控制，只允许授权的用户或系统访问数据，避免未经授权的访问和使用。对数据的访问者进行日志审计，确保数据可追溯；
3. 在数据传输和存储过程中采用加密技术，确保数据在传输和存储过程中不被未经授权的人员访问或篡改。

A16：

最根本的解决方案是搭建企业服务级私有大模型，以后就像买个ERP软件一样简单，这是未来大模型To B 的一个趋势，也会出现大模型的开发商，然后二级分销商，卖给To B的企业私有搭建大模型，把大模型看作一个购买的软件。现在的大模型更多的是SaaS软件，以后的是私有部署软件。

A17：

我更加相信同态加密与零知识证明会是大趋势，数据还是以真实数据提交，这样可以保证功能性正确，也降低使用难度，但是其处理时采用多方安全计算处理，输入与输出明文，但是管道内为隐私加密，需要企业根据自己的业务场景不同，适配前端接口，厂商作为第三方提供能力模型，降低厂商与业务的融合度。

话题二：对于一些图纸、源代码、开发文件等重要文件的保护措施有哪些？比如DLP、加密软件等

A1：

终端DLP、网络DLP、水印、访问权限控制、敏感操作审计、文件加密，大体就这些吧。Word、PPT、Xlsx 解压后在Xml文件中可以插入URL链接，打开时会触发URL，记录访问来源IP地址。

A2：

这个是DLP的功能吗？

A3：

不是，可以自己写的，不难。

A4：

一般接入到系统导出敏感数据文件的地方，导出的敏感数据的文件会直接插入URL。

A5：

这玩意自己写感觉容易出问题，最好是有DLP或者加解密软件能够附带。

A6：

特别重要的可以考虑物理隔离，保密室那种，禁止自带电子设备进去，设备断网。DLP 这种一般公司也只能做到审计。

A7：

我这边要优化对研发重要资料的管控，但是又要考虑到研发那边的态度和情绪反弹。

A8：

先做好监控及日志，收集完数据以部门或业务线进行汇总交给领导，在公司大领导或各业务线负责人在场的事后，再说一下具体数据再说下现在的风险呗，看看公司大领导们能不能承受得住，多说几次，大领导心里肯定有疙瘩。

A9：

我之前做终端DLP的时候，由于前期没有技术卡点，又累效果又不好。有准入的话DLP好推，有些DLP是可以用准入自动推送和安装的。

A10：

DLP是不是还能切断传输？

A11：

DLP可以关闭一些通道吧，比如网盘，DLP可以对识别的应用或通道进行切断传输，比如禁止百度网盘应用、或USB、Http这类通道。

A12：

还有就是重新划分下网段，研发独立划分一个段。

A13：

这个是要划VLAN与其他部门隔离吗？

A14：

对，我在看有没有必要这么搞。感觉没太大必要，毕竟准入和AC，域账号等已经能实现逻辑的隔离了。

A15：

看公司与业务对安全的需求了，这个优先级可以往后放。

A16：

剩下感觉都是制度性的了，比如USB，比如重要文件分等级。最抽象的是我一想到有人拿手机拍屏，这个还避免不了，水印也没法做到所有位置都覆盖。

A17：

安装了终端DLP可以设置系统屏幕明水印和暗水印的，多少能识别。

A18：

暗水印即便是拍照也能识别吗？

A19：

不一定，拍照损失太大了，暗水印很少拍照能识别的，可以考虑明暗一起。

A20：

是的，暗水印有损失的，截图可以识别到，如果不怕有意见，明水印调大一点、密一点。之前我设置的是透明率45左右，还算清晰。

本期观点总结

AI大模型近来以陆续被企业运用在实际企业安全活动中，但也需要辩证地看待其作用，在优势方面，大模型在文本处理、自动化安全分析、威胁情报等方面占有优势，但仍存在数据安全隐患、过于依赖数据质量、容易被恶意训练等劣势。为了能更好地与大模型结合，讨论认为安全运营、威胁管理等数据分析类产品可以与之进行更好的契合。针对大模型数据隐患问题，除了对数据进行必要的处理，搭建企业服务级私有大模型被认为是一套最根本的解决方案。

本期话题还聊到了对一些重要文件的保护措施，终端DLP、网络DLP、水印、访问权限控制、敏感操作审计、文件加密等均能实现对这些文件进行安全防护以防止外泄，当然企业需要从一套根本的制度进行落实。

近期群内答疑解惑

Q：对于漏洞管理平台的需求多么？

A1：
不能只是做漏洞管理，定级备案、资产管理和漏洞管理要一体化，我们叫资产和漏洞管理平台。
A2：
定级备案为啥要做进去？
A3：
内部的定级备案，与做等保的没有关系，等保定级备案只能选一部分系统。为了能够覆盖所有的资产，要求系统上线前对该系统的所有资产定级备案。
A4：
资产管理平台是基础可以理解成CMDB，漏洞管理对于研发量比较大的企业需求比较多，CMDB没有建设好，其它东西基本上都要白搞。
A5：
好的资产+漏洞管理平台基本属于刚需。