官方公众号企业安全新浪微博
FreeBuf.COM网络安全行业门户，每日发布专业的安全资讯、技术剖析。
FreeBuf+小程序
面临安全危机！AI聊天机器人领域兴起“越狱潮”
小薯条- 关注
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
0
1
2
3
4
5
6
7
8
9
面临安全危机！AI聊天机器人领域兴起“越狱潮”
网络安全公司 SlashNext 发现，如今的 AI 聊天机器人出现了一种令人担忧的情况。有用户利用AI聊天机器人系统漏洞进行"越狱"操作，这违反了道德准则和网络安全协议。
ChatGPT曾因其先进的对话能力而声名鹊起，然而有一些用户发现了能够绕过其系统内置的安全措施的弱点。如果有人可以操纵聊天机器人提示系统，那就能发布一些未经审查和监管的内容，这引发了道德问题。
AI聊天机器人 "越狱 "涉及发布特定命令或叙述，可触发无限制模式，使AI能够不受约束地做出反应。网上一些讨论社区中已经有人在分享这些越狱的策略和战术。
Critical Start 公司网络威胁研究高级经理 Callie Guenther 说：这些平台是用户分享越狱策略、战略和提示的协作空间，以充分发挥人工智能系统的潜力。虽然这些社区的主要动力是探索和推动人工智能的发展，但必须注意到事情的两面性。
SlashNext解释说，这种趋势也引起了网络犯罪分子的注意，他们开发了一些可以利用定制的大型语言模型（LLM）达到恶意目的工具。
研究表明，除了 WormGPT 以外，这些工具大多只是连接到越狱版的公共聊天机器人，能够允许用户在保持匿名的情况下利用AI生成一些内容。
随着AI技术的不断进步，人们对AI越狱的安全性和道德影响的担忧与日俱增。防御安全团队在这方面希望能实现以下两个目标：
Darktrace 战略网络人工智能副总裁 Nicole Carignan 说，首先他们可以协助研究如何保护 LLM 免受基于提示的注入，并与社区分享这些经验。
其次，他们可以利用人工智能大规模防御更复杂的社交工程攻击。要想在进攻型人工智能时代有效地保护系统，就需要不断壮大防御型人工智能武器库，而我们已经在这方面取得了重大进展。
据 SlashNext 报道，OpenAI 等组织正在采取积极措施，通过漏洞评估和访问控制来加强聊天机器人的安全性。
研究人员目前正在探索更加有效的策略来强化聊天机器人的安全性，以防止其被那些恶意行为者所利用。AI安全仍处于早期阶段，Darktrace方面未来的目标是开发出能够抵御试图破坏其安全的聊天机器人，同时继续为用户提供有价值的服务。
本文为 小薯条 独立观点，未经授权禁止转载。
如需授权、对文章有疑问或需删除稿件，请联系 FreeBuf 客服小蜜蜂（微信：freebee1024）
如需授权、对文章有疑问或需删除稿件，请联系 FreeBuf 客服小蜜蜂（微信：freebee1024）
被以下专辑收录，发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
相关推荐
小薯条 LV.10
这家伙太懒了，还未填写个人描述！
- 517 文章数
- 103 关注者
FreeBuf早报 | 墨西哥大型机场集团疑遭勒索攻击；开源AI/ML模型曝出30余个漏洞
2024-10-30
开源AI/ML模型曝出30余个漏洞，可能导致远程代码执行与信息窃取风险
2024-10-30
FreeBuf早报 | OpenAI语音转录工具被曝严重幻觉；法国第二大电信运营商遭网络攻击
2024-10-29