freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

点我创作

试试在FreeBuf发布您的第一篇文章 让安全圈留下您的足迹
我知道了

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

黑客如何利用提示词工程操纵AI代理?
AI小蜜蜂 2025-02-19 14:43:52 159856
所属地 上海

提示词工程

“代理式”人工智能(Agentic AI)时代已经到来,企业不能再忽视其变革潜力。AI代理能够独立运行,根据其编程进行决策和行动。Gartner预测,到2028年,15%的日常业务决策将完全由AI代理自主完成。

然而,随着这些系统的广泛应用,它们被集成到关键业务操作中,同时拥有过大的权限——深度访问系统、数据、功能和权限——使其成为网络犯罪分子的诱人目标。其中,威胁行为者利用提示词工程(Prompt Engineering)来操纵、欺骗或破坏AI代理,这是一种隐蔽但强大的攻击手段。

提示词工程为何能被利用?

提示词工程是指为AI系统(尤其是基于大语言模型[LLMs]的系统)精心设计输入(即“提示词”),以引导其产生特定的响应或行为。虽然提示词工程通常用于合法的目的,例如指导AI的决策过程,但它也可能被威胁行为者利用,以影响其输出,甚至操纵其底层数据或逻辑(即“提示词注入”)。

威胁行为者如何利用提示词工程攻击AI代理?

威胁行为者通过多种提示词工程技术来攻击AI代理系统,例如:

隐写式提示词(Steganographic Prompting)

是否还记得SEO投毒技术?该技术通过在白色背景上使用白色文字操控搜索引擎结果。当用户浏览网页时,他们无法看到这些隐藏文字,但搜索引擎爬虫可以读取。类似地,隐写式提示词技术通过嵌入隐藏文字或混淆指令,使其对人眼不可见,但可被大语言模型检测到。例如,某CEO使用AI邮箱助理进行回复。在发送邮件前,AI会进行一些检查以确保遵守编程规则(例如,不涉及紧急、敏感或专有信息)。但如果邮件中包含一些对人眼不可见但被AI读取的隐藏文字,可能会导致AI执行未经授权的操作、泄露机密信息,或生成不当或有害的输出。

通过这种方式,黑客可以利用AI的复杂性达成其恶意目的,这不仅对企业的安全构成威胁,也对AI技术的发展提出了新的安全挑战。

参考来源:

How Hackers Manipulate Agentic AI with Prompt Engineering

# 网络安全 # 企业安全
本文为 AI小蜜蜂 独立观点,未经授权禁止转载。
如需授权、对文章有疑问或需删除稿件,请联系 FreeBuf 客服小蜜蜂(微信:freebee1024)
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
AI小蜜蜂 LV.5
这家伙太懒了,还未填写个人描述!
  • 283 文章数
  • 36 关注者
九个存在九年的npm软件包遭劫持 通过混淆脚本窃取API密钥
2025-03-28
Mozilla紧急修复Firefox高危漏洞 与Chrome零日漏洞原理相似
2025-03-28
2025年全球网络安全支出预计增长12.2%
2025-03-28
文章目录