freeBuf
主站

分类

漏洞 工具 极客 Web安全 系统安全 网络安全 无线安全 设备/客户端安全 数据安全 安全管理 企业安全 工控安全

特色

头条 人物志 活动 视频 观点 招聘 报告 资讯 区块链安全 标准与合规 容器安全 公开课

点我创作

试试在FreeBuf发布您的第一篇文章 让安全圈留下您的足迹
我知道了

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

AI写代码=安全危机?第一声“警哨”已吹响
Atones 2025-03-20 11:02:01 77147
所属地 广东省

一、AI时代带来编程新变革

因为AI编程工具的诞生,代码的诞生方式正在经历一场看不见的变革。

Anthropic 公司(产品:Claude )的 CEO —— Dario Amodei 近日发表看法:一年内,所有代码都将由AI生成。

无独有偶,OpenAI 的CPO —— Kevin Weil 也在近期的视频采访中表示:今年是人工智能在编程方面永远优于人类的一年,不再会拖到 2027 年。

1742438954_67db822a8496af401a361.png!small?1742438955740

截图来自:《OpenAI CPO Reveals Coding Will Be Automated THIS YEAR,Future Jobs, 2025 AI Predictions & More》

毕竟用AI编程工具,新手开发者对着屏幕输入prompt,只需要三分钟就能获得代码解决方案;架构师把需求文档喂给大模型,AI直接连带原型设计全部输出完毕,各个技术板块的知识壁垒在AI算法逐渐消失。

GitHub 2024开发者报告显示,全球76%的程序员日常使用AI编程工具,每月生成的代码总量达950亿行,相当于人类过去十年的编码量,代码仓库的生态正在经历结构性变化。

AI编程工具的普及,解放了生产力,也将网络安全推向更新、更隐蔽的战场——代码安全战场,一场看不见的硝烟开始了。

二、代码安全防线,正被AI技术撕开更大的缺口

AI编程工具提高了代码生产和迭代的频率,但其中的漏洞隐蔽性、出现速度呈指数级增长————毕竟AI生成代码的速度是人类的173倍,外加我们对AI生成能力“可信”的观点,代码安全不可避免将出现更多挑战。更可怕的是,攻击者正在通过AI构建"漏洞自动化军工厂"

  • ​漏洞量产:一个AI生成的用户登录模块,可能同时携带越权、注入、硬编码密钥三重漏洞
  • ​精准打击:黑客用自然语言描述攻击目标(如"盗取电商用户支付信息"),AI自动生成适配目标系统架构的混合型攻击代码

以我们曾拦截到的一例真实攻击为例:​

某金融平台AI生成的支付接口代码中,攻击者利用模型对"高性能"的偏好,诱导生成未加密的缓存日志,导致上万条银行卡信息裸奔在服务器上。这场"AI代码信任危机"正把每个程序员变成潜在的漏洞投放者——你以为在让AI写代码,实则可能在亲手给企业埋下隐患。

以下是腾讯AI编程安全-啄木鸟团队,探测到真实存在于各热门项目中,常见的AI编程漏洞,如果你也开始习惯使用AI编程工具,那请注意以下几类风险:

1. XML外部实体漏洞(XXE)

AI生成的XML处理代码暗藏"致命安检漏洞"——就像快递站不拆箱检查直接签收包裹。攻击者只需上传伪装成普通数据文件的"特洛伊木马"(如<!ENTITY xxe SYSTEM "file:///etc/passwd">),就能让服务器主动交出数据库密码、系统配置等核心资产,甚至被植入远程木马文件。

1742438978_67db8242a4d0adc4c8256.png!small?1742438979325

(代码来源:GitHub 某AI生成的代码开源项目)

2. 帐密硬编码信息泄露

我们在某热门编程教学视频中发现,作者使用某AI编程工具生成小程序代码时,AI“很听话”的把API密钥直接写在代码里。由于小程序代码会直接暴露在用户手机中,相当于把"保险柜密码"贴在公共走廊——任何人使用该小程序,都能轻易获取密钥,导致云服务资源被盗用或数据泄露。

1742439007_67db825f942ecbe20dbe2.png!small?1742439011612

(图片来源:某视频平台热门AI编程教程截图)

当开发者用 AI 接入第三方服务时,生成的代码竟把某头部音乐平台的API密钥直接写在代码里(类似把银行卡密码贴在外套后面),更危险的是,这些包含密钥的代码被新手开发者传到GitHub开源社区,甚至做成教程发到YouTube,相当于把"大门钥匙"挂在公共场所,攻击者可以随意窃取数据或盗用其计算资源。

1742439027_67db82730148fc514b236.png!small?1742439027678

(代码来源:GitHub 某AI生成的代码开源项目)

3. 水平越权漏洞

AI生成的下载功能代码暗藏"自动泄密"风险——就像快递员不核对身份,仅凭文件名就送货。攻击者只需输入他人文件名(如"小A的生活照片.jpg"),就能绕过权限验证,直接窃取存储在服务器的隐私数据。这种由AI编码漏洞引发的"自助式数据盗取",正在成为黑产分子新的攻击温床。


1742439041_67db82818b1c9e27f8389.png!small?1742439042114

(代码来源:GitHub 某 AI 生成的代码开源项目)

4. 目录穿越漏洞

在下载文件功能中,AI生成的代码在获取服务端文件资源时,并未对用户传入的文件路径信息进行严格的输入清洗,导致攻击者可以通过精心构造包含路径穿越符的文件名,实现目录穿越,下载文件存储目录之外的后台系统敏感文件,窃取系统敏感数据(例如后台账户密码)。

1742439055_67db828fcc7d06a1bcf7c.png!small?1742439056448

(代码来源:GitHub 某AI生成的代码开源项目)

5. XSS漏洞

AI生成的商品评论区代码一不小心成了"脚本病毒传播器"——就像允许任何人在公告栏上随意涂改内容。攻击者只需在评论里插入恶意代码(比如伪装成普通文字的<script>窃取用户密码</script>),当其他用户浏览该页面时,这些代码就会像自动播放的广告病毒般在受害者电脑上运行,轻则弹窗骚扰,重则盗取账号、劫持支付页面。这种由AI代码"偷懒"引发的安全隐患,正让每个用户都暴露在数据泄露的枪口下。

1742439072_67db82a0e20471c8b4acb.png!small?1742439073477

(代码来源:GitHub 某 AI 生成的代码开源项目)

三、如何应对AI编程的安全风险?安全守护者的新使命

零信任机制:给 AI 编码加上“三把锁”

当AI每分钟生成数百行代码,我们选择用机器对抗机器——用智能监控守住每行代码的底线。

  • 敏感信息自动拦截
    1. AI生成代码时自动扫描密钥、密码等敏感数据,强制替换为安全调用接口。
    2. 开发环境实时弹窗告警,推送加密存储方案(如小程序场景自动关联云密钥管理)。
  • 危险指令动态过滤
    1. 在AI交互过程中拦截高风险指令(如"跳过权限校验")。
    2. 对文件操作、数据查询等关键功能,自动添加安全检查代码。
  • 智能触发「越权熔断」机制:
    1. 首次检测到越权代码,自动插入用户身份校验模板。
    2. 二次发现直接冻结AI编码功能,触发人工复核。

用AI技术解决AI编程的风险问题

腾讯AI编程安全-啄木鸟团队,正在搭建AI编程场景下的安全防护新方案。基于大模型技术,研发场景更垂直、效率更高效、体验更自动化的漏洞审计能力,为新时代提供更安全、更智能的AI代码质量保障。

1742439091_67db82b35293d7ff955b9.png!small?1742439093522

(图:AI编程场景的安全解决方案)

技术方案相比于传统代码漏洞检测工具,有更鲜明的特征:

1、不再依赖定制规则的泛化能力:基于大语言模型的强大代码理解能力和海量安全知识,不再依赖人工预设的漏洞规则库,而是通过模型对代码语义、上下文逻辑的深度理解,自动适配多种编程语言和复杂业务场景。

2、准确率更高,能够理解业务逻辑:传统工具因缺乏对业务逻辑的理解,常常因为一些业务特定的逻辑,例如特殊的查询操作或者命令执行操作导致误报。通过大模型的推理能力,模拟开发者思维解析代码执行链路,深入业务的代码逻辑,精准区分“漏洞代码”与“安全编码模式”,将业务的一些特殊写法和特殊逻辑进行识别,显著减少误报干扰。

写在最后

当AI逐渐接管代码编写工作,就像百年前织布机的出现取代了手工纺锤那样,但织布机转速提升百倍时,线头的脆弱性也将百倍放大——AI生成代码的时候,最脆弱的地方将会是哪?

在AI改变程序员的时代,网络安全也随之迎来新挑战。我们选择做为AI编程永恒的守卫者,技术为镐,以敬畏为盾,深耕AI编程安全的战场。


作者:腾讯AI编程安全-啄木鸟团队

团队介绍:专注AI编程场景下的安全研究与解决方案,让AI输出的每一行代码,都经得起安全考验。

# 漏洞检测 # 代码安全 # AI安全
本文为 Atones 独立观点,未经授权禁止转载。
如需授权、对文章有疑问或需删除稿件,请联系 FreeBuf 客服小蜜蜂(微信:freebee1024)
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
Atones LV.1
这家伙太懒了,还未填写个人描述!
  • 1 文章数
  • 0 关注者
文章目录