韩国AI公司AI-NOMIS运营的GenNomis平台发生重大数据泄露事件,暴露出未受监管的AI生成内容所带来的严重风险。
GenNomis是一个AI驱动的图像生成平台,用户可通过文本提示创建无限制图像、生成AI虚拟形象并进行面部替换。该平台提供超过45种艺术风格,并设有用户生成图像的交易市场。
泄露数据详情
根据vpnMentor向Hackread.com提供的报告,网络安全研究员Jeremiah Fowler发现一个可公开访问且配置错误的数据库,其中包含高达47.8GB的数据,涉及93,485张图片和JSON文件。
这些数据包含大量令人不安的AI生成露骨内容、换脸图像以及疑似未成年人的影像。初步检查显示,泄露记录中存在大量限制级内容,其中涉及未成年人的AI生成图像尤其令人担忧。
该事件印证了英国互联网监督机构的警告——暗网恋童癖者正利用开源AI工具制作儿童性虐待材料(CSAM,Child Sexual Abuse Material)。
未成年人深度伪造图像(来源:vpnMentor)
Fowler报告称发现大量疑似未成年人的露骨图像,以及被幼龄化的名人形象(包括Ariana Grande和Michelle Obama等)。数据库还包含记录指令提示和生成图像链接的JSON文件,暴露出平台的内部运作机制。
事件影响与潜在危害
该数据库缺乏密码保护或加密等基本安全措施,但Fowler强调此事件不能归咎于GenNomis或AI-NOMIS的过失。研究员已向涉事公司发送负责任披露通知,相关网站在下线后删除了数据库。不过,数据库中标记为"Face Swap"的文件夹在通知发送前就已消失。
数据库文件夹列表(来源:vpnMentor)
此次事件凸显了"裸体伪造"(nudify)或深度伪造色情内容的泛滥问题——AI技术被用于非自愿制作逼真露骨图像。Fowler指出,目前约96%的在线深度伪造内容涉及色情,其中99%未经女性当事人同意。
泄露数据可能被用于勒索、名誉损害和报复等恶性用途。值得注意的是,这些内容明显违反了平台禁止涉及儿童露骨素材的公开准则。
Fowler将此次事件视为AI图像生成行业潜在滥用的"警钟",强调开发者需要承担更大责任。他建议部署检测系统来标记和阻止深度伪造色情内容(尤其是涉及未成年人的内容),并强调身份验证和水印技术对防止滥用、追责溯源的重要性。截至发稿时,GenNomis网站仍处于下线状态。
参考来源:
如需授权、对文章有疑问或需删除稿件,请联系 FreeBuf 客服小蜜蜂(微信:freebee1024)