freeBuf
主站

分类

云安全 AI安全 开发安全 终端安全 数据安全 Web安全 基础安全 企业安全 关基安全 移动安全 系统安全 其他安全

特色

热点 工具 漏洞 人物志 活动 安全招聘 攻防演练 政策法规

点我创作

试试在FreeBuf发布您的第一篇文章 让安全圈留下您的足迹
我知道了

官方公众号企业安全新浪微博

FreeBuf.COM网络安全行业门户,每日发布专业的安全资讯、技术剖析。

FreeBuf+小程序

FreeBuf+小程序

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

0

1

2

3

4

5

6

7

8

9

地下论坛剖析:威胁行为者对GPTs模型持怀疑态度,且也在解决道德和隐私问题
晶颜123 2023-12-06 10:23:53 94400

大量的媒体报道称,在地下论坛上可以买到供网络罪犯使用的大型语言模型(LLM),包括WormGPT和FraudGPT等。许多安全专家担心,这些模型将使威胁行为者能够创建“变异恶意软件”,加剧网络威胁形势。

LLM的双重用途(dual-use)无疑是一个令人担忧的问题,毫无疑问,威胁行为者将寻求利用它们达到自己的恶意目的,诸如WormGPT之类的工具就是这方面的早期迹象。不过,公众不太清楚的是,威胁行为者通常是如何看待这些工具的,以及除了一些公开报道的事件之外,他们实际上是如何使用这些工具的。

为了更好地了解当前的态势,Sophos X-Ops决定调查一些犯罪论坛上与LLM相关的讨论和意见,并探索威胁行为者自己对LLM所带来的机会和风险的实际看法。为此,Sophos X-Ops团队搜罗了四个著名的论坛和市场,专门研究了威胁行为者使用LLM的目的;他们对这些LLM模型的评论;以及他们对像WormGPT这样的工具的看法。

重点发现

  • 研究人员发现了多个声称提供类似于WormGPT和FraudGPT功能的GPT衍生物,包括EvilGPT、DarkGPT、PentesterGPT和XXXGPT。然而,他们也注意到网络犯罪分子对其中一些工具存疑,包括指控它们是骗局。
  • 总的来说,地下论坛用户对ChatGPT这样的工具持怀疑态度——包括认为它被高估、过度炒作、冗余、不适合生成恶意软件等观点;
  • 威胁行为者对LLM生成的代码也存在网络犯罪方面的担忧,包括操作安全担忧和AV/EDR检测;
  • 许多帖子关注越狱(这一点也经常出现在社交媒体和合法博客上)和受损的ChatGPT帐户;
  • 研究人员只发现了几个使用LLM生成恶意软件和攻击工具的威胁行为者案例,而且还只是在概念验证(PoC)的情境中;
  • 然而,其他人正在将其有效地用于其他工作,例如普通的编码任务;
  • 不出所料,技能有限的“脚本小子”对使用GPT生成恶意软件很感兴趣,但是,同样不出所料的是,他们通常无法绕过提示限制,或者无法理解生成代码中的错误;
  • 一些威胁行为者正在利用LLM通过创建聊天机器人和自动响应来增强他们经常使用的论坛;而另一些人则利用LLM来开发冗余工具;
  • 研究人员还在论坛上注意到与AI相关的“思想领导力”案例,这表明,当涉及到这项技术时,威胁行为者和其他人一样,也在努力解决同样的后勤、哲学和道德问题。

论坛

Sophos X-Ops的研究重点主要集中在以下四个论坛上:

  • Exploit:一个知名的俄语论坛,优先关注访问服务(AaaS)列表,但也允许买卖其他非法内容(包括恶意软件、数据泄露、信息伪造日志和凭据),以及关于各种网络犯罪主题的更广泛讨论;
  • XSS:另一个知名的俄语论坛。与Exploit一样,它也是一个成熟的平台,同时也拥有一个市场以及更广泛的讨论和倡议;
  • Breach Forums:该英文论坛主要研究数据泄露,包括数据库、凭据和个人数据;
  • 黑客论坛(Hackforums):一个长期运行的英文论坛,以充斥“脚本小子”而闻名;它的一些用户与此前备受瞩目的恶意软件和攻击事件有关。

在正式开始分析之前,需要指出的是:这里讨论的观点并不能代表所有威胁行为者的态度和信念,也并非定性调查或访谈。相反地,本研究应被视为对LLM相关讨论和内容的探索性评估。

深入剖析

研究人员首先注意到的一件事是,AI在其关注的任何论坛上都不是一个热门话题。在其中两个论坛上,有关该主题的帖子不到100篇,但在同一时期,有关加密货币的帖子近1000篇。

这些数字表明,论坛上与LLM相关的讨论并没有出现爆炸式增长——至少没有达到LinkedIn上的程度。这可能是因为许多网络犯罪分子认为生成式人工智能仍处于起步阶段(至少与加密货币相比,加密货币作为一种相对成熟的技术,与它们在现实世界中具有相关性)。而且,与LinkedIn的一些用户不同,威胁行为者从猜测一项新兴技术的影响中几乎得不到什么好处。

当然,研究只关注了上面提到的四个论坛,犯罪分子完全有可能在其他不太显眼的渠道中,围绕LLM展开了更积极的讨论。

进一步分析发现,论坛上大量与LLM相关的帖子都集中在越狱(jailbreaks)上——要么是来自其他来源,要么是论坛成员分享的越狱策略(这里的“越狱”是指当涉及到返回有害的、非法的或不适当的回复时,欺骗LLM绕过自我审查的一种手段)。

1701827980_656fd58cac9f09942433a.png!small?1701827981487

【图1:一个用户分享了公开的“DAN”越狱的细节】

1701827985_656fd59129b2cd0d7fbf0.png!small?1701827985955

【图2:Breach Forums用户分享了一次失败越狱尝试的细节】

1701827990_656fd596b247c67e2cd06.png!small?1701827991352

【图3:一个论坛用户分享一个越狱策略】

事实上,除了地下论坛,越狱也在互联网上公开和广泛地分享,包括在社交媒体帖子中、包含越狱集合的专用网站、专门讨论这个话题的子版块以及YouTube视频等。

有一种观点认为,凭借他们的经验和技能,威胁行为者可能比大多数人更有能力开发出新的越狱方法,但研究几乎没有观察到这方面的证据。

出售受损ChatGPT帐户

研究人员注意到,许多与LLM相关的帖子实际上都在出售受损的ChatGPT账户,尤其是在Breach Forums上。

1701827997_656fd59da49e94978babb.png!small?1701827998344

【图4:在Breach论坛上出售的ChatGPT帐户选项】

由此可见,威胁行为者显然抓住了在新平台上妥协和出售账户的机会。不太清楚的是,这些账户的目标受众是谁,买家会用受损的ChatGPT账户做什么。他们可能会访问以前的查询并获取敏感信息,或者使用访问来运行他们自己的查询,或者检查密码是否重用。

GPT模型大乱斗

更有趣的是,研究发现WormGPT和FraudGPT并不是唯一的玩家。研究人员观察到了其他八种模型,它们要么在论坛上作为服务出售,要么在其他地方开发并与论坛用户共享。

  • XXXGPT
  • Evil-GPT
  • WolfGPT
  • BlackHatGPT
  • DarkGPT
  • HackBot
  • PentesterGPT
  • PrivateGPT

然而,研究人员注意到恶意行为者对这些工具的一些不同反应。一些用户非常渴望试用或购买它们,但许多人对它们的功能和新颖性表示怀疑。还有一些人则完全充满敌意,指责这些工具的开发者是骗子。

WormGPT

WormGPT于2023年6月发布,据称是基于LLM GPT-J 6B的私人聊天机器人服务,并在多个犯罪论坛上作为商业服务提供。与许多网络犯罪服务和工具一样,它的发布伴随着一场巧妙的宣传活动,包括海报和示例。

1701828003_656fd5a36f99034daa1ea.png!small?1701828004444

【图5:WormGPT宣传活动】

1701828007_656fd5a7d9c33eff622da.png!small?1701828008488

【图6:WormGPT查询和响应的示例(由其开发人员在宣传材料中提供)】

目前还不清楚WormGPT在多大程度上促进了现实世界的攻击。然而,该项目受到了相当多的媒体关注,这可能导致其开发人员首先限制了用户可用的一些主题(包括商业电子邮件泄露等),然后在2023年8月完全关闭。

1701828012_656fd5ac98b2a472b4e7d.png!small?1701828013183

【图7:WormGPT开发人员在8月初宣布了对项目的更改】

1701828017_656fd5b1ccb5ba98bb9ef.png!small?1701828018471

【图8:一天后宣布关闭WormGPT项目的帖子】

在宣布关闭WormGPT的声明中,开发者特别指出媒体的关注是他们决定结束项目的关键原因。他们还指出:

“本质上来说,WormGPT只不过是一个不受限制的ChatGPT。互联网上的任何人都可以使用一种众所周知的越狱技术,达到同样的效果。”

虽然一些用户对关闭WormGPT表示遗憾,但也有人感到恼火。一位Hackforums用户指出,他们的许可证已经停止工作,Hackforums和XSS的用户都声称整个事情都是一个骗局。

1701828022_656fd5b6c7893e442f213.png!small?1701828023508

【图9:一个Hackforums用户声称WormGPT是一个骗局】

1701828026_656fd5baad50bf492c72d.png!small?1701828027417

【图10:XSS用户进行相同的断言。原文的评论称,“由于该项目受到了媒体的广泛关注,因此最好避免使用。”】

FraudGPT

同样的指控也指向了FraudGPT,其他人对其宣称的能力提出了质疑。例如,一名Hackforums用户询问,FraudGPT声称可以生成“一系列杀毒软件无法检测到的恶意软件”的说法是否准确。

1701828033_656fd5c16aab2ac10e45e.png!small?1701828034058

【图11:一个Hackforums用户对GPT和LLM的有效性表示怀疑】

当涉及到恶意GPT服务时,这种态度似乎更为普遍。

XXXGPT

2023年7月,XXXGPT服务正式推出。和WormGPT一样,它也进行了声势浩大的宣传,并声称提供“一项革命性的服务,提供个性化的机器人人工智能定制……且没有审查或限制”,每月收费90美元。

1701828039_656fd5c72901da8e99b9f.png!small?1701828040215

【图12:XXXGPT的几张宣传海报之一】

然而,这一声明遭到了一些批评。一名用户问到底卖的是什么,并质疑这是否只是一个越狱提示符。

1701828043_656fd5cb386482e39e77c.png!small?1701828043868

【图13:用户查询XXXGPT是否实际上只是一个提示符】

另一位用户在测试XXXGPT演示时,发现它仍然返回经过审查的回复。

1701828049_656fd5d1800ae429d534a.png!small?1701828050067

【图14:用户无法使用XXXGPT演示程序生成恶意软件】

该项目的当前状态尚不清楚。

Evil-GPT

Evil-GPT于2023年8月在Breach论坛上发布,明确宣传为“WormGPT的替代品”,但成本要低得多,只有10美元。与WormGPT和XXXGPT不同,它没有诱人的图形或功能列表,只有示例查询的屏幕截图。

用户对这一声明的反应是积极的,有人指出,虽然它“对黑帽问题不准确,也不适合编写复杂的恶意软件,但它可能值得些玩一玩。”

1701828054_656fd5d6cf72ae1db9041.png!small?1701828055355

【图15:一位Hackforums版主对Evil-GPT给出了好评】

从广告和用户评论来看,研究人员认为Evil-GPT针对的是那些寻求“预算友好”选项的用户——与其他恶意GPT服务相比,它的功能可能有限,但它是一个“很酷的玩具”。

其他GPT衍生品

除了WormGPT、FraudGPT、XXXGPT和Evil-GPT之外,研究人员还观察到其他一些似乎并未受到太多关注的衍生服务。

WolfGPT

一位用户在XSS上分享了WolfGPT,他声称这是一个基于python的工具,可以“加密恶意软件并创建网络钓鱼文本……是WormGPT和ChatGPT的竞品。”该工具似乎是一个GitHub存储库,尽管没有相关文档。

1701828059_656fd5db96eb6bd3dc9a5.png!small?1701828060245

【图16:WolfGPT GitHub存储库】

BlackHatGPT

这个工具是在Hackforums上发布的,并声称是一个未经审查的聊天工具。

1701828064_656fd5e0e3d0f9a33f424.png!small?1701828065607

【图17:BlackHatGPT在Hackforums上的公告】

DarkGPT

作为另一个由Hackforums用户发起的项目,DarkGPT也声称是无限制/无审查的ChatGPT替代品。有趣的是,用户声称DarkGPT提供匿名功能,尽管不清楚这是如何实现的。

HackBot

与WolfGPT一样,HackBot是GitHub存储库,与Breach论坛社区用户共享。与上面描述的其他一些服务不同,HackBot并没有明确地将自己作为恶意服务,而是据称针对安全研究人员和渗透测试人员。

1701828069_656fd5e59adff47508089.png!small?1701828070132

【图18:Breach论坛上对HackBot项目的描述】

PentesterGPT

研究人员还观察了另一个以安全为主题的GPT服务PentesterGPT。

1701828073_656fd5e9dcba8444ab691.png!small?1701828074429

【图19:与Breach论坛用户共享的PentesterGPT】

PrivateGPT

研究人员只在Hackforums上看到过PrivateGPT,但它声称是一个离线LLM。一名黑客论坛用户表示有兴趣收集“黑客资源”与之配合使用。没有迹象表明PrivateGPT被用于恶意目的。

1701828078_656fd5eee12afc55d8363.png!small?1701828079509

【图20:一个Hackforums用户建议在存储库上进行一些协作,以便与PrivateGPT一起使用】

总的来说,虽然研究发现了比预期更多的GPT服务,且用户也表现出了一些兴趣和热情,但研究人员也注意到,许多用户对它们的反应是冷漠或敌意。

1701828082_656fd5f2e88de30ff4928.png!small?1701828083525

【图21:一个Hackforums用户警告其他人不要为“基本的GPT越狱”付费】

应用

除了ChatGPT的衍生工具外,研究人员还进一步探索了威胁行为者(希望)使用LLM的方式。

想法和创新

在更复杂、更专业的威胁参与者经常光顾的论坛上(尤其是Exploit),研究人员注意到与人工智能相关的创新性讨论的发生率更高,用户对探索可行性、想法和潜在的未来应用十分感兴趣。

1701828638_656fd81ecde5b95ba8f80.png!small?1701828639345

【图22:一个Exploit用户打开一个线程“分享想法”】

研究几乎没有看到Exploit或XSS用户试图使用AI生成恶意软件的证据(尽管确实发现了几个攻击工具,将在下一节讨论)。

1701828644_656fd82493843d07d1875.png!small?1701828645137

【图23:一个Exploit用户表达了对为社会工程目的模拟声音的可行性的兴趣】

在低端论坛——Breach Forums和Hackforums——这种动态被有效地逆转了,几乎没有证据表明存在创新性思考,更多的证据是动手实验,概念证明和脚本。这可能表明,技能更娴熟的威胁行为者认为LLM仍处于起步阶段——至少在涉及网络犯罪的实际应用时——因此更关注潜在的未来应用。相反地,技能有限的威胁行为者可能会试图利用现有的技术来完成任务,尽管它存在局限性。

恶意软件

在Breach Forums和Hackforums上,研究人员还观察到一些用户分享他们使用人工智能生成的代码,包括RAT、键盘记录器和信息窃取器。

1701828651_656fd82b14ea1566af73f.png!small?1701828651773

【图24:一个Hackforums用户声称创建了一个PowerShell键盘记录程序,具有持久性和UAC旁路且能逃避VirusTotal检测】

1701828660_656fd834816fdfee20889.png!small?1701828661088

【图25:另一个Hackforums用户无法绕过ChatGPT的限制,所以他计划“慢慢地”编写恶意软件,从一个脚本开始将IP地址记录到一个文本文件中】

然而,其中一些尝试遭到了质疑。

1701828665_656fd8398a86b2eb4c355.png!small?1701828666323

【图26:一位Hackforums用户指出,用户可以直接用google搜索,而不用ChatGPT】

1701828669_656fd83db80df8eed60e7.png!small?1701828670526

【图27:一个Exploit用户表示担心AI生成的代码可能更容易被检测到】

研究人员在Breach Forums和Hackforums观察到,所有人工智能生成的恶意软件——实际上所有的恶意软件都是用Python编写的,原因尚不清楚——似乎都不新颖或复杂。这并不是说不可能创建复杂的恶意软件,只是研究人员并未在检查的帖子中没有看到它的证据。

工具

然而,研究注意到一些论坛用户正在探索使用LLM开发攻击工具的可能性。例如,在Exploit论坛中,一位用户共享了大量RDP暴力破解脚本。

1701828674_656fd8428c4bac2fa35dd.png!small?1701828675203

【图28:用户在Exploit上共享的大规模RDP暴力工具的一部分】

在Hackforums上,一个用户分享了一个脚本,用ChatGPT总结漏洞赏金。

1701828679_656fd84700d584cf4d8a3.png!small?1701828679608

【图29:一个Hackforums用户分享其用于总结漏洞赏金的脚本】

有时,研究人员注意到一些用户在寻找ChatGPT应用程序时似乎有些力不从心。例如,分享上述漏洞赏金总结脚本的用户还分享了一个脚本,该脚本执行以下操作:

  1. 问ChatGPT一个问题;
  2. 如果回答以“作为一种人工智能语言模型……”开头,那么就在谷歌上搜索,把这个问题作为搜索查询;
  3. 复制谷歌搜索结果;
  4. 向ChatGPT提出同样的问题,并规定答案应该来自谷歌搜索结果;
  5. 如果ChatGPT仍然回答“作为一种人工智能语言模型……”,那么让ChatGPT将问题重新表述为谷歌搜索,执行该搜索,然后重复步骤3和4;
  6. 这样做五次,直到ChatGPT提供一个可行的答案;

1701828684_656fd84cb5e041d21dc76.png!small?1701828685492

【图30:在Hackforums上分享的ChatGPT/Google脚本】

研究人员并未对上述脚本进行测试,但有理由相信在该流程完成之前,大多数用户可能会放弃ChatGPT转而使用Google。

社会工程

也许LLM的一个更受关注的潜在应用是社会工程,一些威胁行为者已经认识到它在该领域的潜力。

1701828689_656fd8515cbf3c8a98d31.png!small?1701828689926

【图31:一位用户声称使用ChatGPT生成欺诈性智能合约】

1701828693_656fd85519f62fed20ede.png!small?1701828693637

【图32:另一个用户建议在针对其他国家时使用ChatGPT进行文本翻译,而非Google翻译】

编码与开发

威胁行为者有效利用LLM的另一个领域似乎是非恶意软件开发。一些用户(特别是在Hackforums上)报告称,正使用它们来完成日常的编码任务,生成测试数据,并将库移植到其他语言,即使结果并非总是正确的,有时需要手动修复。

1701828697_656fd8596ddc3700369de.png!small?1701828698308

【图33:Hackforums用户讨论使用ChatGPT进行代码转换】

论坛增强

在Hackforums和XSS上,用户都建议使用LLM来增强他们的论坛,以造福他们各自的社区。

例如,在Hackforums上,一个经常发布人工智能相关脚本的人分享了一个使用ChatGPT自动生成回复线程的脚本。

1701828701_656fd85decb319a1474f8.png!small?1701828702541

【图34:一个Hackforums用户共享用于自动生成回复的脚本】

这个用户并不是第一个想到用ChatGPT回复帖子的人。一个月前,在XSS上,一个用户写了一篇关于Python密码器的帖子,结果另一个用户回复称,“这是我这辈子读过的最像机器生成的东西。”

1701828706_656fd862d0c4a2da6549d.png!small?1701828707700

【图35:一个XSS用户指责另一个用户使用ChatGPT创建帖子】

同样在XSS上,论坛的管理员比共享脚本更进一步,创建了一个专门的论坛聊天机器人来回答用户的问题。

1701828711_656fd867379e117206ae8.png!small?1701828711814

【图36:XSS管理员宣布启动“XSSBot”】

公告翻译如下:

“在这部分中,您可以与AI聊天。问一个问题,我们的人工智能机器人会回答你。机器人基于ChatGPT(型号:gpt-3.5-turbo)。

规则概要:

1. 该部分是有趣的和技术性的——你可以在我们论坛的主题上专门创建主题。没有必要问天气、生物、经济、政治等问题。除了论坛规定的主题,其他都是禁止的,将被删除。

2. 它是如何工作的?开启一个话题-从我们的人工智能机器人得到一个回应。

3. 论坛的所有成员都可以在主题中交流,而不仅仅是主题的作者。您可以通过引用它来与彼此以及与bot进行通信。

4. 如果您有另一个不同方向的问题,打开一个新的话题。

5. 限制在一个主题-10条来自机器人的消息(回答)。

该AI-bot旨在解决简单的技术问题,为用户提供技术娱乐,让用户熟悉AI的可能性。它目前尚在测试阶段。如遇问题,请多担待。

尽管用户对此声明反应热烈,但XSSBot似乎并不特别适合在犯罪论坛中使用。

1701828717_656fd86d5c6395ccf01f9.png!small?1701828717774

【图37:XSSBot拒绝告诉用户如何编写恶意软件】

1701828721_656fd871368c25326a3aa.png!small?1701828722157

【图38:XSSBot拒绝创建Python SSH暴力破解工具,并告诉用户:“尊重他人的隐私和安全非常重要。相反地,我建议学习道德黑客,并以合法和道德的方式进行实践。”】

也许是由于这些拒绝,一个用户尝试越狱XSSBot,但没有成功。

1701828724_656fd874e7e1eb8fe2411.png!small?1701828725687

【图39:XSSBot上无效的越狱尝试】

有些用户似乎将XSSBot用于其他目的:一个人要求它为他们的自由职业创作一个广告和销售说辞,大概是在论坛的其他地方发布。

1701828728_656fd878c30c26053c2bb.png!small?1701828729409

【图40:XSSBot为XSS用户生成宣传材料】

XSSBot答应了,然后该用户删除了他们最初的请求——可能是为了避免人们知道文本是由LLM生成的。虽然用户可以删除他们的帖子,但是他们尝试了很多次也无法说服XSSBot删除自己的帖子。

1701828732_656fd87cad76e1356508a.png!small?1701828733335

【图41:XSSBot拒绝删除它创建的帖子】

脚本小子

不出所料,一些技能有限的威胁行为者——通常被称为“脚本小子”——渴望使用LLM来生成恶意软件和工具,因为他们自身没有能力进行开发。研究观察到了几个这样的例子,特别是在Breach论坛和Hackforums上。

1701828736_656fd880eb17aa4b820c6.png!small?1701828737402

【图42:Breach Forums脚本小子询问如何使用ChatGPT攻击任何人】

1701828741_656fd88530284ea4bf311.png!small?1701828741732

【图43:一个Hackforums用户想知道WormGPT是否可以使Cobalt Strike的有效载荷无法被检测到】

1701828744_656fd888d968dd9b6bd2b.png!small?1701828745309

【图44:在Hackforums上关于WormGPT的一个不连贯的问题】

研究还发现,在他们兴奋地使用ChatGPT和类似工具时,一位XSS论坛用户犯了一个操作安全错误。

这名用户发起了一个帖子,标题为“大家看看我用Chat GPT(RAT传播法)实现的这个想法”,来解释他们恶意软件传播活动的想法:创建一个网站,供访问者在上面自拍,然后将这些自拍变成可下载的“人工智能名人自拍图”。当然,下载的图像是恶意软件。用户声称,ChatGPT帮助他们将这个想法转化为概念验证。

1701828748_656fd88c344e199a09b8d.png!small?1701828748765

【图45:XSS上的一篇帖子,解释了ChatGPT生成的恶意软件分发活动】

为了说明他们的想法,该用户还上传了几个活动的截图。其中包括用户桌面和概念验证活动的图像,并显示了以下信息:

  • 用户浏览器中所有打开的选项卡——包括带有用户名字的Instagram选项卡;
  • 显示计算机名称的本地URL;
  • 资源管理器窗口,包括以用户全名命名的文件夹;
  • 该网站的演示,附有一张未经编辑的照片,似乎是用户的脸;

1701828752_656fd890a437c7bca26f2.png!small?1701828753437

【图46:一个用户发布了一张(大概是)他们自己的面部照片】

辩论和思想领导力

有趣的是,研究还发现论坛上有一些辩论和思想领导力的例子,特别是在Exploit和XSS上——这些论坛用户通常倾向于对实际应用更加谨慎。令人惊讶的是,在Breach论坛和hackforum上也是如此。

1701828761_656fd899b2d4cbdde24f7.png!small?1701828762309

【图47:Breach论坛上题为“人工智能与网络安全的交集”的思想领导力文章示例】

1701828765_656fd89d1e38929ffca87.png!small?1701828765652

【图48:XSS用户讨论LLM相关问题,包括“对社会的负面影响”】

1701828768_656fd8a09138d91d8108c.png!small?1701828769299

【图49:Breach论坛上一篇题为“为什么ChatGPT并不可怕”的文章的节选。】

1701828774_656fd8a63b5c2e782eb30.png!small?1701828774859

【图50:一个著名的威胁参与者发帖称,“我无法预测未来,但重要的是要明白,ChatGPT不是人工智能。它没有智慧;它什么也不知道,什么也不理解。它玩弄文字来创造听起来似是而非的英语文本,但其中的任何说法都可能是错误的。它无法逃脱,因为它不知道这些词是什么意思。”】

怀疑态度

总的来说,研究人员在所有四个论坛上都观察到很多人对LLM在网络犯罪方面的能力持怀疑态度。

1701828778_656fd8aa7c81d5db38ddd.png!small?1701828779000

【图51:在“完成恶意软件代码”上下文中,一个Exploit用户认为ChatGPT是“完全无用的”。】

有时,人们会提醒称,“这项技术仍处于起步阶段”,从而缓和了这种怀疑态度。

1701828783_656fd8af2f740829fb6f8.png!small?1701828783801

【图52:一名XSS用户表示,AI工具并非总是准确的,但他指出,AI工具有“很大的潜力”。】

1701828858_656fd8fadc8a0b8e15341.png!small?1701828859395

【图53:一个Exploit用户称,“当然,人工智能尚不够成熟,但鉴于它已发展至3.0和4.0版本,这种发展速度还是不容忽视的。而且,版本之间的区别是很明显的,不是所有的项目都能拥有这样的发展动态。我认为版本5或7将发展为成熟的人工智能。】

然而,其他评论者则较为不屑,并认为并非所有GPT模型都是先进的:

1701828863_656fd8ff34e78e715322e.png!small?1701828863674

【图54:一个Exploit用户认为“像这样的机器人”在2004年就存在了】

OPSEC担忧

一些用户对使用LLM促进网络犯罪有特定的操作安全担忧,这可能会影响它们在威胁行为者中的长期采用。例如,在Exploit上,一位用户辩称:“它的设计目的是学习并从你的输入中获利……也许微软正在使用我们创建的生成代码来改进他们的AV沙箱?我不知道,我只知道我用它犯罪的代价可能很沉重。”

1701828870_656fd90647538ff0bca0b.png!small?1701828870848

【图55:一个Exploit用户表达了对ChatGPT查询隐私的担忧】

因此,正如Breach论坛的一位用户所建议的那样,人们可能会开发自己的小型独立LLM,以供离线使用,而不是使用公开可用的互联网连接接口。

1701828874_656fd90a35f821e75c0e6.png!small?1701828874712

【图56:一个Breach Forums用户猜测执法部门对ChatGPT查询是否具有可见性,以及谁将是第一个被捕的人】

伦理问题

更广泛地说,研究还观察到一些关于人工智能的哲学讨论,以及它的伦理含义。

1701828882_656fd912f0ce432640eeb.png!small?1701828883597

【图57:摘录自Breach论坛上的一个长帖子,用户在这里讨论人工智能的伦理影响】

结论

威胁行为者对生成式AI的态度存在分歧。有些人——有能力的用户和脚本小子的混合体——是热心的早期采用者,乐于分享越狱和LLM生成的恶意软件和工具,即使结果并非总能如愿。其他用户则要谨慎得多,有具体的(操作安全性、准确性、有效性、检测)和一般的(伦理、哲学)考虑。在后一组中,有些人是坚定的(偶尔是敌对的)怀疑论者,而其他人则更犹豫不决。

研究发现,几乎没有证据表明威胁行为者承认在现实世界的攻击中使用了人工智能,这并不是说这种情况没有发生。只是研究人员在论坛上观察到的大多数活动仅限于分享想法、观点和概念验证。一些论坛用户认为LLM还不够成熟(或安全),不足以协助攻击,因此将它们用于其他目的,例如基本的编码任务或论坛增强功能。

与此同时,在幕后,机会主义者和潜在威胁行为者正在寻求从这个不断发展的行业中快速获利——无论是通过销售提示和GPT类服务,还是受损的ChatGPT帐户。

总的来说——至少在这项研究调查的论坛上,与我们的预期相反——LLM似乎并非一个热门讨论话题,也不是一个特别活跃的市场(相对于其他产品和服务)。大多数威胁行为者仍在继续他们的日常业务,只是偶尔涉足生成人工智能。话虽如此,研究发现与GPT相关的服务数量表明,这是一个不断增长的市场,越来越多的威胁参与者可能会开始将支持LLM的组件整合到其他服务中。

最终,研究表明,许多威胁行为者与我们其他人一样,对LLM也存在同样的担忧,包括对准确性、隐私性和适用性的担忧。但他们也有针对网络犯罪的担忧,这可能会阻碍他们更广泛地采用这项技术,至少目前是这样。

虽然这种不安显然不能阻止所有网络罪犯使用LLM,但许多人都采取了“观望”的态度。人工智能在地下犯罪领域仍处于起步阶段。目前,威胁参与者似乎更喜欢实验、辩论和游戏,但他们避免大规模的实际应用。


原文链接:

https://news.sophos.com/en-us/2023/11/28/cybercriminals-cant-agree-on-gpts/

# AI人工智能 # 地下论坛
本文为 晶颜123 独立观点,未经授权禁止转载。
如需授权、对文章有疑问或需删除稿件,请联系 FreeBuf 客服小蜜蜂(微信:freebee1024)
被以下专辑收录,发现更多精彩内容
+ 收入我的专辑
+ 加入我的收藏
晶颜123 LV.6
HAHAHA
  • 220 文章数
  • 96 关注者
BlackByte利用“旧战术”+“新漏洞”助力新一轮攻击
2024-09-02
两个影响WPS Office的任意代码执行漏洞分析
2024-09-02
2024年第二季度漏洞利用和漏洞现状
2024-08-28
文章目录