2019 年已经过去,在过去的一年,经济下行对各个行业带来地冲击有目共睹,以数字货币带动的整个区块链行业昙花一现之后几乎销声匿迹;资本从狂热到保守,前几年频繁曝光的投融资消息,2019 寥寥无几;曾经大肆铺张烧钱的运营拉新活动也屈指可数。
寒冬已至,即使如履薄冰也需要稳步前行,不论是大的经济趋势还是国内政策导向,都需要我们更加注重设计合理的业务流程、严格把控内容安全的红线、减少不必要的运营支出。
我们回顾 2019 全年的业务安全问题,从多个角度剖析了业务安全所面临的挑战,并给出了建议的处理方式。
这篇报告主要聚焦于 OSI 第七层的业务层,极验交互安全实验室通过 2019 年全年对国内近数十万个域名、数千亿次的网络请求分析,尽可能地还原 2019 年国内整个互联网的业务安全状况。
前言
世界经济论坛发布的《2019 年全球风险报告》从影响力和发生概率的视角呈现了 2019 全球风险格局,其中网络攻击、数据欺诈或窃取都位于前列。互联网发展到今天,每一次地技术革命都给人类带来极大的便捷。社会资产、交易行为和人们的时间不断地从线下转移到线上,随之而来的灰黑产业链也越来越专业化、产业化,利用业务漏洞或者网络攻击从中渔利,业务安全已经成为当前全球化的问题。
数据来源《2019年全球风险报告》
机器流量的定义
Good Bot :通过脚本自动执行简单且重复的任务,提升工作效率。
搜索引擎爬虫
自动交易程序
网站监控软件
自动订阅机器人
自动聊天机器人
Bad Bot:为您的网站带来虚假流量,其恶意可能涉及:爬取有价值的数据(文章内容、商品价格、评论信息等)、发布垃圾评论和网络钓鱼链接,影响网络分析和搜索引擎优化,甚至导致DDoS攻击。
整体趋势
随着业务安全逐渐被企业重视,与2018年相比,2019年恶意机器流量占比降低了2.1个百分点。这也是自2016年以来,恶意机器流量占比出现首次下降。
Bad Bot 行业分布
解读:以票务和政府公共服务为例
票务领域的恶意流量流向包括飞机票、演唱会门票、电影票、火车票等多个行业,但是近3/4 都在火车票领域,而在火车票中几乎所有的流量都指向了某著名火车票售卖网站或者 App,节假日出行高峰期,火车票一票难求问题依然严峻,不平等的供求关系滋生出得巨大利益空间使恶意机器流量不断增加。在恶意机器流量占比不断攀升的背景下,机器与人本身效率的不平等性被进一步拉大,直接导致目前抢票软件肆虐,普通用户需要支付更高额的成本来获取车票。
近年来越来越多的公司,利用国家公共平台的信息作为其商业化产品的重要数据来源(大数据征信产品,企业信息查询,车辆信息查询产品等),辅助以良好地交互体验、产品包装,实现其商业化的目的。这样大规模的数据来源需要大量的机器爬虫来提升入库的效率,而像失信人员名单查询系统、中国裁判文书网、失信被执行人查询、中国及多国专利审查信息查询、商标查询、车辆违章信息查询系统、国家企业信用信息公示系统、全国组织机构代码管理中心等网站则成为机器流量重灾区。
Bad Bot 场景分布
解读:
查询场景占 29.4% 的恶意机器流量正面说明了目前整个互联网爬虫肆虐的现状,包括国家公共政务平台、医院挂号系统、火车票务网站、演唱会票务网站、机票/酒店价格查询等众多行业都饱受恶意爬虫地危害,给企业带来巨大不必要的带宽成本。
登录、注册场景都是重中之重的账户安全环节,也是所有黑产攻击的入口。随着近几年整个行业对于账户安全地认知不断提高,大多数企业都在入口做了一定程度安全措施,近两年占比相对稳中有降。
下单场景则主要集中于电商行业,随着电商行业的 GMV 不断刷新,以抢购、刷单为目的的黑色产业链也逐渐走向成熟,在每年“双十一”、“618”、“年货节”等大促时间段内,下单场景的恶意流量都会出现激增。
IP 分布 - 区域分布
解读:
机器流量当前主要分布在东亚、北美、欧洲等区域。其中,我国以 62.98% 的占比,位居全球之首。而韩国、中国台湾则超越美国,位列前三。
IP 分布 - 省份分布
解读:
机器流量当前在国内地分布,并未出现在传统的北上广深等互联网发展较快的区域。吉林、江西、福建、山东等地区甚至超越上海,进入前十。而吉林省,更是超越北京,占据全国机器流量分布榜单次席。
团伙
何为团伙
黑产团伙,作为恶意机器流量背后的势力,是全球业务安全事件背后的始作俑者。在业务安全的范畴内,黑产团伙特指通过复用相同的资源(IP 池、UA 池、手机卡、身份信息等)或使用相似地攻击手法在时间维度呈现一定的聚集性对业务方有目的地攻击行为发起方。
国内团伙现状
团伙风险分布
极验交互安全实验室对国内黑产主要工具进行长期持续地监控,对主流黑产工具更新迭代持续跟踪,在电商业务高发的双十一、双十二等时间段,十天的时间内就监测到 7 个版本的更新,一个月更新了 25 个版本,除了修复简单 bug 之外,更多的是攻击策略地不断变化更新,从侧面体现的就是黑产与业务方安全团队对抗的不断升级。
极验交互安全实验室通过对 2019 年全年Top20 黑产工具跟踪分析,并与涵盖了电商、航空、区块链等多个行业的数十家一线互联网公司风控部门交流,2019 安全行业单个业务规则平均有效寿命为 92 小时,1 月、10 月、11 月、12 月几个业务高发期寿命低于 75 小时。
2019年典型业务安全场景
业务安全必须立足于业务,而场景则是业务最直接的体现。极验交互安全实验室汇总了2019年全年数十家企业的业务问题,并针对部分典型场景展开分析。
裂变师徒
裂变师徒类业务模式也被业内称作“趣头条”模式。
通过微信、QQ、短信、面对面扫码、邀请码等媒介直接分享邀请 H5 页面或者带链接的文本,达到老用户拉新用户的拉新目的,每邀请一位新用户,老用户获得一定金额的现金奖励。
目前常见的业务模式里面“一度师徒关系”的模式最多,也就是邀请奖励只存在于一级师徒之间。此模式的作案变现手法为:黑产通过一个或者多个“师傅账号”的邀请链接注册大量“徒弟账号”,利用业务规则从“师傅端”获取大量现金奖励,从而变现。
解决方案:
在整个环节里面最容易被识别的就是徒弟端风险账户,在准确识别“徒弟账户”后可以通过邀请码找到提现的出口“师傅账户”和其他也使用此邀请码的其他“徒弟账户”。同时根据已知风险账户复用资源和作案手法的聚类找到其他团伙,整个解决方案中邀请码是核心串联点。
简历爬虫
ATS 简历爬虫问题,ATS 全称叫 Applicant Tracking System,就是求职者跟踪系统,帮助各个公司 HR 统一管理各个招聘平台的账户,提供整个候选人流程和简历智能处理筛选等其他服务,其中有一点就是需要用户在 ATS 平台上统一授权登录各大招聘网站的账户,存在 ATS 爬取留存用户简历问题。
房东房客刷量问题
平台内部内容刷量问题
总结
2019 年是一个令安全圈欣慰的一年,我们看到越来越多的企业开始重视业务安全地建设与完善。更让人振奋的是,大家逐渐意识到业务安全地建设,不再只是安全部门的工作,而是需要从安全、产品与运营三个方向共同协同发力。
随着 5G、人工智能等技术的快速发展,企业面临的安全形势愈加严峻。黑产团伙已经开始通过给模型输入恶意样本数据,训练出强大的“机器人”。黑产团伙不再是混迹于暗网黑市地小打小闹,拥有雄厚财力,创新技术加持的黑产团伙,其市场规模、技术创新以及破坏性,已到达互联网有史以来的巅峰。
未来的业务安全,一定是交互场景与安全的紧密结合。随着人工智能技术在安全领域地应用与创新,人类与恶意机器流量地博弈将更加得复杂与多变。未来企业网络安全攻防,也将更具挑战。
添加小助手@Eva 微信(geetest1024),获取《极验2019交互安全行业研究报告》
*本文作者:GEETEST极验,转载请注明来自FreeBuf.COM