1.威胁发展趋势

国际著名IT市场研究机构Gartner公司曾在安全趋势报告中指出：你所知道的关于安全的一切都在变化。

（1）常规路线逐渐失控

可信能力取代被误导的概念“所有权=信任”

（2）所有实体都必须考虑潜在的敌对方

所有数据包、URL、设备、应用、用户都是可疑的

（3）大量的资源组合使用

环境成为作实时安全决策的关键

（4）传统安全控制越来越无效

反病毒、边界防火墙越来越无效

（5）需要改变通过堆叠保护信息的方式

超越网络和设备的最终边界

正如Gartner报告所说，安全的一切都在变化，威胁环境也已随之而变。黑客攻击正从个人行为向组织化、国家化方向发展，他们目的性强，动机明显，往往具有明确的商业、经济利益或政治诉求，攻击手段从传统的随机病毒、木马感染、工具投递等方式演进为社会工程、零日漏洞以及高级逃逸技术（AET）等组合方式，经常发起有针对性的APT攻击，具有高级化、组合化、长期化等特点，我们称之为新一代威胁。

新一代威胁最明显的一个特点就是能够绕过传统的安全检测和防御体系。网络犯罪分子往往持有最新的零日漏洞、商业级的工具包以及社会工程技术，能够发起针对性的高隐蔽攻击。这些攻击行动缓慢，且分布多个渠道、跨越几个阶段，分步、持续性完成，能够躲避传统的防御手段，利用已有漏洞的系统和敏感数据。因此在新一代威胁面前，传统基于特征/签名检测的统一威胁管理（UTM）、下一代防火墙、入侵检测/防御系统（IDS/IPS）、防病毒（AV）等安全产品并不能使组织得到充分保护。

当前全球IT的安全支出显示，几乎所有的费用都花在过时的、基于特征/签名的技术。基于特征/签名的技术只能检测已知威胁，而不是未知的目前正在使用的新一代威胁。针对威胁变种，传统的防御如防火墙、IPS、防病毒、反垃圾邮件和安全网关已经塌陷，给网络罪犯留下一个敞开的漏洞，这就是为什么尽管已经部署了多层传统防御措施，但还是有超过95%的公司网络中存在高级恶意软件。

现今的攻击利用高级手段，如掺混多态性和个性化，对于基于签名的工具表现出是未知的，但却真的足以绕过垃圾邮件过滤器，甚至骗过有针对性的受害者。例如，网络钓鱼攻击利用社交网站制作精巧地个性化的电子邮件，发送不断变化的恶意网址绕过URL过滤器。

传统安全产品正日益成为策略的执行者，而不是网络的保卫者。例如，URL过滤产品对于执行员工网络浏览的策略是有效的，但对于防范不断变化的网页木马攻击则稍显不足。同样，下一代防火墙（NGFW）只是增加了用户、应用等下一代策略选项，并加强了传统基于签名的保护。虽然NGFW可以加强传统IPS和AV保护，但这些基于签名的技术，在保卫网络方面并没有新的提高或创新，集成这些传统的防御措施并不能阻止新一代威胁。

2.新一代威胁检测技术

基于特征检测和行为检测的传统威胁检测手段已经越来越难以应对新型的安全攻击手法，难以识别安全攻击事件，且近年来随着人工智能技术的发展，攻击方在扫描、利用、破坏等攻击工具中对人工智能技术的应用，进一步加剧了对目标系统的破坏、缩短了攻击进程、隐藏了攻击特征，对新技术背景下的安全威胁检测手段提出了更大挑战。

自1956年达特茅斯会议AI的概念诞生至今，人工智能技术经历了起步探索、专家系统推广和深度学习三个阶段的长足发展。2006年深度学习神经网络的提出以及2013年深度学习算法在语音和视觉识别上的重大突破，成为支撑深度学习商业推广的重要基石，人工智能步入新高潮。根据CB Insights的AI Deals Tracker所得到的统计结果，从2013年Q1到2018年Q1，各行业在AI相关领域的股权交易达到了4090宗，共约342亿美元。其中在所有应用了AI技术的领域中，网络安全行业活跃度排名第四。

基于机器学习和深度学习的网络威胁检测技术能够识别变种威胁和未知威胁，弥补了传统特征检测和行为检测仅能发现已知攻击的不足，但随着攻击方对人工智能技术的采用，人工智能之间的对抗正式拉开帷幕，意图躲避新型威胁检测技术的攻防对抗，对新一代威胁检测技术提出了更高要求。

集成学习和强化学习是现阶段实现安全威胁精准检测和对抗威胁检测躲避的有效技术手段。集成学习通过整合多个学习器，对安全攻击行为进行综合检测，通过多学习器之间的交叉验证、仲裁、投票等机制对意图欺骗威胁检测引擎的行为进行综合评判，提升检测结果准确率；强化学习通过持续的正向结果反馈活动，强化AI模型的检测模式，抵御来自攻击方的数据诱导，提高威胁检测模型的鲁棒性，保证新一代威胁检测技术的健壮性。

3.建设方案

高级持续性威胁（APT）是指隐匿而持久的网络入侵过程，其通常是出于商业或政治动机，由某些人员精心策划，针对特定组织或国家，长时间内保持高隐蔽性，最后实施攻击。APT通过零日威胁、特种木马变种、病毒变种等手段可以轻易绕过大部分传统安全设备， 基于特征检测的传统安全产品对APT的未知威胁攻击形同虚设。

威胁捕猎与溯源分析系统将人工智能、大数据技术与安全技术相结合，实时分析网络流量，监控可疑威胁行为，内置多种检测技术，可对APT攻击链进行交叉检测和交叉验证。除了具备常规的入侵检测功能外，还可以从网络流量中还原出文件（HTTP、SMTP、POP3、IMAP、FTP、SMB等协议）并通过多病毒检测引擎有效识别出病毒、木马等已知威胁；通过基因图谱检测技术检测恶意代码变种； 还可以通过沙箱（Sandbox）行为检测技术发现未知威胁；对抽取的网络流量元数据，进行情报检测、异常检测、流量基因检测；最后将所有安全威胁进行关联分析，输出检测结果，对检测及防御APT攻击起到关键作用。

系统架构如下图所示：

系统业务处理流程如图所示

系统采集到的网络流量分别经由入侵检测引擎与行为检测引擎检测分析，入侵检测引擎能在内容、环境、应用层感知入侵。行为检测引擎对流量进行文件还原及元数据提取，还原出的文件通过内置的防病毒引擎对已知威胁进行静态检测；再通过基因检测技术对已知威胁的变种进行检测，并结合智能检测技术防止逃逸和躲避（AET），最后通过对恶意代码在沙箱中的主机行为和网络行为进行深入分析，对未知威胁进行检测。提取出的元数据则通过情报检测，检测恶意IP/域名等；之后进行异常网络行为检测，如异常的内部和外部互联、C&C通讯等，之后进行人工智能引擎检测，可对恶意加密流量、暗网流量、隐蔽隧道等进行检测。

4.技术路线

（1）人工智能、大数据与安全技术的结合

采用人工智能的机器学习/深度学习技术，基于大数据平台，用海量安全数据进行训练，从而具备检测未知威胁的能力，并有效减少安全运维人员的人工识别工作量。

（2）高效的网络异常行为检测技术

可识别丰富的网络应用层协议，通过协议分析、网络异常行为模式匹配等检测技术快速鉴别出C&C通讯、DGA恶意域名、DDoS攻击、SSH/FTP暴力破解、SQL注入、DNS/ARP污染、漏洞扫描和漏洞攻击等网络恶意行为。

（3）独特的基因图谱检测技术

通过结合机器学习、深度学习、图像分析技术，将恶意代码映射为灰度图像，建立卷积神经元网络CNN深度学习模型，利用恶意代码家族灰度图像集合训练卷积神经元网络，并建立检测模型，利用检测模型对恶意代码及其变种进行家族检测。基于灰度图像映射的方法可以有效的避免反追踪、反逆向逻辑以及其他常用的代码混淆策略。并且该方法能够有效地检测使用特定封装工具打包（加壳）的恶意代码。

（4）全面的已知、未知威胁检测

通过内置的下一代入侵检测引擎，Multi-AV防病毒引擎和威胁情报检测技术对已知威胁进行静态检测；通过基因检测技术对恶意代码的变种进行检测，通过对恶意代码在沙箱中的主机行为和网络行为进行深入分析，对未知威胁进行检测。