1. 应用背景

网络空间安全形势日趋复杂，网络武器、网络间谍、网络水军、网络犯罪、网络政治动员等新威胁相继产生，网络空间所面临安全问题的范围由传统领域拓展至政治、经济、文化、社会、国防等诸多领域，并呈现综合性和全球性的新特点。2013年，棱镜门事件披露了美国长期以来通过网络通信，大规模收集用户信息和各类情报，此事件也暴露出传统的单点防御是不够的，安全防御转向基于大数据技术，以持续检测、响应为核心的主动安全模式。

自2016年开始，我国相继出台了《网络安全法》、《网络安全等级保护条例2.0》、《关键信息基础设施安全保护条例》、《贯彻落实网络安全等级保护制度和关键信息基础设施安全保护制度的指导意见》、公网安【2020】1960号文等法律法规，明确了关键基础设施网络安全的发展方向、执行、监管、验收等一系列措施范围。网络安全行业受政策影响，正在快速发展，市场范围和规模均进一步扩展。

当前以元数据为核心的大数据安全可以实现实时的持续检测及响应，主动事件分析，大数据安全解决方案已经很好的解决了网络上的资产管理、用户及权限管理、威胁识别、事件响应等。但仅仅有元数据是不够的，元数据可能会被篡改，可能会遗漏，往往导致事件调查上下文的缺失。因此全流量安全解决方案应运而生，基于网络流量数据的存储和检索，提供相关网络安全事件的事后审计能力，能完整真实的还原网络安全事件的原始场景，满足合规性和网络安全事件分析的需求。

针对网络流量具有随机、分散、海量的特点，全流量安全解决方案需要高速、灵活、全面的存储和检索技术支持，全流量分析取证系统基于全流量数据海量存储、快速检索、灵活分析、精准溯源一体化解决方案。

针对以上挑战，我公司自主研发了全流量威胁检测设备，利用机器学习和深度学习的网络威胁检测技术别变种威胁和未知威胁，弥补传统特征检测和行为检测仅能发现已知攻击的不足；利用集成学习技术整合多个学习器，对安全攻击行为进行综合检测，通过多学习器之间的交叉验证、仲裁、投票等机制对意图欺骗威胁检测引擎的行为进行综合评判，提升检测结果准确率；利用强化学习接受持续的正向结果反馈活动，强化AI模型的检测模式，抵御来自攻击方的数据诱导，提高威胁检测模型的鲁棒性，保证威胁检测技术的健壮性。

2.全流量威胁检测系统

2.1系统概述

GJsec-ATD8000全流量威胁检测设备将人工智能、大数据技术与安全技术相结合，实时分析网络流量，监控可疑威胁行为，内置多种检测技术，可对APT攻击链进行交叉检测和交叉验证。

GJsec-ATD8000全流量威胁检测设备除了具备常规的入侵检测功能外，还可以从网络流量中还原出文件（HTTP、SMTP、POP3、IMAP、FTP、SMB等协议）并通过多病毒检测引擎有效识别出病毒、木马等已知威胁；通过基因图谱检测技术检测恶意代码变种； 还可以通过沙箱（Sandbox）行为检测技术发现未知威胁；对抽取的网络流量元数据，进行情报检测、异常检测、流量基因检测；最后将所有安全威胁进行关联分析，输出检测结果，对检测及防御APT攻击起到关键作用。全流量威胁检测设备多种检测引擎如图所示。

2.2系统架构

GJsec-ATD8000全流量威胁检测设备系统架构如图所示，设备监听口接收镜像/分光流量，通过DPDK（DataPlane Development Kit，数据平面开发套件）对数据包进行快速处理以及硬件资源调度。通过筛选器过滤不必要的数据，将过滤后的数据进行二次处理，分别进行特征检测、元数据/文件提取、流量存储处理等。通过特征检测引擎检测基于特征的已知攻击，通过元数据/文件提取实现检测数据预处理，通过流量存储实现数据留存取证。之后通过中间件将元数据和事件进行泛化处理，将处理后的数据提交至AI检测引擎、异常行为检测引擎、文件检测引擎、威胁情报检测引擎、（Yara/JA3/SSL）检测引擎、关联引擎进行集中检测，最后将检测结果以日志/告警形式输出。

2.3优势功能

Ø   人工智能、大数据与安全技术的结合

全流量威胁检测设备采用了人工智能的机器学习/深度学习技术，基于大数据平台，用海量安全数据进行训练，从而具备检测未知威胁的能力，并有效减少安全运维人员的人工识别工作量。

Ø   高效的网络异常行为检测技术

全流量威胁检测设备可识别丰富的网络应用层协议，通过协议分析、网络异常行为模式匹配等检测技术快速鉴别出C&C通讯、DGA恶意域名、DDoS攻击、SSH/FTP暴力破解、SQL注入、DNS/ARP污染、漏洞扫描和漏洞攻击等网络恶意行为。

Ø   独特的基因图谱检测技术

通过结合机器学习、深度学习、图像分析技术，将恶意代码映射为灰度图像，建立卷积神经元网络CNN深度学习模型，利用恶意代码家族灰度图像集合训练卷积神经元网络，并建立检测模型，利用检测模型对恶意代码及其变种进行家族检测。基于灰度图像映射的方法可以有效的避免反追踪、反逆向逻辑以及其他常用的代码混淆策略。并且该方法能够有效地检测使用特定封装工具打包（加壳）的恶意代码。

Ø   全面的已知、未知威胁检测

通过内置的下一代入侵检测引擎，Multi-AV防病毒引擎和威胁情报检测技术对已知威胁进行静态检测；通过基因检测技术对恶意代码的变种进行检测，通过对恶意代码在沙箱中的主机行为和网络行为进行深入分析，对未知威胁进行检测。

Ø   便捷的溯源取证能力

全流量威胁检测设备支持解析并存储HTTP、DNS、FTP、SMTP、POP3、IMAP、SMB等几十种协议的元数据，具有完整的追溯取证能力。通过可视化操作，可快速定位攻击者，并定位出攻击者的IP、MAC、攻击方式、攻击协议，以及攻击目标等详细信息。

Ø   强大的处理性能

全流量威胁检测设备单台流量处理能力最高可达10Gbps,文件处理能力最高可达15万文件/天，并可按需扩展处理能力。

Ø   旁路部署，不对系统运行造成影响

全流量威胁检测设备采用镜像或分光的方式旁路部署在需要被监测的网络位置，不会对系统和网络运行造成影响。

3.重点单位应用示例

3.1简介

公共通信和信息服务、能源、交通、水利、金融、公共服务、电子政务等重要行业和领域，其信息系统一旦遭到破坏、丧失功能或者数据泄露，会严重危害国家安全、国计民生、公共利益。我国将这些行业领域的信息系统归入关键信息基础设施范畴，在等保基础上，实行重点保护。目前“关保”的基本要求、测评指南、高风险判例等均已基本完成，相关试点工作已启动，预计由公安部牵头负责在2021年正式实施。

而这些重点单位，由于工作需要，又有必要接入国际互联网。互联网不同于内/专网，网络接入使用情况很难明确或可控，存在APT攻击隐患风险。在这些单位互联网入口部署全流量威胁检测设备，有助于消除存在的网络安全隐患，抵御黑客组织的网络渗透攻击行为，切实提升关键信息基础设施和大数据防护能力和水平。

3.2部署方案

在重点单位机房互联网出口处部署全流量威胁检测设备，具体如图所示。全流量威胁检测设备采用旁路部署方式，根据重点单位用户具体情况可通过交换机数据镜像或网络链路分光等方式获得用户网络全流量数据，其中交换镜像方式与用户网络核心交换机的镜像口连接，交换机数据流量通过镜像口复制后发给全流量威胁检测设备，全流量威胁检测设备本身不对用户网络产生影响。

GJsec-ATD8000全流量威胁检测设备作为重点单位用户的安全探针，对用户数据流进行全方位分析检测外，还能根据需要将检测后元数据事件与PACA原始威胁数据数据包按要求汇聚到公安监管部门的安全保卫平台上，并接受安全平台的下发的威胁情报和检测规则，从而形成一个全方位综合网络防护体系。

如果用户具有多个互联网出口，可部署Tap交换机将多个出口镜像（分光）流量汇聚后再送往全流量威胁检测设备。单台全流量威胁检测设备能灵活应用于1—10Gbps网络流量环境。如果用户互联网出口处流量超过10Gbps，可部署多台全流量威胁检测设备，由Tap交换机将互联网出口处镜像（分光）分流到各全流量威胁检测设备再进行处理。

GJsec-ATD8000全流量威胁检测设备标准配置一个管理口，N个监听口（N由实际配置决定），其中管理口与交换机或电脑相连，用于设备控制、系统访问等；监听口与交换机镜像口相连，设备通过监听口接收交换机镜像流量，实现流量采集功能。