云原生网站威胁扫描系统

随着企业上云的业务需求，扫描业务需求和使用场景也发生了变化，网站威胁扫描产品逐步受到云上租户的青睐，特别是云原生的网站威胁扫描系统。网站威胁扫描系统可以广泛用于以下业务场景：

• 云上业务系统上线或者重要活动保障，需要对业务系统简装修做一次安全体检。
• 0day漏洞爆发的时候，全面掌握云上业务资产的漏洞情况，有针对性及时修复漏洞。
• 合规检查过等保的时候，需要提供业务系统漏洞扫描结果。
• 每年对云上业务系统做渗透测试的时候，需要通过自动化扫描器降低人力的投入。

---

在设计和开发公有云威胁扫描系统之前，我们对公有云和传统厂商的扫描器进行了竞品分析，我们发现传统扫描器有以下缺点：

1. 扫描速度很慢

• 传统的以硬件盒子交付的扫描产品，不支持分布式扫描部署。同时，由于业务线承压访问能力，必须要对QPS限速，限制了整体扫描速度。无法通过增加机器资源，提升整体扫描速度。
• 扫描模块包含Web漏洞扫描、主机漏洞扫描、配置核查扫描等太多的扫描模块，导致扫描速度受限。特别是对海量的企业资产，扫描速度完全无法满足用户要求。
• 智能动态爬虫以及POC扫描插件优化力度不足。

2. SaaS化服务能力不足

• 传统厂商0day漏洞更新速度很慢，降低了企业用户的漏洞发现和修复时间。

---

针对以上缺陷，京东云与AI网络威胁扫描产品功能定位：

• 支持分布式扫描架构。
• 扫描模块只包含Web漏扫扫描、端口漏洞扫描。
• 智能爬虫&精选POC扫描插件。
• SaaS化更新0day扫描插件。

01 产品架构

产品技术架构图如下：


1. 网站威胁扫描产品采用分布式、松耦合的设计理念，主要分为API、调度、Worker 3大模块，数据存储采用Redis与MySQL。各个组件的功能如下：

• API负责对完服务，所有设置、获取类别的请求都通过API接口进行。
• 调度属于扫描的“核心”，负责worker信息的收集、监控，任务的获取、分发等工作。
• Worker主要是“干活”的，执行调度派下来的任务，并将通过API存入数据库。
• Redis主要存储运行中的一些临时信息，比如任务进行中时，需要频繁的读写任务的状态和结果都存在Redis中。任务结束后，会将Redis中的数据内容同步到MySQL中。
• MySQL存储所以的任务以及结果信息。
• POC插件以及worker组件支持热更新升级， 升级文件存放在文件中心中。

2.网站威胁扫描产品的Worker部分采用分步骤执行：

• 每个步骤可以单独使用并进行扫描，步骤之间松耦合。
• 但也支持部分Worker组件依赖前面的Worker组件的结果。例如端口漏洞扫描可以依赖端口扫描与端口指纹的结果，这样会提升扫描的准确性与扫描速度。

3.产品采用分布式架构，满足一致性、可用性和分区容错性的特点，可以提供高质量、高稳定的扫描服务：

• 任务分派与执行任务分模块工作，并且会有任务状态监控机制，保证出错的任务会被重新派发。
• 会有Worker工作资源的监控机制，如果Worker主机状态不可用，调度会将该主机提出可用列表，并不会再向其派发任务。
• 采用多区域，双、多活部署，防止某区域的主机出问题时，依然可以正常提供服务。
• 如果当前没有运行任务，或者运行任务较少时，Worker会进入睡眠状态。减少资源无意义的使用率。当有新的任务派发下来后，会酌情唤醒Worker去工作。
• 下面是产品工作时序图，阐述了worker工作的简化流程：

02 技术优势与产品功能亮点

产品功能

集资产自动关联发现、Web漏洞扫描、端口漏洞扫描、弱密码检测四大核心功能，发现网站或服务器在网络中的安全风险，为云上业务提供多维度的安全检测服务，满足合规要求，让网站安全漏洞无所遁形。

产品优势

深度漏洞扫描：支持：OWASP Top10 漏洞检测类型，PoC插件检测，资产指纹扫描关联能力。

全面报告：提供详尽的漏洞扫描报告，包括：系统存在的Web安全漏洞、应用系统安全漏洞，系统存在的弱口令等及修复建议，引导并帮助用户修补漏洞。

高效精准：采用web2.0智能爬虫技术，内部验证机制不断优化，提高检测准确。

分布式扫描架构：基于云原生分布式扫描框架，可以充分利用云平台的技术优势，对系统中的各个模块要尽量解耦，降低他们之间的依赖程度，使得整个系统具有较高的稳定性和扩展性。

入门指南：

• https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Threat-Overview.md
• https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Asset-Management.md
• https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Task-Management.md
• https://github.com/jdcloudcom/cn/blob/edit/documentation/Cloud-Security/Website-Threat-Inspector/Operation-Guide/Risk-Management.md

点击【阅读】，了解更多京东云网站威胁扫描相关信息

欢迎点击“京东云”了解更多精彩内容