实时数据压测一

1.背景：最近项目要做实时数据，用到的技术有：flink（jqd消息）,redis,ck集群；京东常压测接口：http,jsf,jmq,jdq

2.项目压测准备事项：压测目标，压测范围，压测场景及方式，压测时间安排，压测数据准备（线上数据：评估容量 会更可靠；压测环境数据：可做性能对比；），压测环境准备，监控（ump监控，mdc监控，数据库监控，日志平台），压测结果

jdq和jmq资料：(https://zhuanlan.zhihu.com/p/37757121;)

3.京东实时数据平台一共包括三大部分：实时数据接入（MAGPIE），实时数据传输（JDQ 实时数据总线） 和实时数据计算（JRC）。

 

 

 

• 实时数据接入

实时数据的源头是各个线上业务系统的各种类型数据源，在京东内 部主要包括三个部门：

①线上业务系统数据库：MySQL、SQL Server、Oracle

目前京东内部线上系统基本都已经切换MySQL。实时数据接入系统Magpie 完全支持上述三个关系型数据库的数据实时接入，原理为数据库的主从复制模式，通过伪装从库的方式，把关系型数据库的Binlog 日志实时抓取并解析发送到JDQ 内。对于MySQL 数据库，实时接入程序按照服务粒度抓取MySQL 单服务上的所有Binlog，在程序内部进行Binlog 的实时解析并过滤出所需要的库表， 再发送到表粒度的Topic 上，方便下游用户进行业务表粒度的实时处理。

②线上业务日志系统：统一流量（用户浏览点击日志），统一日志（各业务系统服务日志）

业务日志由线上系统先发送到JDQ 的写集群，再由Magpie 任务实时同步到JDQ 的读集群。通过这种方式做到了日志数据的读写分离，极大地提高了系统稳定性和服务能力。

③线上消息系统：JMQ

JMQ 是京东内部线上系统的消息中间件服务，很多业务数据在落数据库之前都会经过JMQ 系统在不同业务系统之间进行传递。Magpie 同样可以把JMQ 内的线上系统消息实时地同步到JDQ 内，再面向数据处理用户进行消费，极大地提高了数据处理系统的服务能力。

京东内部的所有系统的实时数据都会经过Magpie 系统进行接入和转发到JDQ 系统， 统一由JDQ 对数据处理的业务需求提供消息服务。该方案帮助业务用户在技术层面屏蔽了接入的复杂度问题，并把服务稳定性和能力提高到了大数据实时处理的要求。