摘要:
实时计算平台简介 流式计算JRC1.0 实时计算平台JRC是大数据平台基于Flink、SparkStreaming、Storm流式计算引擎构建的高吞吐、高性能、低延迟的实时数据处理平台,平台产品化程度高,开发人员学习成本低 实时数据管道JDQ 实时数据管道 JDQ是大数据平台基于Kafka打造的高吞 阅读全文
摘要:
flink实时数据处理: ReadFromJDQ3 1)消费JDQ的必要信息,通过参数传入,有6个参数 2)获取flink JDQ3的鉴权客户端 3)根据鉴权客户端获取消费属性的配置 4)构建应用环境ENV和checkpoint机制 5)构建JDQ3(基于kafka)对应的消费客户端,flink用来 阅读全文
摘要:
1.背景:最近项目要做实时数据,用到的技术有:flink(jqd消息),redis,ck集群;京东常压测接口:http,jsf,jmq,jdq 2.项目压测准备事项:压测目标,压测范围,压测场景及方式,压测时间安排,压测数据准备(线上数据:评估容量 会更可靠;压测环境数据:可做性能对比;),压测环境 阅读全文