摘要: 实时计算平台简介 流式计算JRC1.0 实时计算平台JRC是大数据平台基于Flink、SparkStreaming、Storm流式计算引擎构建的高吞吐、高性能、低延迟的实时数据处理平台,平台产品化程度高,开发人员学习成本低 实时数据管道JDQ 实时数据管道 JDQ是大数据平台基于Kafka打造的高吞 阅读全文
posted @ 2021-12-17 16:18 pei-金秋十月 阅读(108) 评论(0) 推荐(0) 编辑
摘要: flink实时数据处理: ReadFromJDQ3 1)消费JDQ的必要信息,通过参数传入,有6个参数 2)获取flink JDQ3的鉴权客户端 3)根据鉴权客户端获取消费属性的配置 4)构建应用环境ENV和checkpoint机制 5)构建JDQ3(基于kafka)对应的消费客户端,flink用来 阅读全文
posted @ 2021-12-17 14:46 pei-金秋十月 阅读(39) 评论(0) 推荐(0) 编辑
摘要: 1.背景:最近项目要做实时数据,用到的技术有:flink(jqd消息),redis,ck集群;京东常压测接口:http,jsf,jmq,jdq 2.项目压测准备事项:压测目标,压测范围,压测场景及方式,压测时间安排,压测数据准备(线上数据:评估容量 会更可靠;压测环境数据:可做性能对比;),压测环境 阅读全文
posted @ 2021-12-17 14:43 pei-金秋十月 阅读(306) 评论(0) 推荐(1) 编辑