摘要: 实时计算平台简介 流式计算JRC1.0 实时计算平台JRC是大数据平台基于Flink、SparkStreaming、Storm流式计算引擎构建的高吞吐、高性能、低延迟的实时数据处理平台,平台产品化程度高,开发人员学习成本低 实时数据管道JDQ 实时数据管道 JDQ是大数据平台基于Kafka打造的高吞 阅读全文
posted @ 2021-12-17 16:18 pei-金秋十月 阅读(108) 评论(0) 推荐(0) 编辑
摘要: flink实时数据处理: ReadFromJDQ3 1)消费JDQ的必要信息,通过参数传入,有6个参数 2)获取flink JDQ3的鉴权客户端 3)根据鉴权客户端获取消费属性的配置 4)构建应用环境ENV和checkpoint机制 5)构建JDQ3(基于kafka)对应的消费客户端,flink用来 阅读全文
posted @ 2021-12-17 14:46 pei-金秋十月 阅读(39) 评论(0) 推荐(0) 编辑
摘要: 1.背景:最近项目要做实时数据,用到的技术有:flink(jqd消息),redis,ck集群;京东常压测接口:http,jsf,jmq,jdq 2.项目压测准备事项:压测目标,压测范围,压测场景及方式,压测时间安排,压测数据准备(线上数据:评估容量 会更可靠;压测环境数据:可做性能对比;),压测环境 阅读全文
posted @ 2021-12-17 14:43 pei-金秋十月 阅读(306) 评论(0) 推荐(1) 编辑
摘要: https://www.cnblogs.com/yanghj010/p/8954730.html( YSlow/PageSpeed两款插件工具) https://blog.csdn.net/aduocd/article/details/84622310(YSlow的使用与安装) https://ww 阅读全文
posted @ 2021-11-05 18:19 pei-金秋十月 阅读(46) 评论(0) 推荐(0) 编辑
摘要: 页面、资源体验指数 基于Apdex指数数据量化用户对应用性能的满意程度 页面体验指数 按页面请求耗时(T=4秒)划分用户体验度区间;0 - 没有满意用户,1 - 所有用户都满意,0.7 是一个默认标准,表示网站性能良好 资源体验指数 按资源请求耗时(T=1秒)划分用户体验度区间;0 - 没有满意用户 阅读全文
posted @ 2021-11-05 17:36 pei-金秋十月 阅读(47) 评论(0) 推荐(0) 编辑
摘要: https://mp.weixin.qq.com/s/VpyoG3-4iBGd_--sV5b6Fg https://mp.weixin.qq.com/s?__biz=MzAwNjEzMDUyNw==&mid=2650202774&idx=1&sn=98144164c5470755a6d1e0d823 阅读全文
posted @ 2021-11-04 18:17 pei-金秋十月 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 题目方向:敏捷场景下前(后)端测试规范(点)--world文档一份规范,xmind一份梳理测试点 前端(html,css,js类的东西,常用框架:jquery,vue,react看官网学习)和接口(后端提供) 前端规范价值:用户可见,应用性,易理解 测试点:1.页面展示和UI设计图对比2.兼容性:不 阅读全文
posted @ 2021-10-27 11:27 pei-金秋十月 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 全链路压测:https://www.cnblogs.com/imyalost/p/15355660.html 阅读全文
posted @ 2021-10-12 14:07 pei-金秋十月 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 1.spark-shell 一般用来写脚本验证程序正确性;开发数据一般用集成工具idea,python等 阅读全文
posted @ 2021-09-08 15:54 pei-金秋十月 阅读(45) 评论(0) 推荐(0) 编辑
摘要: 1.idea 编写WordCount程序,不用maven配置,本地已配置spark,hadoop,scala的path环境 import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apa 阅读全文
posted @ 2021-09-08 15:43 pei-金秋十月 阅读(62) 评论(0) 推荐(0) 编辑