摘要:
1、业务库痛点及解决⽅案 初期出⾏业务的订单相关,是以mysql作为业务库为基准的,但是随着业务线增多,每⽇新增数据指 数上涨,⼏乎在每天的⾼峰期期间,都会出现业务库所在服务器的cpu、IO、内存等跑满。经业务排 查发现,线上每天有定时任务都在查询业务库,从⽽导致业务库经常cpu使⽤情况是柱状⽅式 阅读全文
摘要:
四、在全部的六边形区域内过滤出合适的区域作为虚拟车站点 实现方式: 对历史库的订单数据进行汇总,选出某个区域的订单数大于某个阈值(比如100) 代码实现: //1.创建h3实例 val h3 = H3Core.newInstance //2.经纬度转换成hash值 def locationToH3( 阅读全文
摘要:
一.如果有一批数据,知道某个主键比如ip地址、人的身份证、车牌、订单以及经纬度信息 那可以做出哪些事情? 1.某个ip对应的经纬度在哪个地区? 1.某个人出现的经纬度,根据人与经纬度关系,形成出行轨迹 3.某车牌或者车架对应的经纬度信息,车辆轨迹,借助地图做出,可以做交通数据应用 4.某个地区的订单 阅读全文
摘要:
错误: org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG at org.apache.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:144) at 阅读全文
摘要:
Phoenix介绍: 针对hbase开发的第三方插件,目前已贡献给Apache,顶级项目 Phoenix是构建在HBase上的一个SQL层 可以使用类似于操作mysql的标准sql语句,作为hbase客户端JDBC的驱动对hbase中的数据进行低延迟的访问 内部实现为将sql查询语句编译成hbase 阅读全文
摘要:
hbase连接deug:DEBUG [main-SendThread(bigdata.server1:2181)] - Reading reply sessionid:0x16f764e7f6e0009, packet:: clientPath:null serverPath:null finish 阅读全文
摘要:
kafka版本:<kafka.version> 0.8.2.1</kafka.version> spark版本 <artifactId>spark-streaming-kafka-0-8_2.11</artifactId> object DmRealStat { def main(args: Arr 阅读全文
摘要:
kafka版本 1.0.0 spark版本 spark-streaming-kafka-0-10_2.11/** * @created by imp ON 2019/12/21 */class KafkaManagerByRedis(zkHost:String,kafkaParams: Map[St 阅读全文
摘要:
kafka 与spark集成 序列化问题 sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")sparkConf.registerKryoClasses(Array( classOf[Array 阅读全文
摘要:
数据质量评估 在做了近一个多月的数据质量评估方案工作,基本实现了从产出原始数据、数据清洗、入库有效数据等阶段,从对质量没有任何概念到实现基本的指标展示,也算是从设计到代码到展示的流程跑通,在一定程度已经能体现公司目前的数据质量 1.为什么做数据质量? 公司数据是从Excel挖掘出来的,不确定性与未知 阅读全文