摘要：
1、业务库痛点及解决⽅案 初期出⾏业务的订单相关，是以mysql作为业务库为基准的，但是随着业务线增多，每⽇新增数据指 数上涨，⼏乎在每天的⾼峰期期间，都会出现业务库所在服务器的cpu、IO、内存等跑满。经业务排 查发现，线上每天有定时任务都在查询业务库，从⽽导致业务库经常cpu使⽤情况是柱状⽅式 阅读全文
摘要：
四、在全部的六边形区域内过滤出合适的区域作为虚拟车站点 实现方式： 对历史库的订单数据进行汇总，选出某个区域的订单数大于某个阈值（比如100） 代码实现： //1.创建h3实例 val h3 = H3Core.newInstance //2.经纬度转换成hash值 def locationToH3( 阅读全文
摘要：
一.如果有一批数据，知道某个主键比如ip地址、人的身份证、车牌、订单以及经纬度信息 那可以做出哪些事情？ 1.某个ip对应的经纬度在哪个地区？ 1.某个人出现的经纬度，根据人与经纬度关系，形成出行轨迹 3.某车牌或者车架对应的经纬度信息，车辆轨迹，借助地图做出，可以做交通数据应用 4.某个地区的订单 阅读全文
摘要：
错误： org.apache.phoenix.exception.PhoenixIOException: SYSTEM.CATALOG at org.apache.phoenix.util.ServerUtil.parseServerException(ServerUtil.java:144) at 阅读全文
摘要：
Phoenix介绍： 针对hbase开发的第三方插件，目前已贡献给Apache，顶级项目 Phoenix是构建在HBase上的一个SQL层 可以使用类似于操作mysql的标准sql语句，作为hbase客户端JDBC的驱动对hbase中的数据进行低延迟的访问 内部实现为将sql查询语句编译成hbase 阅读全文
摘要：
hbase连接deug：DEBUG [main-SendThread(bigdata.server1:2181)] - Reading reply sessionid:0x16f764e7f6e0009, packet:: clientPath:null serverPath:null finish 阅读全文
摘要：
kafka版本：<kafka.version> 0.8.2.1</kafka.version> spark版本 <artifactId>spark-streaming-kafka-0-8_2.11</artifactId> object DmRealStat { def main(args: Arr 阅读全文
摘要：
kafka版本 1.0.0 spark版本 spark-streaming-kafka-0-10_2.11/** * @created by imp ON 2019/12/21 */class KafkaManagerByRedis(zkHost:String,kafkaParams: Map[St 阅读全文
摘要：
kafka 与spark集成 序列化问题 sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")sparkConf.registerKryoClasses(Array( classOf[Array 阅读全文
摘要：
数据质量评估 在做了近一个多月的数据质量评估方案工作，基本实现了从产出原始数据、数据清洗、入库有效数据等阶段,从对质量没有任何概念到实现基本的指标展示，也算是从设计到代码到展示的流程跑通，在一定程度已经能体现公司目前的数据质量 1.为什么做数据质量？ 公司数据是从Excel挖掘出来的，不确定性与未知 阅读全文