12 2019 档案
摘要：kafka版本：<kafka.version> 0.8.2.1</kafka.version> spark版本 <artifactId>spark-streaming-kafka-0-8_2.11</artifactId> object DmRealStat { def main(args: Arr
阅读全文
摘要：kafka版本 1.0.0 spark版本 spark-streaming-kafka-0-10_2.11/** * @created by imp ON 2019/12/21 */class KafkaManagerByRedis(zkHost:String,kafkaParams: Map[St
阅读全文
摘要：kafka 与spark集成 序列化问题 sparkConf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer")sparkConf.registerKryoClasses(Array( classOf[Array
阅读全文
摘要：在过一个月我的12.06生日一过我就27岁了，这一年让我总的感觉，一个人要想幸福的家庭有多么不容易，我一直在思考自己为什么会成现在这个样子，也许是人需要的就是层层的艰难与空乏其身，我想我会去寻找后半生一个合适的人 选择不了自己出生，只能尽量用理性的思维去完善自己性格的缺陷 给孩子做个好的父亲榜样是多
阅读全文
摘要：数据质量评估 在做了近一个多月的数据质量评估方案工作，基本实现了从产出原始数据、数据清洗、入库有效数据等阶段,从对质量没有任何概念到实现基本的指标展示，也算是从设计到代码到展示的流程跑通，在一定程度已经能体现公司目前的数据质量 1.为什么做数据质量？ 公司数据是从Excel挖掘出来的，不确定性与未知
阅读全文
