10 2023 档案
摘要：datax中没有提供给用户自定义null值到hdfs文件的存储格式，hdfs writer会将null值存储为空字符串('') 而hive默认存储格式为\N,后期将DataX同步的文件导入Hive表就会出现问题 解决方法： 1.修改源码（推荐）：参考http://t.csdnimg.cn/BWGRK
阅读全文
摘要：问题描述： 我在构建一个新的数仓时使用maxwell,发现maxwell启动一会儿就挂了，或者是根本启动不了 查看日志说是没有我监控的数据库（Couldn't find database xxxx），但检查发现目标数据库在mysql中存在，核对大小写问题，无误 解决： 思路：想到这个maxwell是
阅读全文
摘要：//groupBy def wordCount1(sc:SparkContext) = { val rdd = sc.makeRDD(List("hello scala","hello spark")) val words: RDD[String] = rdd.flatMap(_.split(" "
阅读全文
