常用函数
摘要：
1、查询scn转换为时间戳 2、行转列，pivot 3、列转行，unpivot 4、多行合并为一条记录，WM_CONCAT 阅读全文
posted @ 2019-05-05 10:51 malloc+ 阅读(121) 评论(0) 推荐(0) 编辑
2019年5月5日 #
2019年4月28日 #
Kafka基本命令
摘要：
1、查看topic信息 kafka-topics --zookeeper 10.79.2.92:2181/chroot --describe --topic dwr_pnl 2、创建topic kafka-topics --create --topic dwr_pnl --zookeeper 10. 阅读全文
posted @ 2019-04-28 15:14 malloc+ 阅读(171) 评论(0) 推荐(0) 编辑
2019年4月18日 #
OGG
摘要：
一、常用命令（参考文档 https://www.cnblogs.com/lhrbest/p/7112896.html） 二、OGG->Kafka 源端配置（https://blog.csdn.net/dkl12/article/details/80447154） PORT 7839 DYNAMICP 阅读全文
posted @ 2019-04-18 20:58 malloc+ 阅读(727) 评论(0) 推荐(0) 编辑
2019年3月27日 #
Spark菜鸟记录
摘要：
1、RDD[(k,v)] join()优化，join之前会对两个RDD的key做hash，通过网络把相同hash值的数据传到同一个节点，因此对多次join的RDD 做预分区与持久化可提高效率。 map()操作会失去父RDD的信息，因为key值有可能发生改变，但 mapValues()、flatMap 阅读全文
posted @ 2019-03-27 19:39 malloc+ 阅读(239) 评论(0) 推荐(0) 编辑
2019年3月5日 #
Scala基础
摘要：
1.seq[String] 用[]表示参数类型，java使用<>表示参数，因为Scala 允许以<命名方法和变量名，java不允许 2.支持range的类型：Char 、Int 、 Long 、 Float 、 Double 、BigInt（任一大小整数）、BigDecimal（任意大小浮点数） 3 阅读全文
posted @ 2019-03-05 20:58 malloc+ 阅读(132) 评论(0) 推荐(0) 编辑
2019年3月4日 #
Mybatis菜鸟问题记录
摘要：
1. XML中SQL语句不能以;结尾，否则会报错无效字符。 2.日期类型不能与空字符串比较。 3.type = 类名 属性id =唯一标志resultMap 子元素id(<result id="startTime"/>)作为返回数据的主键 javaType 为Date jdbcType=TIMEST 阅读全文
posted @ 2019-03-04 19:33 malloc+ 阅读(173) 评论(0) 推荐(0) 编辑