2019年1月17日
Hbase 过滤器的使用
摘要： Filter filter= new RowFilter(CompareFilter.CompareOp.EQUAL,new RegexStringComparator("."+day));//任意以day结尾的row Filter filter= new RowFilter(CompareFilter.CompareOp.EQUAL, new ... 阅读全文
posted @ 2019-01-17 18:51 夜半钟声到客船 阅读(284) 评论(0) 推荐(0) 编辑
sparkStreaming插入mysql 必须考虑到实时更新老的key
摘要： 原先使用批次提交更新 但数据库无变化，不得不一条一条的插入 公司数据量不大 还未做数据量大的测试 但实时更新是可以的 关键sql ： insert into area_user_amt (date,country,provence,amt) values('${datekey}','${countr 阅读全文
posted @ 2019-01-17 18:47 夜半钟声到客船 阅读(1030) 评论(0) 推荐(0) 编辑
scala 操作hdfs
摘要： 获取hdfs文件下所有文件getAllFiles 遍历 spark读取 阅读全文
posted @ 2019-01-17 18:38 夜半钟声到客船 阅读(4066) 评论(0) 推荐(0) 编辑
关于spark进行实时日志解析，保存hbase与mysql
摘要： 进行地域分析 rowkey=中国_上海_201901016 value=访问次数 1 areaStartAmt.foreachRDD(rdd => { 2 rdd.foreachPartition(partitionOfRecords => { 3 // /** 4 // * *&*****************************... 阅读全文
posted @ 2019-01-17 09:42 夜半钟声到客船 阅读(729) 评论(1) 推荐(0) 编辑