上一页 1 ··· 10 11 12 13 14
摘要: 1 ThreadPoolExecutor pool= new ThreadPoolExecutor(5,10, 3, TimeUnit.SECONDS, new LinkedBlockingQueue()); 2 IbcServiceConstants ibcServiceConstants=CfwConstants.ctx.getBean(IbcServiceC... 阅读全文
posted @ 2019-01-23 16:20 夜半钟声到客船 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 从两个接口获取到了数据Map集合, 但是要展示到同一页面 根据了播控人为key 将两个返回的进行遍历 将他们存在新的map里面 只有单个key value 就存为(MAP ,多个直接存为Map 将两个接口获取到的key作为存入set去重 后去set 根据key(person)去取到各自对应的值,存入map 返回 方法很繁琐 ,循环太多,但遇到了 ,就这么实现的 数据example ::... 阅读全文
posted @ 2019-01-21 19:08 夜半钟声到客船 阅读(3578) 评论(0) 推荐(0) 编辑
摘要: org.apache.spark spark-sql-kafka-0-10_2.11 2.2.1 阅读全文
posted @ 2019-01-18 15:26 夜半钟声到客船 阅读(495) 评论(0) 推荐(0) 编辑
摘要: Filter filter= new RowFilter(CompareFilter.CompareOp.EQUAL,new RegexStringComparator("."+day));//任意以day结尾的row Filter filter= new RowFilter(CompareFilter.CompareOp.EQUAL, new ... 阅读全文
posted @ 2019-01-17 18:51 夜半钟声到客船 阅读(284) 评论(0) 推荐(0) 编辑
摘要: 原先使用批次提交更新 但数据库无变化,不得不一条一条的插入 公司数据量不大 还未做数据量大的测试 但实时更新是可以的 关键sql : insert into area_user_amt (date,country,provence,amt) values('${datekey}','${countr 阅读全文
posted @ 2019-01-17 18:47 夜半钟声到客船 阅读(1030) 评论(0) 推荐(0) 编辑
摘要: 获取hdfs文件下所有文件getAllFiles 遍历 spark读取 阅读全文
posted @ 2019-01-17 18:38 夜半钟声到客船 阅读(4066) 评论(0) 推荐(0) 编辑
摘要: 进行地域分析 rowkey=中国_上海_201901016 value=访问次数 1 areaStartAmt.foreachRDD(rdd => { 2 rdd.foreachPartition(partitionOfRecords => { 3 // /** 4 // * *&*****************************... 阅读全文
posted @ 2019-01-17 09:42 夜半钟声到客船 阅读(729) 评论(1) 推荐(0) 编辑
上一页 1 ··· 10 11 12 13 14