01 2019 档案
摘要：maven依赖 ch.ethz.ganymed ganymed-ssh2 262 import ch.ethz.ssh2.Connection; import ch.ethz.ssh2.Session; import java.io.IOException; import java.io.InputStream; import java.nio.charset.Charse...
阅读全文
摘要：maven依赖 ch.ethz.ganymed ganymed-ssh2 262 import ch.ethz.ssh2.Connection; import ch.ethz.ssh2.Session; import java.io.IOException; import java.io.InputStream; import java.nio.charset.Charse...
阅读全文
摘要：日志格式202.108.16.254^A1546795482.600^A/cntv.gif?appId=3&areaId=8213&srcContId=2535575&areaType=1&srcContName=%E5%88%87%E7%89%B9%E9%87%8C%E6%A2%85%E5%BC%80%E4%BA%8C%E5%BA%A6+%E5%8D%B0%E5%BA%A64-1%E5%A4%...
阅读全文
摘要：https://github.com/wzhe06/ipdatabase ip解析 https://github.com/flyaction/ipdatabase 比较新 https://github.com/itbdw/ip-database 很全面 php写的 https://github.co
阅读全文
摘要：idea开发必须是把Mapper文件与配置文件放到Resources标记的classpath目录下，eclips好像放到哪都行指定好路径就可以了， maven里面做好配置resources的路径，不然更新依赖 工程结构标记又没了 1.原生使用sqlsessionFcatory去做数据库操作，很麻烦
阅读全文
摘要：split方法在大数据开发中的多用于日志解析及字段key值分割，最近需求中碰到一个问题在 无论怎么分割都会出现数组下标越界问题， 由于前台在sdk中多加了几个字段（测试数据很少，大多为空） ，需要我们进行字段补全插入到mysql中，但项目过于老，2016年项目使用的是spark1.5.2不说，使用j
阅读全文
摘要：1.注册函数，使用using jar方式在hdfs上引用udf库。 $hive>create function formattime as 'com.bigdata.udf.FormatTimeUDF' using jar 'hdfs://hadoop01/app/app-logs-hive-1.0-SNAPSHOT.jar';2.注销函数，只需要删除mysql的hive数据记录即可。 de...
阅读全文
摘要：很简单的sql 用户分析语句 ：只要自定义简单的udf函数 获取统计时间createdatms字段的 使用的日历类 add方法 和simpledateformat 将long类型的 定义多个重载方法 获取返回值int类型 或者long类型 进行时间判断即可 getdaybegin（天开始），比如20
阅读全文
摘要：大数据非常前卫的it网站 https://www.iteblog.com/archives/tag/hadoop/ 1.多个服务的默认端口被改变 在此之前，多个Hadoop服务的默认端口都属于Linux的临时端口范围（32768-61000）。这就意味着我们的服务在启动的时候可能因为和其他应用程序产
阅读全文
摘要：1 ThreadPoolExecutor pool= new ThreadPoolExecutor(5,10, 3, TimeUnit.SECONDS, new LinkedBlockingQueue()); 2 IbcServiceConstants ibcServiceConstants=CfwConstants.ctx.getBean(IbcServiceC...
阅读全文
摘要：
阅读全文
摘要：从两个接口获取到了数据Map集合， 但是要展示到同一页面 根据了播控人为key 将两个返回的进行遍历 将他们存在新的map里面 只有单个key value 就存为(MAP ,多个直接存为Map 将两个接口获取到的key作为存入set去重 后去set 根据key（person）去取到各自对应的值，存入map 返回 方法很繁琐 ，循环太多，但遇到了 ，就这么实现的 数据example :：...
阅读全文
摘要：org.apache.spark spark-sql-kafka-0-10_2.11 2.2.1
阅读全文
摘要：Filter filter= new RowFilter(CompareFilter.CompareOp.EQUAL,new RegexStringComparator("."+day));//任意以day结尾的row Filter filter= new RowFilter(CompareFilter.CompareOp.EQUAL, new ...
阅读全文
摘要：原先使用批次提交更新 但数据库无变化，不得不一条一条的插入 公司数据量不大 还未做数据量大的测试 但实时更新是可以的 关键sql ： insert into area_user_amt (date,country,provence,amt) values('${datekey}','${countr
阅读全文
摘要：获取hdfs文件下所有文件getAllFiles 遍历 spark读取
阅读全文
摘要：进行地域分析 rowkey=中国_上海_201901016 value=访问次数 1 areaStartAmt.foreachRDD(rdd => { 2 rdd.foreachPartition(partitionOfRecords => { 3 // /** 4 // * *&*****************************...
阅读全文
