上一页 1 ··· 9 10 11 12 13 14 下一页
摘要: maven依赖 ch.ethz.ganymed ganymed-ssh2 262 import ch.ethz.ssh2.Connection; import ch.ethz.ssh2.Session; import java.io.IOException; import java.io.InputStream; import java.nio.charset.Charse... 阅读全文
posted @ 2019-01-31 19:24 夜半钟声到客船 阅读(818) 评论(0) 推荐(0) 编辑
摘要: maven依赖 ch.ethz.ganymed ganymed-ssh2 262 import ch.ethz.ssh2.Connection; import ch.ethz.ssh2.Session; import java.io.IOException; import java.io.InputStream; import java.nio.charset.Charse... 阅读全文
posted @ 2019-01-31 19:18 夜半钟声到客船 阅读(677) 评论(0) 推荐(0) 编辑
摘要: 日志格式202.108.16.254^A1546795482.600^A/cntv.gif?appId=3&areaId=8213&srcContId=2535575&areaType=1&srcContName=%E5%88%87%E7%89%B9%E9%87%8C%E6%A2%85%E5%BC%80%E4%BA%8C%E5%BA%A6+%E5%8D%B0%E5%BA%A64-1%E5%A4%... 阅读全文
posted @ 2019-01-31 17:02 夜半钟声到客船 阅读(947) 评论(0) 推荐(0) 编辑
摘要: https://github.com/wzhe06/ipdatabase ip解析 https://github.com/flyaction/ipdatabase 比较新 https://github.com/itbdw/ip-database 很全面 php写的 https://github.co 阅读全文
posted @ 2019-01-31 16:02 夜半钟声到客船 阅读(1340) 评论(0) 推荐(0) 编辑
摘要: idea开发必须是把Mapper文件与配置文件放到Resources标记的classpath目录下,eclips好像放到哪都行指定好路径就可以了, maven里面做好配置resources的路径,不然更新依赖 工程结构标记又没了 1.原生使用sqlsessionFcatory去做数据库操作,很麻烦 阅读全文
posted @ 2019-01-31 14:56 夜半钟声到客船 阅读(856) 评论(0) 推荐(0) 编辑
摘要: split方法在大数据开发中的多用于日志解析及字段key值分割,最近需求中碰到一个问题在 无论怎么分割都会出现数组下标越界问题, 由于前台在sdk中多加了几个字段(测试数据很少,大多为空) ,需要我们进行字段补全插入到mysql中,但项目过于老,2016年项目使用的是spark1.5.2不说,使用j 阅读全文
posted @ 2019-01-30 10:20 夜半钟声到客船 阅读(897) 评论(0) 推荐(0) 编辑
摘要: 1.注册函数,使用using jar方式在hdfs上引用udf库。 $hive>create function formattime as 'com.bigdata.udf.FormatTimeUDF' using jar 'hdfs://hadoop01/app/app-logs-hive-1.0-SNAPSHOT.jar';2.注销函数,只需要删除mysql的hive数据记录即可。 de... 阅读全文
posted @ 2019-01-25 18:03 夜半钟声到客船 阅读(1262) 评论(0) 推荐(0) 编辑
摘要: 很简单的sql 用户分析语句 :只要自定义简单的udf函数 获取统计时间createdatms字段的 使用的日历类 add方法 和simpledateformat 将long类型的 定义多个重载方法 获取返回值int类型 或者long类型 进行时间判断即可 getdaybegin(天开始),比如20 阅读全文
posted @ 2019-01-25 17:57 夜半钟声到客船 阅读(5344) 评论(0) 推荐(0) 编辑
摘要: 大数据非常前卫的it网站 https://www.iteblog.com/archives/tag/hadoop/ 1.多个服务的默认端口被改变 在此之前,多个Hadoop服务的默认端口都属于Linux的临时端口范围(32768-61000)。这就意味着我们的服务在启动的时候可能因为和其他应用程序产 阅读全文
posted @ 2019-01-25 17:47 夜半钟声到客船 阅读(198) 评论(0) 推荐(0) 编辑
摘要: 恢复内容开始 恢复内容结束 阅读全文
posted @ 2019-01-24 19:08 夜半钟声到客船 阅读(155) 评论(0) 推荐(0) 编辑
上一页 1 ··· 9 10 11 12 13 14 下一页