硅谷工具人 - 博客园

2018年4月18日

摘要：之前直接改了源码。后来从度娘中找到解决方法：新增时间异常捕获类MyEventTimeExtractor.class, 直接返回0 然后在属性添加下面配置：编译执行，ok 阅读全文

posted @ 2018-04-18 18:43 硅谷工具人阅读(1994) 评论(1) 推荐(0) 编辑

摘要：权限不够注意这里的这个/home/hadoop/king/flume/103104/trackerDir/.flumespool main.meta 文件是个隐藏文件，刚开始没找到，后面使用ll a找到了。然后修改权限 chmod 777 /home/hadoop/king/flume/103 阅读全文

posted @ 2018-04-18 16:34 硅谷工具人阅读(1286) 评论(0) 推荐(0) 编辑

(转)kafka发布消息报错LEADER_NOT_AVAILABLE

摘要：今天居然碰到这个错误，参考以下解决方案：修改server.properties，然后将每个节点的kafka重启即可解决。查看集群是否有broker没有运行阅读全文

posted @ 2018-04-18 16:12 硅谷工具人阅读(21608) 评论(0) 推荐(1) 编辑

2018年4月13日

测试markdown编辑器

posted @ 2018-04-13 08:58 硅谷工具人阅读(117) 评论(0) 推荐(0) 编辑

2018年4月12日

KafkaStream实现wordcount

摘要： KTable应用阅读全文

posted @ 2018-04-12 17:25 硅谷工具人阅读(630) 评论(0) 推荐(0) 编辑

java执行jar包

摘要：一般运行包含manifest的jar包，可以使用如果jar里没有 manifest，则可以使用当main类依赖多个jar时，可以把多个jar打包到一个目录，然后用-Djava.ext.dirs指定该目录，引用依赖的多个jar。如果用-cp则需要写每一个jar，很麻烦。阅读全文

posted @ 2018-04-12 15:04 硅谷工具人阅读(9398) 评论(0) 推荐(0) 编辑

2018年4月10日

集群同步hive的脚本

摘要：程序员就是把一切手工做的事情变成让计算机来做，从而可以让自己偷偷懒。以下就是个非常low的hive文件夹同步程序，至于节点超过100个或者1000个的，可以加个循环了。阅读全文

posted @ 2018-04-10 10:08 硅谷工具人阅读(869) 评论(0) 推荐(0) 编辑

oozie中调度mapreduce

摘要： mapreduce可以直接对hdfs进行清洗和计算，这里介绍oozie中如何调度使用。操作步骤如下：案例：统计单词大小。 2.在workflow中可能引用注意事项：如果将mapper和reduce写在同一个类中时，在编译后生成的类如下，所以在workflow中填写，按照下面的类填写。阅读全文

posted @ 2018-04-10 09:43 硅谷工具人阅读(787) 评论(0) 推荐(0) 编辑

2018年4月3日

hive & hive beeline常用参数

摘要： beeline常用操作： 1. 将查询结果输出到临时文件中 -f 对应查询的脚本 script.q --outputformat=csv2 以逗号分隔 --silent=true 静默方式执行，注意：输出文件的时候必须以静默方式运行，否则输出的文本中带有很多程序执行信息。上述命令执行完成后发现输出阅读全文

posted @ 2018-04-03 10:27 硅谷工具人阅读(19633) 评论(0) 推荐(0) 编辑

2018年4月2日

hive常用操作

摘要： 1. 文件导入到hdfs 从本地/tmp/path下拷贝文件上传到hive表test中的CHINA分区中。 LOAD DATA LOCAL INPATH '/tmp/path/' OVERWRITE INTO TABLE test PARTITION (country='CHINA') 2. hiv 阅读全文

posted @ 2018-04-02 15:46 硅谷工具人阅读(340) 评论(0) 推荐(0) 编辑

2018年3月26日

Hive UDF IP解析（二）：使用geoip2数据库自定义UDF

摘要：开发中经常会碰到将IP转为地域的问题，所以以下记录Hive中自定义UDF来解析IP。使用到的地域库位maxmind公司的geoIP2数据库，分为免费版GeoLite2-City.mmdb和收费版GeoIP2-City.mmdb，不管哪个版本，开发的接口都是相同。开发环境： hive-2.3.0 阅读全文

posted @ 2018-03-26 14:14 硅谷工具人阅读(2651) 评论(2) 推荐(0) 编辑

Hive UDF IP解析（一）：依赖包兼容性问题

摘要： Java依赖环境：根据官方提供的API，开发测试时，出现以下兼容性问题： GeoIP2 java API : http://maxmind.github.io/GeoIP2-java/ 根据错误信息，定位到fasterxml的兼容出现故障，最后追综到hive2.3.0版本中avatica-1.8. 阅读全文

posted @ 2018-03-26 11:52 硅谷工具人阅读(2390) 评论(3) 推荐(0) 编辑

2018年3月25日

git中文乱码解决方案

摘要：解决方案：在bash提示符下输入： core.quotepath设为false的话，就不会对0x80以上的字符进行quote。中文显示正常。阅读全文

posted @ 2018-03-25 11:16 硅谷工具人阅读(1354) 评论(0) 推荐(0) 编辑

2018年3月24日

oozie调度sqoop脚本时操作符号替换

摘要： oozie调度sqoop脚本时，sqoop中使用的sql查询语句，需要使用以下字符串替换操作符，否则会出现各种诡异的错误：阅读全文

posted @ 2018-03-24 17:36 硅谷工具人阅读(487) 评论(0) 推荐(0) 编辑

2018年3月22日

Missing artifact jdk.tools:jdk.tools:jar:1.8 pom.xml

摘要：在maven项目中出现下面错误信息：解决方法：在POM.xml中添加以下依赖包：阅读全文

posted @ 2018-03-22 11:28 硅谷工具人阅读(2989) 评论(0) 推荐(0) 编辑

2018年3月21日

warning: ignoring option PermSize=256m; support was removed in 8.0

摘要：使用jdk1.8后，控制台出现下面提示信息：在windows-》preferences中：在edit中，将下面jvm中PermSize和MaxPermSize去掉即可。阅读全文

posted @ 2018-03-21 11:35 硅谷工具人阅读(9396) 评论(0) 推荐(0) 编辑

2018年3月13日

Hive中如何添加自定义UDF函数以及oozie中使用hive的自定义函数

摘要：操作步骤： 1. 修改.hiverc文件在hive的conf文件夹下面，如果没有.hiverc文件，手工自己创建一个。参照如下格式添加：第一行为自定义jar包存放的路径。第二行为定义的funtion全类名，并且指定函数名为myexp; 2.上传jar包将jar包上次到上面的目录中/usr/ 阅读全文

posted @ 2018-03-13 13:32 硅谷工具人阅读(397) 评论(0) 推荐(0) 编辑

2018年3月9日

Failed to load class "org.slf4j.impl.StaticLoggerBinder"

摘要：经常会提示日志类找不到，虽然无关紧要，但是看起来确实别扭。解决方法：加入相应的依赖包。阅读全文

posted @ 2018-03-09 16:55 硅谷工具人阅读(7685) 评论(0) 推荐(1) 编辑

2018年3月5日

hadoop中的Jobhistory历史服务器

摘要： 1. 启动脚本 2. 配置说明 jobhistory用于查询每个job运行完以后的历史日志信息，是作为一台单独的服务器运行的。可以在namenode或者datanode上的任意一台启动即可。默认的配置如下，但是需要手工修改为我们指定的那台服务器。参数配置在mapred-site.xml文件中。如阅读全文

posted @ 2018-03-05 16:50 硅谷工具人阅读(7580) 评论(0) 推荐(0) 编辑

2018年3月4日

spingboot集成jpa(二）

摘要：一、使用单元测试单元测试在每个项目环境中必不可少，springboot中如何使用单元测试在src/test/java中新建测试类DemoApplicationTest.java 项目结构：此时，直接右键运行Junit测试即可二、查询方法 1. 使用jpa的命名查询当使用findBy/rea 阅读全文

posted @ 2018-03-04 17:04 硅谷工具人阅读(253) 评论(0) 推荐(0) 编辑

时间的往事

所有命运赠送的礼物，早已在暗中标着价格。

公告