该文被密码保护。 阅读全文
posted @ 2017-09-21 14:43 aj117 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 存一份模板,以后简单参数处理就用它了 阅读全文
posted @ 2017-08-31 17:22 aj117 阅读(652) 评论(0) 推荐(0) 编辑
摘要: 1 #!/bin/bash 2 if [ -z "$1" ] ; then 3 echo "请指定输入目录" 4 exit 1 5 elif [ ! -d $1 ] ; then 6 echo "[$1]不是一个合法的输入路径" 7 exit 1 8 fi 9 if [ -z "$2" ] ; then 10 echo "请指定输出目录" 11 exit... 阅读全文
posted @ 2017-08-31 15:28 aj117 阅读(637) 评论(0) 推荐(1) 编辑
摘要: hadoop集群搭建了ha,初次启动正常,最近几天启动时偶尔发现,namenode1节点启动后一段时间(大约10几秒-半分钟左右),namenode1上namenode进程停掉,查看日志: 一、查阅资料后找到原因: 我是用start-al.sh启动的集群,journalnode(端口8485)是在n 阅读全文
posted @ 2017-08-29 10:51 aj117 阅读(22148) 评论(1) 推荐(1) 编辑
摘要: spark-shell不支持yarn cluster,以yarn client方式启动 启动日志,错误信息如下 其中“Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries 阅读全文
posted @ 2017-08-10 00:12 aj117 阅读(16252) 评论(0) 推荐(3) 编辑
摘要: 最近学习了下webmagic,学webmagic是因为想折腾下爬虫,但是自己学java的,又不想太费功夫,所以webmagic是比较好的选择了。 写了几个demo,源码流程大致看了一遍。想着把博客园的文章列表爬下来吧。 首页显示的就是第一页文章的列表, 但是翻页按钮不是链接,而是动态的地址: 实际请 阅读全文
posted @ 2017-07-08 14:32 aj117 阅读(12021) 评论(0) 推荐(1) 编辑
摘要: 写了个jdbc连接hive2的demo,结果报错:java.lang.ClassNotFoundException: org.apache.thrift.transport.TTransport,实际上在解决这个问题过程中,报了很多错,事实上报什么错不重要,重要的是出错的原因。 我出错的原因是mav 阅读全文
posted @ 2017-04-20 20:44 aj117 阅读(10659) 评论(0) 推荐(0) 编辑
摘要: 转自:http://blog.csdn.net/gdp12315_gu/article/details/51730584 在我们处理文件时,很多时候会用到查找与替换。当我们想将文件中某一部分替换替换文件中另一部分时,怎么办呢? 下面正则表达式 给我提供方法。 正则表达式,提供复杂 并且弹性的查找与替 阅读全文
posted @ 2017-02-10 17:09 aj117 阅读(67591) 评论(0) 推荐(4) 编辑
摘要: maven项目中引入了这个依赖。 启动项目后会报错, 错误原因: mingsoft的shiro-freemarker-tags插件引入了javax.servlet-api包,和项目中其他依赖引入的servlet-api冲突(其实和tomcat自带的servlet-api也冲突) 解决方法: 1.把s 阅读全文
posted @ 2016-12-22 13:56 aj117 阅读(2363) 评论(0) 推荐(0) 编辑
该文被密码保护。 阅读全文
posted @ 2016-12-18 10:28 aj117 阅读(2) 评论(0) 推荐(0) 编辑