摘要: 文章来自:http://www.cnblogs.com/hark0623/p/4177794.html转载请注明其实问题很简单,因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名,而域名在Hosts又被解析成内网IP。你使用netstat -apn | grep 50700看... 阅读全文
posted @ 2014-12-22 11:22 HarkLee 阅读(6908) 评论(1) 推荐(1) 编辑
摘要: 2014-12-19 01:05:42,141 (lifecycleSupervisor-1-1) [WARN - org.apache.flume.sink.AbstractRpcSink.start(AbstractRpcSink.java:294)] Unable to create Rpc ... 阅读全文
posted @ 2014-12-20 08:46 HarkLee 阅读(4700) 评论(0) 推荐(0) 编辑
摘要: 文章发自:http://www.cnblogs.com/hark0623/p/4175048.html 转发请注明如果当你的客户端订阅(sub)mqtt时,发现出现Connection lost当你在网上找资料发现没有解决自己的问题的时候。。当你的MQTT的代理服务器用的虚拟机的时候嗯,这个时候将虚... 阅读全文
posted @ 2014-12-20 08:31 HarkLee 阅读(6293) 评论(0) 推荐(0) 编辑
摘要: 文章来自:http://www.cnblogs.com/hark0623/p/4174652.html 转发请注明我刚装上Scala和IDEA时发现运行代码后总是出现xxx is already defined as class xxx的问题。经查询,是ScalaJdk版本与IDEA版本有冲突。出问... 阅读全文
posted @ 2014-12-19 19:56 HarkLee 阅读(8393) 评论(0) 推荐(0) 编辑
摘要: 文章来自:http://www.cnblogs.com/hark0623/p/4174646.html 转发请注明在CDH中用了几天flume后才发现,原来CDH中的flume默认是启动的…………我还自己去启动flume呢。。怪不得监听端口时告诉我端口已被占用了呢。 阅读全文
posted @ 2014-12-19 19:53 HarkLee 阅读(1885) 评论(0) 推荐(0) 编辑
摘要: 文章来自http://www.cnblogs.com/hark0623/p/4174641.html 转发请注明有时候执行表联查的时候总会出现没有权限写文件的情况。这个时候使用sudo -H hive hive -e "select * from tbl1 join tbl2 on tbl1.fie... 阅读全文
posted @ 2014-12-19 19:50 HarkLee 阅读(889) 评论(0) 推荐(0) 编辑
摘要: 文章来自:http://www.cnblogs.com/hark0623/p/4173714.html 转发请注明因业务需求,需要flume收集MQTT(Mosquitto)的数据。 方法就是flume自定义source,source中来订阅(subscribe)MQTTflume source的j... 阅读全文
posted @ 2014-12-19 13:32 HarkLee 阅读(1841) 评论(1) 推荐(1) 编辑
摘要: 文章来自:http://www.cnblogs.com/hark0623/p/4172462.html 转发请注明object LogicHandle { def main(args: Array[String]) { //添加这个不会报执行错误 val path = new Fil... 阅读全文
posted @ 2014-12-18 19:20 HarkLee 阅读(1115) 评论(0) 推荐(0) 编辑
摘要: 文章发自:http://www.cnblogs.com/hark0623/p/4170174.html 转发请注明java.lang.NoClassDefFoundError: org/apache/avro/ipc/Responder出现了这个异常,代表有依赖包没有找到。。。avro-ipc 是这... 阅读全文
posted @ 2014-12-17 19:21 HarkLee 阅读(1463) 评论(0) 推荐(0) 编辑
摘要: 文章发自:http://www.cnblogs.com/hark0623/p/4170172.html 转发请注明14/12/17 19:18:53 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path... 阅读全文
posted @ 2014-12-17 19:20 HarkLee 阅读(6887) 评论(0) 推荐(0) 编辑