12 2014 档案
摘要:2014年12月总结:这月1号新工作开始了我的大数据之旅,从.NET转向Hadoop。工作期间遇到了解决的没有解决的有各种坑,不过好在算是把整套业务给搭建了下来。大体使用的技术及流程如下:mosquittio->flume agent->flume collector->sparkstreaming...
阅读全文
摘要:文章来自:http://www.cnblogs.com/hark0623/p/4196452.html 转发请注明代码如下:/** * 隐式转换 隐式参数 隐式类 *///隐式转换class Implicit(a: A) { def Test: Unit = { println("Im...
阅读全文
摘要:文章来自:http://www.cnblogs.com/hark0623/p/4196381.html 转载请注明需要在你的脚本前面添加nohub,后边添加&。例如下面的脚本:nohup ./flume_client.sh &nohup的作用:当你的SecureCRT会话关闭后,保证你的脚本还在Li...
阅读全文
摘要:转自 http://blog.csdn.net/bigdatahappy/article/details/41726389转这个目的,是因为该贴子中调优思路不错,值得学习 搜索推荐有一个job,1000多个map,200个reduce,运行到最后只剩一个reduce(10.39.6.130上)的时...
阅读全文
摘要:转载自http://www.aboutyun.com/thread-9189-1-1.html问题导读1.CM的安装目录在什么位置?2.hadoop配置文件在什么位置?3.Cloudera manager运行所需要的信息存在什么位置?4.CM结构和功能是什么?1. 相关目录/var/log/clou...
阅读全文
摘要:文章发自:http://www.cnblogs.com/hark0623/p/4196355.html 转发请注明脚本如下find /opt/data/sensor -name "*.maclog" -exec 'cat' {} \; > /opt/data/sensor/1.txt
阅读全文
摘要:文章来自:http://www.cnblogs.com/hark0623/p/4196261.html 转载请注明代码如下:/** * 模式匹配 */case class Class1(param1: String, param2: String)case class Class2(param1: ...
阅读全文
摘要:文章来自:http://www.cnblogs.com/hark0623/p/4194940.html 转载请注明/** * Created by Administrator on 2014-12-31. */class ApplyTest { def apply() = "Apply custo...
阅读全文
摘要:2015年其实才真正算的上是我的大数据元年,我需要在这一年中为自己的职业发展打好地基,所以需要做到但不限于:1、熟练使用mr,yarn,spark(spark sql,spark streaming,ml....),hive,mahout,hbase进行开发,并熟悉调优,及其中的执行原理。2、阅读f...
阅读全文
摘要:文章来自:http://www.cnblogs.com/hark0623/p/4177794.html转载请注明其实问题很简单,因为在CDH中hdfs-site.xml配置文件中WEB UI配置的是域名,而域名在Hosts又被解析成内网IP。你使用netstat -apn | grep 50700看...
阅读全文
摘要:2014-12-19 01:05:42,141 (lifecycleSupervisor-1-1) [WARN - org.apache.flume.sink.AbstractRpcSink.start(AbstractRpcSink.java:294)] Unable to create Rpc ...
阅读全文
摘要:文章发自:http://www.cnblogs.com/hark0623/p/4175048.html 转发请注明如果当你的客户端订阅(sub)mqtt时,发现出现Connection lost当你在网上找资料发现没有解决自己的问题的时候。。当你的MQTT的代理服务器用的虚拟机的时候嗯,这个时候将虚...
阅读全文
摘要:文章来自:http://www.cnblogs.com/hark0623/p/4174652.html 转发请注明我刚装上Scala和IDEA时发现运行代码后总是出现xxx is already defined as class xxx的问题。经查询,是ScalaJdk版本与IDEA版本有冲突。出问...
阅读全文
摘要:文章来自:http://www.cnblogs.com/hark0623/p/4174646.html 转发请注明在CDH中用了几天flume后才发现,原来CDH中的flume默认是启动的…………我还自己去启动flume呢。。怪不得监听端口时告诉我端口已被占用了呢。
阅读全文
摘要:文章来自http://www.cnblogs.com/hark0623/p/4174641.html 转发请注明有时候执行表联查的时候总会出现没有权限写文件的情况。这个时候使用sudo -H hive hive -e "select * from tbl1 join tbl2 on tbl1.fie...
阅读全文
摘要:文章来自:http://www.cnblogs.com/hark0623/p/4173714.html 转发请注明因业务需求,需要flume收集MQTT(Mosquitto)的数据。 方法就是flume自定义source,source中来订阅(subscribe)MQTTflume source的j...
阅读全文
摘要:文章来自:http://www.cnblogs.com/hark0623/p/4172462.html 转发请注明object LogicHandle { def main(args: Array[String]) { //添加这个不会报执行错误 val path = new Fil...
阅读全文
摘要:文章发自:http://www.cnblogs.com/hark0623/p/4170174.html 转发请注明java.lang.NoClassDefFoundError: org/apache/avro/ipc/Responder出现了这个异常,代表有依赖包没有找到。。。avro-ipc 是这...
阅读全文
摘要:文章发自:http://www.cnblogs.com/hark0623/p/4170172.html 转发请注明14/12/17 19:18:53 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path...
阅读全文
摘要:文章发自:http://www.cnblogs.com/hark0623/p/4170156.html 转发请注明如何做集成,其实特别简单,网上其实就是教程。http://blog.csdn.net/fighting_one_piece/article/details/40667035 看这里就成。...
阅读全文
摘要:文章发自http://www.cnblogs.com/hark0623/p/4167363.html转发请注明注意:基于CDH进行Spark开发时,使用高版本的apache原生包即可;不需要使用CDH中的spark开发包,不然会死都不知道死的。另外,其它生态项目也如此。补充一下: 说错了, 在IDE...
阅读全文