03 2014 档案
摘要:来自:http://blog.csdn.net/iam333/article/details/18770977最近由于业务需要,需要将flume的数据插入HBase-0.96,利用flume的实时日志收集,实现数据的实时存储。正如前文所 述,flume-ng即flume-1.4.0版本和hbase-0.96结合相对比较容易配置,只需要做一些相关配置,实现自己的 HbaseEventSerializer类,重新编译flume-ng-hbase-sink部分源码并打包即可。但是因为公司以前业务的日志收集使用 的flume不是flume-1.4.0版本,而是flume-0.9.4,所以为了保证对原来
阅读全文
摘要:http://www.cnblogs.com/hustcat/archive/2010/06/30/1768506.html1、safemodebin/hadoopfs-put./inputinputput:org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotcreatedirectory/user/root/input.Namenodeisinsafemode.解决方法:NameNode在启动的时候首先进入安全模式,如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.p
阅读全文
摘要:安装: http://redis.io/download在线操作命令:http://try.redis.io/命令查询:https://redis.readthedocs.org/en/latest/index.html
阅读全文
摘要:1 public class TopK extends Configured implements Tool { 2 3 public static class TopKMapper extends Mapper { 4 5 public static final int K = 100; 6 private TreeMap tm = new TreeMap(); 7 8 @Override 9 protected void map(Object key, Text value, Context context) ...
阅读全文
摘要:1 public class GroupComparator implements RawComparator { 2 3 @Override 4 public int compare(MyBinaryKey o1, MyBinaryKey o2) { 5 return o1.toString().compareTo(o2.toString()); 6 } 7 8 @Override 9 public int compare(byte[] b1, int s1, int l1, byte[] b2, int s2, int l2) {10 return Writabl...
阅读全文
摘要:来自:http://blog.csdn.net/liuzhoulong/article/details/211121011,下载0.9.0.1http://storm.incubator.apache.org/downloads.html2,安装就jdk,python,zookeeper在服务器 "...
阅读全文
摘要:来自:http://www.cnblogs.com/huangfox/p/3541300.html一)安装elasticsearch1)下载elasticsearch-0.90.10,解压,运行\bin\elasticsearch.bat (windwos)2)进入http://localhost:9200/如下图安装成功!二)插件——headelasticsearch-head是一个elasticsearch的集群管理工具,它是完全由html5编写的独立网页程序,你可以通过插件把它集成到es。安装命令:\bin>plugin -install mobz/elasticsearch-he
阅读全文
摘要:Exceptioninthread"main"java.lang.RuntimeException:org.apache.thrift7.protocol.TProtocolException:Requiredfield'supervisor_id'isunset!Struct:SupervisorSummary(host:hslave1,uptime_secs:531,num_workers:8,num_used_workers:0,supervisor_id:null) 解决方法:原因是服务器用的storm版本与客户端使用的storm版本不一致,统一st
阅读全文
摘要:http://www.blogjava.net/killme2008/archive/2011/11/08/363238.htmlItems\ProjectsYahoo! s4Twitter Storm协议Apache license 2.0Eclipse Public License 1.0开发语言JavaClojure,Java,Clojure编写了核心代码结构去中心化的对等结构有中心节点nimbus,但非关键通信可插拔的通讯层,目前是基于UDP的实现基于facebook开源的thrift框架事件/Stream序列,用户可自定义事件类提供Tuple类,用户不可自定义事件类,但是可以命名fi
阅读全文