摘要:
/home/lee#cp --help用法:cp [选项]... 来源 目的地 或:cp [选项]... 来源... 目录 或:cp [选项]... --target-directory=目录 来源...将文件复制至,或将多个复制至。 长选项必须用的参数在使用短选项时也是必须的。 -a, --... 阅读全文
摘要:
来自:http://blog.liveramp.com/2013/04/08/kafka-0-8-producer-performance-2/At LiveRamp, we constantly face scaling challenges as the volume of data that ... 阅读全文
摘要:
来自:http://blog.csdn.net/derekjiang/article/details/4531952JMX是一份规范,SUN依据这个规范在JDK(1.3、1.4、5.0)提供了JMX接口。而根据这个接口的实现则有很多种,比如Weblogic的JMX实现、MX4J、JBoss的JMX实... 阅读全文
摘要:
来自:http://doc.okbase.net/QING____/archive/19447.html也可参考:http://blog.csdn.net/21aspnet/article/details/19325373http://blog.csdn.net/unix21/article/det... 阅读全文
摘要:
来自:http://tangzhaohui.net/524Kafka 跨集群同步方案——Kafka内置的MirrorMaker工具该方案解决Kafka跨集群同步、创建Kafka集群镜像等相关问题,主要使用Kafka内置的MirrorMaker工具实现。Kafka镜像即已有Kafka集群的副本。下图展... 阅读全文
摘要:
几种压缩方式对比:LZO example:https://github.com/twitter/hadoop-lzo/blob/master/src/test/java/com/hadoop/mapreduce/TestLzoTextInputFormat.java给lzo文件加索引的目的是为了让l... 阅读全文
摘要:
Flume本身提供了http, ganglia的监控服务,而我们目前主要使用zabbix做监控。因此,我们为Flume添加了zabbix监控模块,和sa的监控服务无缝融合。另一方面,净化Flume的metrics。只将我们需要的metrics发送给zabbix,避免 zabbix server造成压... 阅读全文
摘要:
kafka-web-consolehttps://github.com/claudemamo/kafka-web-console部署sbt:http://www.scala-sbt.org/0.13/tutorial/Manual-Installation.htmlhttp://www.scala-... 阅读全文
摘要:
来自:http://heipark.iteye.com/blog/1171923通过 "conf.set("tmpjars", jars);" 可以设置第三方jar,之前一直只是添加一个jar,运行OK,今天打算添加多个jar的时候发现mapreduce在运行时找不到 class(ClassNotF... 阅读全文
摘要:
目前为止知道MapReduce有三种路径输入方式。1、第一种是通过一下方式输入:FileInputFormat.addInputPath(job, new Path(args[0]));FileInputFormat.addInputPath(job, new Path(args[1]));File... 阅读全文