2015 年 4月随笔档案 - Daem0n

flume 自定义sink

摘要：http://flume.apache.org/FlumeDeveloperGuide.html#sink 看了还是比较好上手的，简单翻译一下 sink的作用是从 Channel 提取 Event 然后传给流中的下一个 Flume Agent或者把它们存储在外部的仓库中。在Flume的配置文件中，阅读全文

posted @ 2015-04-30 11:54 Daem0n 阅读(802) 评论(0) 推荐(0) 编辑

Hadoop升级

摘要：1.停止所有MR任务 2.检查HDFS 3.重启HDFS，重复第2步，检查HDFS 4.备份namenode数据在本地磁盘备份重要的数据 5.停止HDFS 6.重新安装新版本hadoop，备份原来的配置文件，修改新版本的配置文件7.升级HDFS 8.监控升级 9.使用第2步中的命令，检查升级过后的阅读全文

posted @ 2015-04-26 23:15 Daem0n 阅读(369) 评论(0) 推荐(0) 编辑

kafka配置文件中参数的限制

摘要：在kafka的优化过程中，不断的调节配置文件中的参数，但是有时候会遇到java.lang.NumberFormatException这样的错误比如socket.receive.buffer.bytes、socket.send.buffer.bytes等这样的参数，如果想设置成5G，是很难的，就会报阅读全文

posted @ 2015-04-23 16:58 Daem0n 阅读(876) 评论(0) 推荐(0) 编辑

kafka删除topic

摘要：手动：删除kafka存储目录（server.properties文件log.dirs配置，默认为"/tmp/kafka-logs"）相关topic目录删除zookeeper "/brokers/topics/"目录下相关topic节点命令+手动：删除kafka存储目录（server.prop 阅读全文

posted @ 2015-04-23 11:21 Daem0n 阅读(3584) 评论(2) 推荐(1) 编辑

Hadoop从2.2.0到2.7

摘要：

阅读全文

posted @ 2015-04-18 15:12 Daem0n 阅读(972) 评论(0) 推荐(0) 编辑

kafka监控之KafkaOffsetMonitor

摘要：参考自：http://www.cnblogs.com/sunxucool/p/3904850.html 流行的kafka监控有kafka-web-console、KafkaOffsetMonitor、Mx4jloader，感觉KafkaOffsetMonitor比较简单实用，于是实践一把安装极其简阅读全文

posted @ 2015-04-18 11:29 Daem0n 阅读(662) 评论(0) 推荐(0) 编辑

flume监控之ganglia

摘要：

阅读全文

posted @ 2015-04-17 17:25 Daem0n 阅读(2188) 评论(0) 推荐(0) 编辑

kafka的一些名词

摘要：broker.id 区kafka集群中每台机器的标识 log.dirs 日志的存放目录，这个最好不要放到/tmp目录下，因为kafka的已被消费和未被消费的数据也被当成“日志”存放到了日志目录，； log.retention.hours log.segment.bytes log.retention 阅读全文

posted @ 2015-04-16 13:47 Daem0n 阅读(217) 评论(0) 推荐(0) 编辑

倒数计数器-CountDownLatch

摘要：