摘要：
Flume Sinks1、Flume’s Collector Tier Event SinkscollectorSink( "fsdir","fsfileprefix",rollmillis)collectorSink，数据通过collector汇聚之后发送到hdfs, fsdir 是hdfs目录，fsfileprefix为文件前缀码2、Flume’s Agent Tier Event SinksagentSink[("machine"[,port])]Defaults to agentE2ESink，如果省略，machine参数，默 阅读全文
摘要：
Flume Source1、Flume’s Tiered Event SourcescollectorSource[(port)]Collector source，监听端口汇聚数据autoCollectorSource通过master协调物理节点自动汇聚数据logicalSource逻辑source，由master分配端口并监听rpcSink2、Flume’s Basic Sourcesnullconsole监听用户编辑历史和快捷键输入，只在node_nowatch模式下可用stdin监听标准输入，只在node_nowatch模式下可用，每行将作为一个event sourcerpcSource 阅读全文
摘要：
command shell(flume command)help帮助connect master:port登录masterconfig logicalnode source sink为逻辑节点配置一个source到sink的映射getnodestatus获得节点状态(HELLO, CONFIGURING, ACTIVE, IDLE, ERROR, DECOMMISSIONED, LOST )HELLO, node启动时CONFIGURING, node被配置后ACTIVE, 一个event从source送达到sinkIDLE, source中所有evnet发送完毕后ERROR, 节点故障退出， 阅读全文
摘要：
Flume配置文件(flume-site.conf)1、 watchdogwatchdog.restarts.maxwatchdog每分钟重启的最大数???2、 common nodeflume.config.heartbeat.periodnode发送心跳周期,默认5000(毫秒)flume.node.status.portnode web端口flume.node.heartbeat.backoff.ceilingnode向master发送心跳之后等待反馈的最大时长,默认60000(毫秒)flume.node.http.autofindport如果已有node启动，允许第二个node自动选择 阅读全文
摘要：
Web架构师成长之路 本人也是coding很多年，虽然很失败，但也总算有点失败的心得，不过我在中国，大多数程序员都是像我一样，在一直走着弯路。如果想成为一个架构师，就必须走正确的路，否则离目标越来越远，正在辛苦工作的程序员们，你们有没有下面几种感觉？ 一、我的工作就是按时完成领导交给我的任务，至于代码写的怎样，知道有改进空间，但没时间去改进，关键是领导也不给时间啊。 二、我发现我的水平总是跟不上技术的进步，有太多想学的东西要学，jQuery用的人最近比较多啊，听说最近MVC比较火，还有LINQ，听说微软又有Silverlight了…… 三、我发现虽然我工作几年了，除了不停的coding... 阅读全文