fxjwind

摘要： Markdown: Basics (快速入门), http://wowubuntu.com/markdown/basic.html http://daringfireball.net/projects/markdown/dingus, playground https://help.github.com/articles/github-flavored-markdown, "GitHub Fl... 阅读全文

摘要： 参考, Git 使用指南图解GIT, 很好, 很强大一个成功的Git分支模型, 很清楚的阐述了git的分支的使用Git基础建立Git仓库git init在任意目录下执行, 将此目录变为工作树, 其实就是在目录中创建隐藏的.git目录(仓库)仓库和工作树的区别? 仓库是指, 隐藏的.git目录, 工作... 阅读全文

摘要： Storm Features Storm 简介 Storm Topology的并发度 Storm - Guaranteeing message processing Storm - Transactional-topologies Twitter Storm – DRPC Storm 多语言支持 Storm Starter Storm starter - Overview ... 阅读全文

摘要： backtype.storm.daemon.acker 设计的巧妙在于, 不用分别记录和track, stream过程中所有的tuple, 而只需要track root tuple, 而所有中间过程都通过异或更新track entry acker-init, 在spout发送一个tuple时触发, 初始化这个root tuple的track entry acker-ack, 在blot a... 阅读全文

摘要： 在worker中通过executor/mk-executor worker e, 创建每个executor (defn mk-executor [worker executor-id] (let [executor-data (mk-executor-data worker executor-id) ;;1.mk-executor-data _ (log-message ... 阅读全文

摘要： 对于executor thread是整个storm最为核心的代码, 因为在这个thread里面真正完成了大部分工作, 而其他的如supervisor,worker都是封装调用.对于executor的mk-threads, 是通过mutilmethods对spout和bolt分别定义不同的逻辑1. S... 阅读全文

摘要： Bolt关键的接口为execute, Tuple的真正处理逻辑, 通过OutputCollector.emit发出新的tuples, 调用ack或fail处理的tuple /** * An IBolt represents a component that takes tuples as input and produces tuples * as output. An IBolt ... 阅读全文

摘要： 1. ISpout接口 ISpout作为实现spout的核心interface, spout负责feeding message, 并且track这些message. 如果需要Spout track发出的message, 必须给出message-id, 这个message-id可以是任意类型, 但是如果不指定或将message-id置空, storm就不会track这个message 必须要... 阅读全文

摘要： mk-task, 比较简单, 因为task只是概念上的结构, 不象其他worker, executor都需要创建进程或线程 所以其核心其实就是mk-task-data, 1. 创建TopologyContext对象, 其实就是把之前的topology对象和worker-data混合到一起, 便于task在执行时可以取到需要的topology信息. 2. 创建task-obje... 阅读全文

摘要： task hook 在某些task事件发生时, 如果用户希望执行一些额外的逻辑, 就需要使用hook 当前定义如下事件, emit, cleanup, spoutAck…… 用户只需要开发实现ITaskHook的类, 并将类名配置到(storm-conf TOPOLOGY-AUTO-TASK-HOOKS) 系统会在这些事件发生时, 自动调用所有注册的hook中的相应的functions ... 阅读全文