Storm 配置文件详解
apache-storm-0.9.5/conf/storm.yaml
storm.yaml配置内容如下：
------------------------------------------------------------
storm.zookeeper.servers:
- "192.168.93.128"
- "192.168.93.129"
- "192.169.93.130"
nimbus.host: "192.168.93.128"
storm.local.dir: "/opt/apache-storm-0.9.5/status"
supervisor.slots.ports:
- 6700
- 6701
- 6702
- 6703
------------------------------------------------------------
storm.yaml配置项详细介绍
•storm.zookeeper.servers：
ZooKeeper服务器列表
•storm.zookeeper.port：
ZooKeeper连接端口
•storm.local.dir：
storm使用的本地文件系统目录(必须存在并且storm进程可读写)
•storm.cluster.mode：
Storm集群运行模式([distributed|local])
•storm.local.mode.zmq：
Local模式下是否使用ZeroMQ作消息系统，如果设置为false则使用java消息系统。默认为false
•storm.zookeeper.root：
ZooKeeper中Storm的根目录位置
•storm.zookeeper.session.timeout：
客户端连接ZooKeeper超时时间
•storm.id：
运行中拓扑的id，由storm name和一个唯一随机数组成。
•nimbus.host：
nimbus服务器地址
•nimbus.thrift.port：
nimbus的thrift监听端口
•nimbus.childopts：
通过storm-deploy项目部署时指定给nimbus进程的jvm选项
•nimbus.task.timeout.secs：
心跳超时时间，超时后nimbus会认为task死掉并重分配给另一个地址
•nimbus.monitor.freq.secs：
nimbus检查心跳和重分配任务的时间间隔。注意如果是机器宕掉nimbus会立即接管并处理
•nimbus.supervisor.timeout.secs：
supervisor的心跳超时时间，一旦超过nimbus会认为该supervisor已死并停止为它分发新任务
•nimbus.task.launch.secs：
task启动时的一个特殊超时设置。在启动后第一次心跳前会使用该值来临时替代nimbus.task.timeout.secs
•nimbus.reassign：
当发现task失败时nimbus是否重新分配执行。默认为真，不建议修改
•nimbus.file.copy.expiration.secs：
nimbus判断上传/下载链接的超时时间，当空闲时间超过该设定时nimbus会认为链接死掉并主动断开
•ui.port：
Storm UI的服务端口
•drpc.servers：
DRPC服务器列表，以便DRPCSpout知道和谁通讯
•drpc.port：
Storm DRPC的服务端口
•supervisor.slots.ports：
supervisor上能够运行workers的端口列表。每个worker占用一个端口，且每个端口只运行一个worker。
通过这项配置可以调整每台机器上运行的worker数。(调整slot数/每机)
•supervisor.childopts：
在storm-deploy项目中使用，用来配置supervisor守护进程的jvm选项
•supervisor.worker.timeout.secs：
supervisor中的worker心跳超时时间，一旦超时supervisor会尝试重启worker进程.
•supervisor.worker.start.timeout.secs：
supervisor初始启动时，worker的心跳超时时间，当超过该时间supervisor会尝试重启worker。
因为JVM初始启动和配置会带来的额外消耗，从而使得第一次心跳会超过supervisor.worker.timeout.secs的设定
•supervisor.enable：
supervisor是否应当运行分配给他的workers。默认为true，该选项用来进行Storm的单元测试，一般不应修改.
•supervisor.heartbeat.frequency.secs：
supervisor心跳发送频率(多久发送一次)
•supervisor.monitor.frequency.secs：
supervisor检查worker心跳的频率
•worker.childopts：
supervisor启动worker时使用的jvm选项。所有的”%ID%”字串会被替换为对应worker的标识符
•worker.heartbeat.frequency.secs：
worker的心跳发送时间间隔
•task.heartbeat.frequency.secs：
task汇报状态心跳时间间隔
•task.refresh.poll.secs：
task与其他tasks之间链接同步的频率。(如果task被重分配，其他tasks向它发送消息需要刷新连接)
。一般来讲，重分配发生时其他tasks会理解得到通知。该配置仅仅为了防止未通知的情况。
•topology.debug：
如果设置成true，Storm将记录发射的每条信息。
•topology.optimize：
master是否在合适时机通过在单个线程内运行多个task以达到优化topologies的目的
•topology.workers：
执行该topology集群中应当启动的进程数量。
每个进程内部将以线程方式执行一定数目的tasks。topology的组件结合该参数和并行度提示来优化性能
•topology.ackers：
topology中启动的acker任务数。
Acker保存由spout发送的tuples的记录，并探测tuple何时被完全处理。
当Acker探测到tuple被处理完毕时会向spout发送确认信息。通常应当根据topology的吞吐量来确定acker的数目，但一般不需要太多。
当设置为0时，相当于禁用了消息可靠性。storm会在spout发送tuples后立即进行确认
•topology.message.timeout.secs：
topology中spout发送消息的最大处理超时时间。
如果一条消息在该时间窗口内未被成功ack，Storm会告知spout这条消息失败。而部分spout实现了失败消息重播功能。
•topology.kryo.register：
注册到Kryo(Storm底层的序列化框架)的序列化方案列表。序列化方案可以是一个类名，或者是com.esotericsoftware.kryo.Serializer的实现
•topology.skip.missing.kryo.registrations：
Storm是否应该跳过它不能识别的kryo序列化方案。如果设置为否task可能会装载失败或者在运行时抛出错误
•topology.max.task.parallelism：
在一个topology中能够允许的最大组件并行度。该项配置主要用在本地模式中测试线程数限制.
•topology.max.spout.pending：
一个spout task中处于pending状态的最大的tuples数量。该配置应用于单个task，而不是整个spouts或topology
•topology.state.synchronization.timeout.secs：
组件同步状态源的最大超时时间(保留选项,暂未使用)
•topology.stats.sample.rate：
用来产生task统计信息的tuples抽样百分比
•topology.fall.back.on.java.serialization：
topology中是否使用java的序列化方案
•zmq.threads：
每个worker进程内zeromq通讯用到的线程数
•zmq.linger.millis：
当连接关闭时，链接尝试重新发送消息到目标主机的持续时长。这是一个不常用的高级选项，基本上可以忽略.
•java.library.path：
JVM启动(如Nimbus,Supervisor和workers)时的java.library.path设置。该选项告诉JVM在哪些路径下定位本地库
StormUI画面参数
main页面主要包括3个部分
【Cluster Summary】
•Nimbus uptime: nimbus的启动时间
•Supervisors: storm集群中supervisor的数目
•used slots: 使用了的slots数
•free slots: 剩余的slots数
•total slots: 总的slots数
•Running tasks: 运行的任务数
【topology summary】
•Name: topology name
•id: topology id (由storm生成)
•status: topology的状态，包括(ACTIVE, INACTIVE, KILLED, REBALANCING)
•uptime: topology运行的时间
•num workers: 运行的workers数
•num tasks: 运行的task数
【supervisor summary】
•host: supervisor(主机)的主机名
•uptime: supervisor启动的时间
•slots: supervisor的端口数
•used slots: 使用的端口数
--Topology page
topology页面主要包括4个部分
【topology summary】
(同主页)
【topology stats】
•window: 时间窗口，显示10m、3h、1d和all time的运行状况
•emitted: emitted tuple数
•transferred: transferred tuple数, 说下与emitted的区别：如果一个task，emitted一个tuple到2个task中，则transferred tuple数是emitted tuple数的两倍
•complete latency: spout emitting 一个tuple到spout ack这个tuple的平均时间
•acked: ack tuple数
•failed: 失败的tuple数
【spouts】
•id: spout id
•parallelism: 任务数
•last error: 最近的错误数，只显示最近的前200个错误
•emitted、transferred、complete latency、acked和failed上面已解释
【bolts】
•process latency: bolt收到一个tuple到bolt ack这个tuple的平均时间
其他参数都解释过了
还有componentpage和taskpage，参数的解释同上。
taskpage中的Component指的是spoutid或者boltid，time指的是错误发生的时间，error是指错误的具体内容。
Storm组件
1. Nimbus：
负责资源分配和任务调度。
2. Supervisor：
负责接受nimbus分配的任务，启动和停止属于自己管理的worker进程。
3. Worker：
运行具体处理组件逻辑的进程。
4. Task：
worker中每一个spout/bolt的线程称为一个task. 在storm0.8之后，task不再与物理线程对应，同一个 spout/bolt的task可能会共享一个物理线程，该线程称为xecutor。
5. Topology：
storm中运行的一个实时应用程序，因为各个组件间的消息流动形成逻辑上的一个拓扑结构。
6. Spout：
在一个topology中产生源数据流的组件。通常情况下spout会从外部数据源中读取数据，然后转换为topology内部的源数据。Spout是一个主动的角色，其接口中有个nextTuple()函数，storm框架会不停地调用 此函数，用户只要在其中生成源数据即可。
7. Bolt：
在一个topology中接受数据然后执行处理的组件。Bolt可以执行过滤、函数操作、合并、写数据库等任何操作。Bolt是一个被动的角色，其接口中有个execute(Tuple input)函数,在接受到消息后会调用此函数，用户可以在其中执行自己想要的操作。
8. Tuple：
Storm Spout、Bolt组件消息传递的基本单元（数据模型），Tuple是包含名称的列表，Storm支持所有原生类型，字节数组为Tuple字段传递，如果要传递自定义对象，需要实现接口serializer。
Stream：源源不断传递的tuple就组成了stream。
Storm常用命令
【提交Topologies】
命令格式：storm jar 【jar路径】 【拓扑包名.拓扑类名】 【拓扑名称】
样例：storm jar /storm-starter.jar storm.starter.WordCountTopology wordcountTop
#提交storm-starter.jar到远程集群，并启动wordcountTop拓扑。
【停止Topologies】
命令格式：storm kill 【拓扑名称】
样例：storm kill wordcountTop
#杀掉wordcountTop拓扑。
【启动nimbus后台程序】
命令格式：storm nimbus
【启动supervisor后台程序】
命令格式：storm supervisor
【停止supervisor后台程序】
storm 貌似没有提供 关闭 supervisor 节点的指令：
#把supervisor 相关的进程都杀掉
kill -9 $(ps -ef|grep supervisor | awk '{print $2}')
或者 ：
kill -9 `ps -ef|grep supervisor | awk '{print $2}'`
【启动drpc服务】
命令格式：storm drpc
【启动ui服务】
命令格式：storm ui
【启动REPL】
REPL — read-evaluate-print-loop。
虽然clojure可以作为一种脚本语言内嵌在java里面，但是它的首选编程方式是使用REPL，这是一个简单的命令行接口，
使用它你可以输入你的命令，执行，然后查看结果， 你可以以下面这个命令来启动REPL：
命令格式：storm repl
【打印本地配置】
命令格式：storm localconfvalue [配置参数关键字]
举例：storm localconfvalue storm.zookeeper.servers
#根据指定参数打印本地配置的值。
【打印远程配置】
命令格式：storm remoteconfvalue [配置参数关键字]
举例：storm remoteconfvalue storm.zookeeper.servers
#根据指定参数打印远程配置的值。
【执行Shell脚本】
命令格式：storm shell resourcesdir command args
【打印CLASSPATH】
命令格式：storm classpath
