Storm Grouping —— 流分组策略
Storm Grouping
Shuffle Grouping ：
随机分组，尽量均匀分布到下游Bolt中将流分组定义为混排。
这种混排分组意味着来自Spout的输入将混排，或随机分发给此Bolt中的任务。shuffle grouping对各个task的tuple分配的比较均匀。
Fields Grouping ：
按字段分组，按数据中field值进行分组；相同field值的Tuple被发送到相同的Task这种grouping机制保证相同field值的tuple会去同一个task，
这对于WordCount来说非常关键，如果同一个单词不去同一个task，那么统计出来的单词次数就不对了。“if the stream is grouped by the “user-id” field, tuples with the same “user-id” will always go to the same task”. —— 小示例
All grouping ：广播
广播发送， 对于每一个tuple将会复制到每一个bolt中处理。
Global grouping ：全局分组
Tuple被分配到一个Bolt中的一个Task，实现事务性的Topology。
Stream中的所有的tuple都会发送给同一个bolt任务处理，所有的tuple将会发送给拥有最小task_id的bolt任务处理。
None grouping ：不分组
不关注并行处理负载均衡策略时使用该方式，目前等同于shuffle grouping,另外storm将会把bolt任务和他的上游提供数据的任务安排在同一个线程下。
Direct grouping ：直接分组 指定分组
由tuple的发射单元直接决定tuple将发射给那个bolt，一般情况下是由接收tuple的bolt决定接收哪个bolt发射的Tuple。这是一种比较特别的分组方法，用这种分组意味着消息的发送者指定由消息接收者的哪个task处理这个消息。
只有被声明为Direct Stream的消息流可以声明这种分组方法。而且这种消息tuple必须使用emitDirect方法来发射。消息处理者可以通过TopologyContext来获取处理它的消息的taskid (OutputCollector.emit方法也会返回taskid)。
Fields Grouping 代码
/**
* 数字累加求和
* 先添加storm依赖
*/
public class LocalTopologySumFieldsGrouping {
/**
* spout需要继承baserichspout，实现未实现的方法
* @author Administrator
*
*/
public static class MySpout extends BaseRichSpout{
private Map conf;
private TopologyContext context;
private SpoutOutputCollector collector;
/**
* 初始化方法，只会执行一次
* 在这里面可以写一个初始化的代码
* Map conf：其实里面保存的是topology的一些配置信息
* TopologyContext context：topology的上下文，类似于servletcontext
* SpoutOutputCollector collector：发射器，负责向外发射数据(tuple)
*/
@Override
public void open(Map conf, TopologyContext context,
SpoutOutputCollector collector) {
this.conf = conf;
this.context = context;
this.collector = collector;
}
int num = 1;
/**
* 这个方法是spout中最重要的方法，
* 这个方法会被storm框架循环调用，可以理解为这个方法是在一个while循环之内
* 每调用一次，会向外发射一条数据
*/
@Override
public void nextTuple() {
System.out.println("spout发射："+num);
//把数据封装到values中，称为一个tuple，发射出去
this.collector.emit(new Values(num++,num%2));
Utils.sleep(1000);
}
/**
* 声明输出字段
*/
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
//给values中的数据起个名字，方便后面的bolt从这个values中取数据
//fields中定义的参数和values中传递的数值是一一对应的
declarer.declare(new Fields("num","flag"));
}
}
/**
* 自定义bolt需要实现baserichbolt
* @author Administrator
*
*/
public static class MyBolt extends BaseRichBolt{
private Map stormConf;
private TopologyContext context;
private OutputCollector collector;
/**
* 和spout中的open方法意义一样
*/
@Override
public void prepare(Map stormConf, TopologyContext context,
OutputCollector collector) {
this.stormConf = stormConf;
this.context = context;
this.collector = collector;
}
int sum = 0;
/**
* 是bolt中最重要的方法，当spout发射一个tuple出来，execute也会被调用，需要对spout发射出来的tuple进行处理
*/
@Override
public void execute(Tuple input) {
//input.getInteger(0);//也可以根据角标获取tuple中的数据
Integer value = input.getIntegerByField("num");
System.out.println("线程id："+Thread.currentThread().getId()+",值："+value);
//sum+=value;
//System.out.println("和："+sum);
}
/**
* 声明输出字段
*/
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
//在这没必要定义了，因为execute方法中没有向外发射tuple，所以就不需要声明了。
//如果nextTuple或者execute方法中向外发射了tuple，那么declareOutputFields必须要声明，否则不需要声明
}
}
/**
* 注意：在组装topology的时候，组件的id在定义的时候，名称不能以__开头。__是系统保留的
* @param args
*/
public static void main(String[] args) {
//组装topology
TopologyBuilder topologyBuilder = new TopologyBuilder();
topologyBuilder.setSpout("spout1", new MySpout());
//.shuffleGrouping("spout1"); 表示让MyBolt接收MySpout发射出来的tuple
topologyBuilder.setBolt("bolt1", new MyBolt(),3).fieldsGrouping("spout1", new Fields("flag"));
//创建本地storm集群
LocalCluster localCluster = new LocalCluster();
localCluster.submitTopology("sumTopology", new Config(), topologyBuilder.createTopology());
}
}
ShuffleGrouping代码
/**
* 数字累加求和
* 先添加storm依赖
*/
public class LocalTopologySumShufferGrouping {
/**
* spout需要继承baserichspout，实现未实现的方法
* @author Administrator
*
*/
public static class MySpout extends BaseRichSpout{
private Map conf;
private TopologyContext context;
private SpoutOutputCollector collector;
/**
* 初始化方法，只会执行一次
* 在这里面可以写一个初始化的代码
* Map conf：其实里面保存的是topology的一些配置信息
* TopologyContext context：topology的上下文，类似于servletcontext
* SpoutOutputCollector collector：发射器，负责向外发射数据(tuple)
*/
@Override
public void open(Map conf, TopologyContext context,
SpoutOutputCollector collector) {
this.conf = conf;
this.context = context;
this.collector = collector;
}
int num = 1;
/**
* 这个方法是spout中最重要的方法，
* 这个方法会被storm框架循环调用，可以理解为这个方法是在一个while循环之内
* 每调用一次，会向外发射一条数据
*/
@Override
public void nextTuple() {
System.out.println("spout发射："+num);
//把数据封装到values中，称为一个tuple，发射出去
this.collector.emit(new Values(num++));
Utils.sleep(1000);
}
/**
* 声明输出字段
*/
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
//给values中的数据起个名字，方便后面的bolt从这个values中取数据
//fields中定义的参数和values中传递的数值是一一对应的
declarer.declare(new Fields("num"));
}
}
/**
* 自定义bolt需要实现baserichbolt
* @author Administrator
*
*/
public static class MyBolt extends BaseRichBolt{
private Map stormConf;
private TopologyContext context;
private OutputCollector collector;
/**
* 和spout中的open方法意义一样
*/
@Override
public void prepare(Map stormConf, TopologyContext context,
OutputCollector collector) {
this.stormConf = stormConf;
this.context = context;
this.collector = collector;
}
int sum = 0;
/**
* 是bolt中最重要的方法，当spout发射一个tuple出来，execute也会被调用，需要对spout发射出来的tuple进行处理
*/
@Override
public void execute(Tuple input) {
//input.getInteger(0);//也可以根据角标获取tuple中的数据
Integer value = input.getIntegerByField("num");
System.out.println("线程id："+Thread.currentThread().getId()+",值："+value);//这样可以知道哪个线程接收到这个数据了.
//sum+=value;
//System.out.println("和："+sum);
}
/**
* 声明输出字段
*/
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
//在这没必要定义了，因为execute方法中没有向外发射tuple，所以就不需要声明了。
//如果nextTuple或者execute方法中向外发射了tuple，那么declareOutputFields必须要声明，否则不需要声明
}
}
/**
* 注意：在组装topology的时候，组件的id在定义的时候，名称不能以__开头。__是系统保留的
* @param args
*/
public static void main(String[] args) {
//组装topology
TopologyBuilder topologyBuilder = new TopologyBuilder();
topologyBuilder.setSpout("spout1", new MySpout());
//.shuffleGrouping("spout1"); 表示让MyBolt接收MySpout发射出来的tuple
topologyBuilder.setBolt("bolt1", new MyBolt(),3).globalGrouping("spout1");
//创建本地storm集群
LocalCluster localCluster = new LocalCluster();
localCluster.submitTopology("sumTopology", new Config(), topologyBuilder.createTopology());
}
}
