分布式任务框架elastic-job 学习笔记
官方资料：https://github.com/dangdangdotcom/elastic-job
-------------------------------------------------------------------------------------
官方资料非常完整而且思路清晰，按照自己学习过程整理如下：
1、 何为分布式任务？
自己理解，就是一件事情让多台机器来完成。单机环境下，所有任务都是单个电脑独立完成，分布式任务就是把任务按一定逻辑进行切分(也就是所谓的分片)，分成几个小的片段，然后分给不同的电脑，每台电脑执行其中的几个片段。
分片概念：
任务的分布式执行，需要将一个任务拆分为n个独立的任务项，然后由分布式的服务器分别执行某一个或几个分片项。
例如：有一个遍历数据库某张表的作业，现有2台服务器。为了快速的执行作业，那么每台服务器应执行作业的50%。 为满足此需求，可将作业分成2片，每台服务器执行1片。作业遍历数据的逻辑应为：服务器A遍历ID以奇数结尾的数据；服务器B遍历ID以偶数结尾的数据。 如果分成10片，则作业遍历数据的逻辑应为：每片分到的分片项应为ID%10，而服务器A被分配到分片项0,1,2,3,4；服务器B被分配到分片项5,6,7,8,9，直接的结果就是服务器A遍历ID以0-4结尾的数据；服务器B遍历ID以5-9结尾的数据。
2、 github源码
从github下载下来，maven导入eclipse后，分为5部分：
官方目录结构说明：
elastic-job-core //核心模块，只通过Quartz和Curator就可执行分布式作业。
elastic-job-spring //对spring支持的模块，包括命名空间，依赖注入，占位符等。
elastic-job-console // web控制台，可将编译之后的war放入tomcat等servlet容器中使用。
elastic-job-example //使用示例。
elastic-job-doc //使用markdown生成文档的项目，使用方无需关注。
需要说明一下，官方也提到了，需要一个lombok.jar。个人感觉这个确实很不错，有了这个jar包，可以省掉get set方法，在属性很多的时候特别方便。
*************************************************
lombok 的官方网址：http://projectlombok.org/
lombok 注解在线帮助文档：http://projectlombok.org/features/index.
下面介绍几个我常用的
lombok 注解：
@Data ：注解在类上；提供类所有属性的 getting 和
setting 方法，此外还提供了equals、canEqual、hashCode、toString 方法
@Setter：注解在属性上；为属性提供
setting 方法
@Getter：注解在属性上；为属性提供
getting 方法
@Log4j ：注解在类上；为类提供一个 属性名为log
的
log4j 日志对象
@NoArgsConstructor：注解在类上；为类提供一个无参的构造方法
@AllArgsConstructor：注解在类上；为类提供一个全参的构造方法
*************************************************
3、 快速上手部署应用（单机跟集群）
快速上手可以参照官方文档: http://dangdangdotcom.github.io/elastic-job/post/quick_start/
这是个单机环境的例子。为加深理解，自己部署集群环境，步骤如下：
a、启动zookeeper(测试用，可单机可集群)，步骤参见官方快速上手文档
b、修改官方example代码如下：
1)、在com.dangdang.example.elasticjob.spring包下新建myjob包，创建新类MySimpleJobTest.java，代码如下：
@Component
public class MySimpleJobTest extends AbstractSimpleElasticJob {
private PrintContext printContext = new PrintContext(SimpleJobDemo.class);
@Resource
private FooRepository fooRepository;
private static AtomicInteger count = new AtomicInteger(0);
@Override
public void process(JobExecutionMultipleShardingContext shardingContext) {
System.out.println("第"+count.addAndGet(1)+"次执行，当前分片号为："+shardingContext.getShardingItemParameters());
}
}
2)、修改resources/META-INF/withNamespace.xml为：
<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:context="http://www.springframework.org/schema/context"
xmlns:reg="http://www.dangdang.com/schema/ddframe/reg"
xmlns:job="http://www.dangdang.com/schema/ddframe/job"
xsi:schemaLocation="http://www.springframework.org/schema/beans
http://www.springframework.org/schema/beans/spring-beans.xsd
http://www.springframework.org/schema/context
http://www.springframework.org/schema/context/spring-context.xsd
http://www.dangdang.com/schema/ddframe/reg
http://www.dangdang.com/schema/ddframe/reg/reg.xsd
http://www.dangdang.com/schema/ddframe/job
http://www.dangdang.com/schema/ddframe/job/job.xsd
">
<context:component-scan base-package="com.dangdang.example.elasticjob" />
<context:property-placeholder location="classpath:conf/*.properties" />
<reg:zookeeper id="regCenter" serverLists="${serverLists}" namespace="${namespace}" baseSleepTimeMilliseconds="${baseSleepTimeMilliseconds}" maxSleepTimeMilliseconds="${maxSleepTimeMilliseconds}" maxRetries="${maxRetries}" nestedPort="${nestedPort}" nestedDataDir="${nestedDataDir}" />
<!-- <job:bean id="simpleElasticJob" class="com.dangdang.example.elasticjob.spring.job.SimpleJobDemo" regCenter="regCenter" shardingTotalCount="${simpleJob.shardingTotalCount}" cron="${simpleJob.cron}" shardingItemParameters="${simpleJob.shardingItemParameters}" monitorExecution="${simpleJob.monitorExecution}" monitorPort="${simpleJob.monitorPort}" failover="${simpleJob.failover}" description="${simpleJob.description}" disabled="${simpleJob.disabled}" overwrite="${simpleJob.overwrite}" /> -->
<!-- <job:bean id="throughputDataFlowJob" class="com.dangdang.example.elasticjob.spring.job.ThroughputDataFlowJobDemo" regCenter="regCenter" shardingTotalCount="${throughputDataFlowJob.shardingTotalCount}" cron="${throughputDataFlowJob.cron}" shardingItemParameters="${throughputDataFlowJob.shardingItemParameters}" monitorExecution="${throughputDataFlowJob.monitorExecution}" failover="${throughputDataFlowJob.failover}" processCountIntervalSeconds="${throughputDataFlowJob.processCountIntervalSeconds}" concurrentDataProcessThreadCount="${throughputDataFlowJob.concurrentDataProcessThreadCount}" description="${throughputDataFlowJob.description}" disabled="${throughputDataFlowJob.disabled}" overwrite="${throughputDataFlowJob.overwrite}" /> -->
<!-- <job:bean id="sequenceDataFlowJob3" class="com.dangdang.example.elasticjob.spring.job.SequenceDataFlowJobDemo" regCenter="regCenter" shardingTotalCount="${sequenceDataFlowJob.shardingTotalCount}" cron="${sequenceDataFlowJob.cron}" shardingItemParameters="${sequenceDataFlowJob.shardingItemParameters}" monitorExecution="${sequenceDataFlowJob.monitorExecution}" failover="${sequenceDataFlowJob.failover}" processCountIntervalSeconds="${sequenceDataFlowJob.processCountIntervalSeconds}" maxTimeDiffSeconds="${sequenceDataFlowJob.maxTimeDiffSeconds}" description="${sequenceDataFlowJob.description}" disabled="${sequenceDataFlowJob.disabled}" overwrite="${sequenceDataFlowJob.overwrite}" /> -->
<job:bean id="simpleElasticJob2" class="com.dangdang.example.elasticjob.spring.myjob.MySimpleJobTest" regCenter="regCenter" shardingTotalCount="${simpleJob.shardingTotalCount}" cron="${simpleJob.cron}" shardingItemParameters="${simpleJob.shardingItemParameters}" monitorExecution="${simpleJob.monitorExecution}" monitorPort="${simpleJob.monitorPort}" failover="${simpleJob.failover}" description="${simpleJob.description}" disabled="${simpleJob.disabled}" overwrite="${simpleJob.overwrite}" />
</beans>
c、建虚拟机(多台电脑的用另一电脑即可)，配置环境变量。
此处本地采用ubuntu16.04的64位版本.
需配置的有：jdk，maven，为了让maven能在本地找到jar包，而不再浪费时间去网络maven库下载，可以线运行mvn install生成.m2目录(该目录隐藏，本地虚拟机是位于/home下)，将win下的.m2/repository文件夹拷贝到虚拟机的.m2下.
d、将elastic-job-example拷贝到虚拟机，本地为/usr/mytest目录
修改虚拟机中example项目的配置文件/resources/conf/reg.properties
serverLists为zookeeper服务器地址
nestedPort设置为-1，不启动自带zookeeper(两台电脑都不启用默认zookeeper)
e、虚拟机切换到elastic-job-example目录(该目录下有pom文件)
运行：mvn compile ,运行完毕后
运行：mvn exec:java -Dexec.mainClass="com.dangdang.example.elasticjob.spring.main"
f、切回主机，com.dangdang.example.elasticjob.spring.main运行该文件的main方法
可明显看到：虚拟机开始单机运行时，处理分片为0-9，在主机开始运行后，变为5-9，两者确实进行了任务分配:
g、部署tomcat监控
虚拟机部署tomcat，将elastic-job-console在主机打war包，然后放入tomcat的webapp下，启动tomcat，访问http://ip:端口号/elastic-job-console，账号密码：root/root
填写zookeeper地址，作业名称等，可以看到控制页面：
我们刚刚部署的测试环境：
小结：
单纯开发使用的话，方式之一是：将elastic-job-core跟elastic-job-spring打jar包，然后按照官方的开发指南，重写相关方法即可。部署的话应该是按照上方集群部署的方式进行的。
至于具体分片怎么分(官方提供了几种方式，直接配置属性)，具体内部调度原理，开发过程中具体应用等细节仍待思考。
补充：
ej的使用，方式之一是如上所说，jar引入，重写方法然后集群部署；方式之二是单独写一个调度项目，在此处进行“调度”，将分片信息以参数形式传递给远程方法接口，从而实现了将一个大的任务分割给了多个不同机器(这里边很可能由于远程也是分布式，
从而可能导致某机器多次接收之类，可能会并不那么均衡)，从而减轻了单机压力。具体分片逻辑跟接口逻辑根据具体业务场景的不同而不同。东西是死的，具体怎么个用法，正如当当网张亮所言：怎么用都可以。
基于方式二的使用方式，即使不用ej框架，单纯的一个项目C用于定时请求某个远程接口，只要该远程接口是集群部署的，那么负载就会分发到不同的机器，从而导致某种程度上实现了多机器执行，虽然这只是分布式带来的福利而已。
