apache twill 开发参考流程

尽管apache twill 已经退役了，但是已经集成的周边还是不少的，比如dremio 就使用到了twill 对于yarn 的集成支持

参考开发流程

• TwillRunnable 接口
  类似多线程开发，我们实现此接口的服务主要就是任务的处理

 

public class EchoServer implements TwillRunnable {

 

  private static Logger LOG = LoggerFactory.getLogger(EchoServer.class);

  private final ServerSocket serverSocket;

  private final int port;

 

  public EchoServer() {

    ...

  }

 

  @Override

  public void run() {

    while ( isRunning() ) {

      Socket socket = serverSocket.accept();

      ...

    }

  }

}

• TwillRunnerService 服务创建
  此服务类似ExecutorService

 

TwillRunnerService runnerService = new YarnTwillRunnerService(

  new YarnConfiguration(), zkConnectStr);

runnerService.start();

• 运行开发的任务
  此处包含了任务的日志处理

 

TwillController controller = runnerService.prepare(new EchoServer())

  .addLogHandler(new PrinterLogHandler(new PrintWriter(System.out)))

  .start();

• 状态监听

controller.addListener(new ListenerAdapter() {

  @Override

  public void running() {

    LOG.info('Echo Server Started');

  }

}

• 可选停止服务

controller.terminate().get();

实际运行

需要打包软件
参考命令

 

export CP=twill-examples-yarn-0.10.0.jar:`hadoop classpath`

java -cp $CP org.apache.twill.example.yarn.HelloWorld {zookeeper_host:port}

说明

以上内容来自官方文档，通过了解可以知道大致的流程，同时对于学习dremio yarn 的集成也比较方便

参考资料

https://twill.apache.org/GettingStarted.html